モバイルクローラー情報
2008 年 11 月 5 日 水曜日今更な話ですが、Googleモバイルのクローラーが変わりましたね。
今まではmova端末を偽装していたのですが、FOMA端末を偽装するようになりました。
docomoさんと提携してキャリアとか端末の情報とか持っているはずなので、もっと早く対応できても良かったのではないかと個人的には思うわけですが･･･。偽装する端末がFOMA対応したことで、非対応機種になるエラーが軽減されたと思われます。
GoogleモバイルUserAgent情報
新）
DoCoMo/2.0 N905i(c100;TB;W24H16) (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
旧）
DoCoMo/1.0/N505i/c20/TB/W20H10 (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)
UserAgentが変わっただけで挙動に大きな違いは無いですね。
Googleモバイル情報
UserAgentヘッダーに”Googlebot-Mobile”の記述があるもの
IPアドレスが下記のもの
72.14.199.0 - 72.14.199.127
209.85.238.0 - 209.85.238.127
※GoogleSitemaps（ウェブマスターツール）を使う場合別途Google-Sitemapsというクローラーのアクセスも許容する必要があります。
Yahoo!モバイル情報
UserAgentヘッダーに”Y!J-SRD/1.0″、”Y!J-MBS/1.0″の記述があるもの
IPアドレスが下記のもの
124.83.159.146 - 124.83.159.185
124.83.159.224 - 124.83.159.247
これらが正しくWebページにアクセスできていないと、そもそも検索結果に表示されません。
機種判別を行っているサイト、IPアドレスによるアクセス制限をかけているサイトでは特に注意が必要。