2016年10月のクローラーアクセス状況（検索エンジン他）

1ヶ月間でどの種類のクローラーがこのサイトへアクセスしているのかを発表します。ページ数がまだまだ少ないので巡回数も少ないのですが、どのような動きがあるのか参考になればと。

［1位］Googlebot（Google ウェブ検索）

やはり1位はウェブ検索用のGooglebotです。何の驚きもないですよね。

［2位］Googlebot（Google スマートフォン）

そして2位もGooglebot。こちらはスマートフォン用です。この辺も違和感がないでしょう。

［3位］Bing

3位はBingでした。Google以外の検索エンジンはクローラーのホスト名を公表していないので「unknown」としています。
※こちらは計測ツールのバグでした。現状はBingは正しく計測できています（2016年11月20日追記）

［4位］不明のクローラー

未知のクローラーです。結構多種多様なクローラーが巡回していました。

［5位］米Yahoo!

米Yahoo!検索のクローラーです。こちらも「unknown」なのでホスト名で断定できないクローラーです。

［6位］Googlebotを偽装しているクローラー

Googleのクローラーは公式発表されているのですが、ホスト名で一致しないものがこちらです。
▼Google クローラ
https://support.google.com/webmasters/answer/1061943

［7位］バイドゥ（百度）

中国の検索エンジン最大手のバイドゥのクローラーです。Baidu.jpは日本の検索市場からは撤退しましたが、本家のクローラーは巡回しています。

［8位］Majestic

被リンクチェックツールMajesticのクローラーです。結構来てますね。

［9位］Googlebot-Image（画像用 Googlebot）

Googleの画像検索用のbotです。これはアクセスして404になった時の数字です。全ての画像用 Googlebotを計測するのは現実的ではないので行っていません。

［10位］Ahrefs

SEO分析ツール「Ahrefs」のクローラーです。当サイトではこの数字で止まっていますが、他のサイトではGooglebot以上のクロールしているものもあります。分析するのは構いませんが、もう少し気を使っても良いのでは、と思います。

以上が2016年10月のクローラーランキングです。ユーザー以上のアクセスがあったりするので、サーバー負荷を考えると適宜ブロックすることも検討しても良いのではと感じます。