2016年10月のクローラーアクセス状況(検索エンジン他)

クローラビリティ

1ヶ月間でどの種類のクローラーがこのサイトへアクセスしているのかを発表します。ページ数がまだまだ少ないので巡回数も少ないのですが、どのような動きがあるのか参考になればと。

2016年10月のクローラーアクセス状況
[1位]Googlebot(Google ウェブ検索)
やはり1位はウェブ検索用のGooglebotです。何の驚きもないですよね。
[2位]Googlebot(Google スマートフォン)
そして2位もGooglebot。こちらはスマートフォン用です。この辺も違和感がないでしょう。
[3位]Bing
3位はBingでした。Google以外の検索エンジンはクローラーのホスト名を公表していないので「unknown」としています。
※こちらは計測ツールのバグでした。現状はBingは正しく計測できています(2016年11月20日追記)
[4位]不明のクローラー
未知のクローラーです。結構多種多様なクローラーが巡回していました。
[5位]米Yahoo!
米Yahoo!検索のクローラーです。こちらも「unknown」なのでホスト名で断定できないクローラーです。
[6位]Googlebotを偽装しているクローラー
Googleのクローラーは公式発表されているのですが、ホスト名で一致しないものがこちらです。
▼Google クローラ
https://support.google.com/webmasters/answer/1061943
[7位]バイドゥ(百度)
中国の検索エンジン最大手のバイドゥのクローラーです。Baidu.jpは日本の検索市場からは撤退しましたが、本家のクローラーは巡回しています。
[8位]Majestic
被リンクチェックツールMajesticのクローラーです。結構来てますね。
[9位]Googlebot-Image(画像用 Googlebot)
Googleの画像検索用のbotです。これはアクセスして404になった時の数字です。全ての画像用 Googlebotを計測するのは現実的ではないので行っていません。
[10位]Ahrefs
SEO分析ツール「Ahrefs」のクローラーです。当サイトではこの数字で止まっていますが、他のサイトではGooglebot以上のクロールしているものもあります。分析するのは構いませんが、もう少し気を使っても良いのでは、と思います。

以上が2016年10月のクローラーランキングです。ユーザー以上のアクセスがあったりするので、サーバー負荷を考えると適宜ブロックすることも検討しても良いのではと感じます。

西部俊宏
執筆者:
株式会社Webの間代表取締役。上場企業でのSEOの実績やWebサイト構築実績多数。SEO・Web制作の経験からクローラビリティ改善・最適化サービスを提供している。

売上アップに繋がる本気のユーザーをホームページに呼び込みませんか?

※当ブログはブログ村に参加しております。
にほんブログ村