Googlebot・検索エンジンクローラーのアクセス状況［2017年1月8日〜14日／当サイトのみ］

先週はクローラーのアクセスに大きな動きがありました。アクセス数は25種類570セッションと約1.55％の減少です。

Googlebotはスマートフォン版がウェブ検索を上回りました。これはスマートフォン用のGooglebotの巡回数が増えたのではなく、単にウェブ検索用のGooglebotの巡回数が減っただけです。スマートフォン用が2％の増加に対して、ウェブ検索用は40％以上の大幅減です。こういう結果を見るとモバイルファーストインデックスの到来を予感してしまいます。

Google以外の検索エンジンのクローラーです。Yandexが大幅に増えています。Yandexはロシアの検索エンジンですが、DuckDuckGoとも提携しており、インデックス情報は提供されています。ちなみにDuckDuckGoは400以上からデータ提供を受けているので自社クローラーによるクロールを最小限にしているというお話を伝え聞きました。そういう考え方もあるのですね。

▼DuckDuckGo（ダックダックゴー）とは？ プライバシーに配慮した検索エンジン
https://www.web-ma.co.jp/column/seo/518.html

また絶賛増加中の360spiderですが、収集方法を変更しました。Haosouはhaosouspiderと360spiderの両方クローラーを徘徊させているようで、haosouspiderのUserAgentにはHaosouからのアクセスであるという情報が確認できるのですが、その確認ができない360spiderも検索エンジンとして収集してみようと思います。

検索エンジン以外は特に目新しいクローラーのアクセスはありません。ある程度一定のクローラーがそれぞれの周期でアクセスしています。検索エンジンと違い頻繁にはアクセスしてきません。もちろんSEOツール系を除いて、の話ですが。SEOツールのクロールは全く自社にとってのメリットがないので皆様ご注意ください。