先週は656セッション30種類のクローラーのアクセスがありました。前週と比較して約7.08％減少です。
Googlebotはウェブ検索及びスマートフォンどちらも減少しました。当サイトへの巡回するクローラーは1・2位がGooglebotです。これはずっと変わりありません。他のサイトでは違った結果のものもあるので、当サイトがGooglebotとのクローラー親和性が高いからとも言えます。
そしてその他の検索エンジンのアクセス状況です。先週トップのHaosouの360spiderを抜きbingのbingbotが1位となりました。次いで米Yahoo!、Yandex、百度、DuckDuckGoと続きます。
新規クローラーです。aiHit、Yisou.com、SafeDNSが新しく来訪しました。ここでは前週来ずに先週アクセスがあったクローラーを取り上げます。クローラーはサイト規模や弊社サイトとのサービス関連性によって来たり来なかったりするものもあります。常に来訪があるのは検索エンジンや調査系、アーカイブ系などです。
ちなみにAppleのApplebotも巡回数が少しずつ増えています。何の理由があって定期的に来ているのでしょうか？ 弊社のクローラー解析ツールを使うとこのようにアクセスしているページもわかります。
きちんとrobots.txtを見ていますね。ウェブマスターの指示に従う意志を感じます。robots.txtを見ないクローラーも結構います。この点については調査結果を後日発表します。クロールしているページを見ると一度アクセスしたページに再来訪していることや新しいページへもクロールしていることがわかります。Applebotへのクローラビリティが問題ない状況であることがわかります。
