クロールの統計情報でGoogleクローラーのクロール数が低下したら対処が必要なのか?

クローラビリティ

クローラーは任意のページに対して一度アクセスして終わり、という訳ではありません。毎日、または数日おきにウェブページが存在しているかどうか、ページの内容が変わっているかどうか、クロールします。場合によっては日に何度もアクセスします。これは他の検索エンジンよりも特にGoogleはその傾向があります。

Googlebotのアクセス頻度

特定のページに対する各クローラーのアクセス状況です。Googlebotのクロール頻度は他のクローラーと比較して段違いの多さです。スマートフォン用のGooglebotのクロール頻度が少ないことからも、まだモバイルファーストインデックス導入前なのが推測できます。モバイルフォーストインデックス導入後はこの数字が逆転するのだろうと予測しています。

クロール頻度(クロール数)とサイトの品質に相関はあるのか?

「ない」だろうと言いたいところです。しかし、Search Console ヘルプを見ると気になる一文があります。

サイトに変更頻度が低い情報がある場合や、サイトの品質があまり高くない場合は、サイトのクロール頻度が落ちる可能性があります。サイトを率直に見て、またサイトに関係がないユーザーに偏りのない意見を聞いて、全体的にサイトのどこをどのように改善すればよいかを検討してください。

▼クロールの統計情報レポート(ウェブサイト)
https://support.google.com/webmasters/answer/35253

クロールの絶対数は更新頻度とページ数に比例します。ページ数の少ないサイトよりも多いサイトの方がクロール数は多いです。

大規模サイトのクロール状況

こちらは大規模サイトのクロール状況です。

小規模サイトのクロール状況

そして小規模サイトのクロール状況はこちら。

Googlebotは頻繁に再来訪するので、生きているサイト(更新性がありページ数が増減しているサイト)であればクロール数が減るということは何かしらの原因を疑います。前述のSearch Console ヘルプ「クロールの統計情報レポート」にもある通りサイト側に何かしらの問題があれば(ページが壊れている、サーバー負荷が高いなど)、クロール数が減少するでしょう。それに該当せず、サイトが更新されているにも関わらずクロール数が減っている場合は、サイト品質が低いと見られている可能性があります。

ウェブマスターの皆さんは日々サイトのアクセス状況をウォッチしているはずです。それに加えて少なくともSearch Consoleのクロールの統計情報も定期的にご確認ください。何かサイトのアクセス数に変化があった時にクロール数にも現れるかもしれませんので。

西部俊宏
執筆者:西部俊宏
株式会社Webの間代表取締役。上場企業でのSEOやWebサイト構築実績多数。ECサイトのカスタマイズ経験も多数あり。
会社概要はこちら

「ECサイトをより便利にしたい」「もっと集客したい」ECカスタマイズはお任せください