Googleクローラーはやっぱりリンクを辿っていない

クローラビリティ
道

人間の感覚からすると、クローラーはHTMLを解析しリンクを取得します。そのリンクを辿ってくれるとわかりやすいですよね。実際にはリンクを辿らず(少なくともGoogle クローラーの場合)、作成されたURLリストに従ってクロールします。

▼Google 検索の仕組み
https://support.google.com/webmasters/answer/70897

「クロールを開始する際は、前回のクロールで生成され、ウェブマスターから提供されたサイトマップによって補強された、ウェブページの URL リストを使用します。Googlebot はこれらのウェブサイトすべてにアクセスし、各ページのリンクを検出してクロール対象ページのリストに追加します。」

このように明記されています。なので、当然疑う余地はありません。

しかし、本当なのかなあと自分は気になってしまいます。ということで調べてみました。いつものように弊社のサンプルデータです。

ランディングページと2ページ目

上記は弊社のページ情報ですが、おそらくこれを見てもわからないかもしれません。弊社のことなので自分はわかりますが、1ページ目と2ページ目のURLを見ると確かに内部リンクが存在していません。1ページ目から内部リンクがないページが2ページ目として現れています。確かにURL リストに従ってクロールしていることがわかります。

ちなみに某SEOツールのクローラーもGoogleクローラーと同様の動きをしています。しかし、サイトによってはSEOツールのクロール量が多過ぎるのでちょっと困ります。サーバーにアクセス障害が出るようでしたら、こういうツール系をブロックした方が良いかもしれないですね。

西部俊宏
執筆者:西部俊宏
株式会社Webの間代表取締役。上場企業でのSEOやWebサイト構築実績多数。ECサイトのカスタマイズ経験も多数あり。
会社概要はこちら

「ECサイトをより便利にしたい」「もっと集客したい」ECカスタマイズはお任せください