Googleクローラーはやっぱりリンクを辿っていない
クローラビリティ![道](https://www.web-ma.co.jp/column/wp-content/uploads/2016/10/e70cf2af3d58fdec4ea6749a0ded507a_m-min-1024x678.jpg)
人間の感覚からすると、クローラーはHTMLを解析しリンクを取得します。そのリンクを辿ってくれるとわかりやすいですよね。実際にはリンクを辿らず(少なくともGoogle クローラーの場合)、作成されたURLリストに従ってクロールします。
▼Google 検索の仕組み
https://support.google.com/webmasters/answer/70897
「クロールを開始する際は、前回のクロールで生成され、ウェブマスターから提供されたサイトマップによって補強された、ウェブページの URL リストを使用します。Googlebot はこれらのウェブサイトすべてにアクセスし、各ページのリンクを検出してクロール対象ページのリストに追加します。」
このように明記されています。なので、当然疑う余地はありません。
しかし、本当なのかなあと自分は気になってしまいます。ということで調べてみました。いつものように弊社のサンプルデータです。
![ランディングページと2ページ目](https://www.web-ma.co.jp/column/wp-content/uploads/2016/10/sample.jpg)
上記は弊社のページ情報ですが、おそらくこれを見てもわからないかもしれません。弊社のことなので自分はわかりますが、1ページ目と2ページ目のURLを見ると確かに内部リンクが存在していません。1ページ目から内部リンクがないページが2ページ目として現れています。確かにURL リストに従ってクロールしていることがわかります。
ちなみに某SEOツールのクローラーもGoogleクローラーと同様の動きをしています。しかし、サイトによってはSEOツールのクロール量が多過ぎるのでちょっと困ります。サーバーにアクセス障害が出るようでしたら、こういうツール系をブロックした方が良いかもしれないですね。
![西部俊宏](https://www.web-ma.co.jp/column/wp-content/uploads/2023/04/nishibe-1-300x300.jpg)
- 執筆者:西部俊宏
- 株式会社Webの間代表取締役。上場企業でのSEOやWebサイト構築実績多数。ECサイトのカスタマイズ経験も多数あり。
- 会社概要はこちら
「ECサイトをより便利にしたい」「もっと集客したい」ECカスタマイズはお任せください