クローラー解析ツール、クローラーの巡回頻度と閲覧ページを分析

Webサイトをアップしているサーバーは拒否していない限り日々クローラーが訪れています。ではどのくらいのクローラーが来訪しているのでしょうか？ 数字でいうとSearch Consoleのクロールの統計情報で見ることができます。グラフになっているので視覚的にわかりやすいですよね。大概クローラーの来訪が多い時もあれば少ない時もあるでしょう。

▼Google ウェブマスター（Search Consoleへのリンクがあります）
https://www.google.co.jp/intl/ja/webmasters/

このSearch Consoleというのは非常に面白いものでご存知の通り検索トラフィックやGoogleインデックス状況などWebマスターとして知っておくべき情報が確認できます。

そこにはクロールという項目があり、クローラー（Googlebot）の情報も見ることができます。また、Fetch as Googleを使うと任意のページにクローラーを呼び込むことができます。GooglebotがダウンロードしたHTTPレスポンスも見れます。

クローラーはどのページを見ているのか？

ではクローラーはサイト内のどのWebページへ来訪しているのでしょうか？ Search Consoleではわかりません。しかし、弊社はGoogle Analyticsと連携してみました。すると人間の閲覧とは異なる動きがありました。

ほんの一部ではありますが、こちらはサンプルサイトのデータです。やっぱり「robots.txt」は見ています。「Google 検索の仕組み」によると「ウェブマスターから提供されたサイトマップによって補強された、ウェブページの URL リストを使用します。」とあります。sitemap.xmlの設置と更新は大切ですね。

▼Google 検索の仕組み
https://support.google.com/webmasters/answer/70897

そして「apple-app-site-association」などのファイルも見ています。これはユニバーサルリンク用の記述ですね。

▼App Search プログラミングガイド: ユニバーサルリンクへの対応
https://developer.apple.com/jp/documentation/General/Conceptual/AppSearch/UniversalLinks/UniversalLinks.html

Googleが何に注力しているのか感じられますね。PWA押しのGoogleですが、現状はネイティブアプリの方が隆盛ですからね。

▼PWA（Progressive Web Apps）
https://developers.google.com/web/fundamentals/getting-started/your-first-progressive-web-app/

クローラー解析ツール参考画面