クローラー解析ツール、クローラーの巡回頻度と閲覧ページを分析

クローラビリティ
クローラー解析

Webサイトをアップしているサーバーは拒否していない限り日々クローラーが訪れています。ではどのくらいのクローラーが来訪しているのでしょうか? 数字でいうとSearch Consoleのクロールの統計情報で見ることができます。グラフになっているので視覚的にわかりやすいですよね。大概クローラーの来訪が多い時もあれば少ない時もあるでしょう。

▼Google ウェブマスター(Search Consoleへのリンクがあります)
https://www.google.co.jp/intl/ja/webmasters/

このSearch Consoleというのは非常に面白いものでご存知の通り検索トラフィックやGoogleインデックス状況などWebマスターとして知っておくべき情報が確認できます。

そこにはクロールという項目があり、クローラー(Googlebot)の情報も見ることができます。また、Fetch as Googleを使うと任意のページにクローラーを呼び込むことができます。GooglebotがダウンロードしたHTTPレスポンスも見れます。

クモの巣

クローラーはどのページを見ているのか?

ではクローラーはサイト内のどのWebページへ来訪しているのでしょうか? Search Consoleではわかりません。しかし、弊社はGoogle Analyticsと連携してみました。すると人間の閲覧とは異なる動きがありました。

クローラー解析

ほんの一部ではありますが、こちらはサンプルサイトのデータです。やっぱり「robots.txt」は見ています。「Google 検索の仕組み」によると「ウェブマスターから提供されたサイトマップによって補強された、ウェブページの URL リストを使用します。」とあります。sitemap.xmlの設置と更新は大切ですね。

▼Google 検索の仕組み
https://support.google.com/webmasters/answer/70897

そして「apple-app-site-association」などのファイルも見ています。これはユニバーサルリンク用の記述ですね。

▼App Search プログラミングガイド: ユニバーサルリンクへの対応
https://developer.apple.com/jp/documentation/General/Conceptual/AppSearch/UniversalLinks/UniversalLinks.html

Googleが何に注力しているのか感じられますね。PWA押しのGoogleですが、現状はネイティブアプリの方が隆盛ですからね。

▼PWA(Progressive Web Apps)
https://developers.google.com/web/fundamentals/getting-started/your-first-progressive-web-app/

クローラー解析ツール参考画面

クローラー解析ツール
西部俊宏
執筆者:
株式会社Webの間代表取締役。上場企業でのSEOの実績やWebサイト構築実績多数。SEO・Web制作の経験からクローラビリティ改善・最適化サービスを提供している。

売上アップに繋がる本気のユーザーをホームページに呼び込みませんか?

※当ブログはブログ村に参加しております。
にほんブログ村

売上アップに繋がる本気のユーザーをホームページに呼び込みませんか?
  • 医療関連サイト制作
  • サービスサイト制作
  • 独自ECサイト構築
  • コーポレートサイト・CI作成
  • レシピ投稿システム開発
  • 採用選考システム開発・おかえりな採用
  • 採用選考システム開発・オープンコネ採用
  • 採用選考システム開発・考えな採用
  • 採用選考システム開発・登頂採用
  • IT系サービスサイト制作
  • コーポレートサイト・CI作成
お客様に最適なWEB集客&コンテンツをご提案します