Googlebotは本当にrobots.txtの命令に従っているのか?

クローラビリティ

最近新規で構築したサイトがあります。まだ会社概要くらいのボリュームで本格的な運用はこれからです。Search ConsoleからFetch as Googleを使用したくらいなので、クローラーの解析結果は非常に綺麗な状態です。

新規ドメインのクローラー解析

長年Webサイトを運用していくとSEOツールを始めいろんなbotが巡回してきます。なので、今の真っ新なクリーンな状況を見てうっとりしています。

robots.txtへのアクセス状況

特にまだ運用が始まっていないので、担当の方のご好意で公開させていただいています。当然数字的に目を見張るような状況でありませんが、robots.txtへのアクセスが多いことがわかります。まだ設置していなかったので早速アップロードしました。Googlebotはrobots.txtの命令に従ってクロールするので当然きちんとアクセスしてますね。

西部俊宏
執筆者:
株式会社Webの間代表取締役。上場企業でのSEOの実績やWebサイト構築実績多数。SEO・Web制作の経験からクローラビリティ改善・最適化サービスを提供している。

売上アップに繋がる本気のユーザーをホームページに呼び込みませんか?

※当ブログはブログ村に参加しております。
にほんブログ村