Googlebotは本当にrobots.txtの命令に従っているのか?
クローラビリティ最近新規で構築したサイトがあります。まだ会社概要くらいのボリュームで本格的な運用はこれからです。Search ConsoleからFetch as Googleを使用したくらいなので、クローラーの解析結果は非常に綺麗な状態です。
![新規ドメインのクローラー解析](https://www.web-ma.co.jp/column/wp-content/uploads/2016/11/ca-min.jpg)
長年Webサイトを運用していくとSEOツールを始めいろんなbotが巡回してきます。なので、今の真っ新なクリーンな状況を見てうっとりしています。
![robots.txtへのアクセス状況](https://www.web-ma.co.jp/column/wp-content/uploads/2016/11/ca2-min.jpg)
特にまだ運用が始まっていないので、担当の方のご好意で公開させていただいています。当然数字的に目を見張るような状況でありませんが、robots.txtへのアクセスが多いことがわかります。まだ設置していなかったので早速アップロードしました。Googlebotはrobots.txtの命令に従ってクロールするので当然きちんとアクセスしてますね。
![西部俊宏](https://www.web-ma.co.jp/column/wp-content/uploads/2023/04/nishibe-1-300x300.jpg)
- 執筆者:西部俊宏
- 株式会社Webの間代表取締役。上場企業でのSEOやWebサイト構築実績多数。ECサイトのカスタマイズ経験も多数あり。
- 会社概要はこちら
「ECサイトをより便利にしたい」「もっと集客したい」ECカスタマイズはお任せください