先週は当サイトへのクローラー巡回が増加した週でした。前週比約70％増という数字です。もちろん用途不明やSEOツールのクローラーも増えていますが。
Googlebotはウェブ検索・スマートフォン両方とも増加しています。クローリングだけでなく解析もされています。現状当サイトはウェブ検索のGooglebotの方が多く巡回していますね。モバイルファーストインデックスへの切り替わりは感じられない数字です。
そしてBing、米Yahoo!、バイドゥのクローラーも来ています。Bingは計測ツールのバグがあり、前々週までは「unkown」となっていました。現状はきちんと計測できています。
そして用途不明、およびSEOツールのクローラーです。用途不明のクローラーは適宜検証し不明をなくすように努めています。そしてここではわかりませんが、「Other / unknown」の大半はSEOツールのクローラーです。本当に多いですね。
