不正アクセスを防止するためにはクローラー情報の収集から

クローラビリティ

弊社が提供するクローラー解析ツールは日々クローラー情報をアップデートしています。見知らぬクローラーによるアクセスは日常茶飯事で、世界中にはいろんなサービスがあるものだと驚きの毎日です。

先日「aihitbot」という新しいクローラーのアクセスがありました。日本ではあまり著名ではないサービスのようで、aihitbotの情報はありませんでした。なので備忘録代わりに調べてみました。

aiHit

aiHit

アメリカの企業情報データベースサービス。企業情報の検索はアカウント登録なしででき、無料アカウントに登録することで企業データのダウンロードも可能。

企業データは最新のものだけでなく、過去の情報も収集しています。企業情報の変化も見れます。Aboutページにも次のように記されています。もちろん英語での記述となるのでGoogle翻訳を使いました。

ほとんどの企業情報データベースでは、会社のCEOの名前がわかります。 CEOの変更時にaiHitdataがあなたに伝え、結果として得られる取引、日付および変更の詳細を表示します。
ほとんどのクエリエンジンと会社のデータベースは、会社が現在そのウェブサイトで何を言っているかを伝えるだけです。 aiHitdataは時間の経過とともにどのように変化したかを示します。
ほとんどの企業データベースはすぐに古くなってしまいます。 aiHitdataは常に更新されています。
これにより、企業に何が起こっているのかを理解したり、クエリを実行したりすることができます。
過去9ヶ月間にCTOを変更したカリフォルニアのエンジニアリング会社をすべて紹介します。

aiHitのクローラーのUserAgentは以下です。

mozilla/5.0 (compatible; aihitbot/2.9; +https://www.aihitdata.com/about)

▼aiHit
https://www.aihitdata.com

クローラーの情報収集を許容するか否か

aiHitは企業情報を収集するためにクローラーを巡回させています。そして更新情報も収集しているので、常にアクセスがある訳です。ウェブ上の記載内容は公開情報なのですが、更新履歴が第三者にアーカイブされていることを許容するかどうかは考え方次第と言えます。クローラー解析をすることで、自社にとって不要なアクセスを対処することが可能となります。

▼クローラー解析ツールについて
https://www.web-ma.co.jp/analytics/

西部俊宏
執筆者:
株式会社Webの間代表取締役。上場企業でのSEOの実績やWebサイト構築実績多数。SEO・Web制作の経験からクローラビリティ改善・最適化サービスを提供している。

売上アップに繋がる本気のユーザーをホームページに呼び込みませんか?

※当ブログはブログ村に参加しております。
にほんブログ村

売上アップに繋がる本気のユーザーをホームページに呼び込みませんか?
  • 医療関連サイト制作
  • サービスサイト制作
  • 独自ECサイト構築
  • コーポレートサイト・CI作成
  • レシピ投稿システム開発
  • 採用選考システム開発・おかえりな採用
  • 採用選考システム開発・オープンコネ採用
  • 採用選考システム開発・考えな採用
  • 採用選考システム開発・登頂採用
  • IT系サービスサイト制作
  • コーポレートサイト・CI作成
  • 不動産サイト制作
お客様に最適なWEB集客&コンテンツをご提案します