ApplebotとはAppleがSiri や Spotlight 検索候補などの利用のためにクロールするものです。2015年にネット上でも確認されていたものですが、弊社サイトにも無事巡回がありました。
ちなみに弊社に巡回したApplebotのUser-agentはこちら。
mozilla/5.0 (macintosh; intel mac os x 10_10_1) applewebkit/600.2.5 (khtml, like gecko) version/8.0.2 safari/600.2.5 (applebot/0.1; +http://www.apple.com/go/applebot)
公式サイトにある通り、ApplebotはGooglebotの指示に準ずるそうです。
robots の制御指示で Applebot には言及していなくても Googlebot について指定されている場合、Apple のロボットは Googlebot に対する指示に従います。
▼Applebot について
https://support.apple.com/ja-jp/HT204683
