Neben dem normalen Google Crawler setzt Google noch eine Reihe weitere Bots ein um das Web zu durchsuchen.  Ben Pfeiffer von Search Engine Roundtable hat eine Liste aller derzeit bekannten Google Bots zusammengestellt:

  • Googlebot
  • MediaBot - used to analyze AdSense pages, user agent “Mediapartners-Google”
  • ImageBot - crawling for the Image Search, user agent “GoogleBot-Image”
  • AdsBot - checking AdWords landing pages for quality, user agent “AdsBot-Google”
  • Feedfetcher-Google
  • Generic Mobile Phone (compatible; Googlebot-Mobile/2.1; +http://www.google.com/bot.html)

Sehr nützlich für alle Cloaker da draussen smile