net-board.net Archiv

Hi Leute,

Frage, weiss jemand wo man eine aktuelle Roboter Liste von Suchmaschinen findet?

Also z.B. das ich Sie identifizieren kann.
So kommt z.B. der Googlebot per HTTP Headerdaten auf die Seite:
^Googlebot/2\.\d \((\+)*http://www.googlebot.com/bot.html\)$

Und ich möchte jetzt die Header Daten von mehreren Roboter, hab zwar eh ziemlich viele, wär aber trotzdem nützlich.

mfg
Zerogiven

http://www.psychedelix.com/agents.html

da is ca alles was es gibt - robots, spiders, crawler und browser

Wow cool danke

@balu: Nein das geht nicht, du kannst aber mit dieser Tabelle Roboter identifizieren. z.b. Googlebot = http://www.google.com,...

mfg