+- net-board.net Archiv (https://net-board.net)
+-- Forum: Deine eigene Homepage (https://net-board.net/forumdisplay.php?fid=26)
+--- Forum: Grundlagen (https://net-board.net/forumdisplay.php?fid=13)
+--- Thema: Robot Liste von Suchmaschinen (/showthread.php?tid=2918)
Robot Liste von Suchmaschinen - Zerogiven - 28.10.2003
Hi Leute,
Frage, weiss jemand wo man eine aktuelle Roboter Liste von Suchmaschinen findet?
Also z.B. das ich Sie identifizieren kann.
So kommt z.B. der Googlebot per HTTP Headerdaten auf die Seite:
^Googlebot/2\.\d \((\+)*http://www.googlebot.com/bot.html\)$
Und ich möchte jetzt die Header Daten von mehreren Roboter, hab zwar eh ziemlich viele, wär aber trotzdem nützlich.
mfg
Zerogiven
- kickedINtheHEAD - 28.10.2003
http://www.psychedelix.com/agents.html
da is ca alles was es gibt - robots, spiders, crawler und browser
- Zerogiven - 28.10.2003
Wow cool danke
@balu: Nein das geht nicht, du kannst aber mit dieser Tabelle Roboter identifizieren. z.b. Googlebot = http://www.google.com,...
mfg