08.07.2003, 11:46
Die robots.txt dient nicht dazu um ein Verzeichniss zu schützen, zumindest nicht zum direktem Schutz. Man kann jedeglich Ordner mit gewissem Inhalt vor Suchmaschinen schützen.
Schaut ein Robot einer Suchmaschine bei ihnen vorbei, so sucht dieser als 1. nach der robots.txt
Die Datei muss im Stammverzeichniss des Servers liegen. Dóch es spll nicht irgendwas in der robots.tx stehen. Wie, bzw was drinnen stehen soll erkläre ich euch jetzt:
Begriffserklärung
User-Agent: bezeichnet den Robter/Spider. Ein "*" (Stern) gilt für alle Spiders
Disallow: Bestimmt Verzeichnisse die für Robots gesperrt sind. Für jedes Verzeichniss muss eine Zeile geschrieben werden.
Alle Roboter ausschliessen
User-Agemt: *
Disallow: /
Alle Roboter einladen
Die leere Datei würde genauso viel bringen
User-agent: *
Disallow
Alle Roboter von gewissen Verzeichnissen fernhalten
User-Agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Einen bestimmten Robot ausschliessen
User-Agent: WebCrawler
Disallow: /
Einen bestimmten Robot einladen
User-Agent: Sidewinder
Disallow:
Mehrere Datein ausschliessen
User-Agent: *
Disallow: index.html
Disallow: /admin/index.html
Disallow: verboten.html
So das wars. Übrigens Kommentare könnt ihr mit # einfügen, also:
# Kommentar schreiben
Viel erfolg mit eurer Homepage
mfg
Zerogiven
Copyright by Zerogiven
Mehr Tutorials: http://www.boldluck.at
Schaut ein Robot einer Suchmaschine bei ihnen vorbei, so sucht dieser als 1. nach der robots.txt
Die Datei muss im Stammverzeichniss des Servers liegen. Dóch es spll nicht irgendwas in der robots.tx stehen. Wie, bzw was drinnen stehen soll erkläre ich euch jetzt:
Begriffserklärung
User-Agent: bezeichnet den Robter/Spider. Ein "*" (Stern) gilt für alle Spiders
Disallow: Bestimmt Verzeichnisse die für Robots gesperrt sind. Für jedes Verzeichniss muss eine Zeile geschrieben werden.
Alle Roboter ausschliessen
User-Agemt: *
Disallow: /
Alle Roboter einladen
Die leere Datei würde genauso viel bringen
User-agent: *
Disallow
Alle Roboter von gewissen Verzeichnissen fernhalten
User-Agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Einen bestimmten Robot ausschliessen
User-Agent: WebCrawler
Disallow: /
Einen bestimmten Robot einladen
User-Agent: Sidewinder
Disallow:
Mehrere Datein ausschliessen
User-Agent: *
Disallow: index.html
Disallow: /admin/index.html
Disallow: verboten.html
So das wars. Übrigens Kommentare könnt ihr mit # einfügen, also:
# Kommentar schreiben
Viel erfolg mit eurer Homepage
mfg
Zerogiven
Copyright by Zerogiven
Mehr Tutorials: http://www.boldluck.at