+- net-board.net Archiv (https://net-board.net)
+-- Forum: Pause vom Designen und Coden (https://net-board.net/forumdisplay.php?fid=10)
+--- Forum: Webseiten: Verwalten und Betreuen (https://net-board.net/forumdisplay.php?fid=16)
+--- Thema: [WEBDESIGN] robots.txt (/showthread.php?tid=2019)
Seiten:
1
2
[WEBDESIGN] robots.txt - Zerogiven - 08.07.2003
Die robots.txt dient nicht dazu um ein Verzeichniss zu schützen, zumindest nicht zum direktem Schutz. Man kann jedeglich Ordner mit gewissem Inhalt vor Suchmaschinen schützen.
Schaut ein Robot einer Suchmaschine bei ihnen vorbei, so sucht dieser als 1. nach der robots.txt
Die Datei muss im Stammverzeichniss des Servers liegen. Dóch es spll nicht irgendwas in der robots.tx stehen. Wie, bzw was drinnen stehen soll erkläre ich euch jetzt:
Begriffserklärung
User-Agent: bezeichnet den Robter/Spider. Ein "*" (Stern) gilt für alle Spiders
Disallow: Bestimmt Verzeichnisse die für Robots gesperrt sind. Für jedes Verzeichniss muss eine Zeile geschrieben werden.
Alle Roboter ausschliessen
User-Agemt: *
Disallow: /
Alle Roboter einladen
Die leere Datei würde genauso viel bringen
User-agent: *
Disallow
Alle Roboter von gewissen Verzeichnissen fernhalten
User-Agent: *
Disallow: /cgi-bin/
Disallow: /admin/
Einen bestimmten Robot ausschliessen
User-Agent: WebCrawler
Disallow: /
Einen bestimmten Robot einladen
User-Agent: Sidewinder
Disallow:
Mehrere Datein ausschliessen
User-Agent: *
Disallow: index.html
Disallow: /admin/index.html
Disallow: verboten.html
So das wars. Übrigens Kommentare könnt ihr mit # einfügen, also:
# Kommentar schreiben
Viel erfolg mit eurer Homepage
mfg
Zerogiven
Copyright by Zerogiven
Mehr Tutorials: http://www.boldluck.at
- cHAp - 24.06.2004
muss ich die datei robots.txt mit einen meta tags in allen seiten einbaun wenn ich die erstellt habe ?
- pattex - 24.06.2004
Die robots.txt legst du einfach im hauptverzeichniss deines webspaces ab. ?(
- cHAp - 24.06.2004
aha gut danke.
Ich dachte ich muss die noch extra in meine Meta Tags einbaun. Gut dann hab ich dies ja nun getan ;D
IS das so okay ?
http://www.boardseven.net/robots.txt
kann ich so Bots anlocken ?
- pattex - 24.06.2004
Naja, Meta Tags kannst du trotzdem in jeder Datei einbauen.
Aber im Forum bin ich bisher immer gut ohne robots und meta tags ausgekommen
- cHAp - 24.06.2004
frage habe ich die datei richtig geschrieben bzw, den inhalt ?
http://www.boardseven.net/robots.txt
- Daniel - 24.06.2004
Zitat:# Alle Roboter einladen
User-agent: *
Disallow
Da fehlt ein Doppelpunkt, ob das was macht kann ich dir nicht sagen. Ansonsten dürfte das so korrekt sein.
Aber lockt man damit die Bots an? Denke eher, das ist nur um den bots zu sagen wohin sie dürfen und wohin nicht. Anlocken wird es wohl nicht
- cHAp - 24.06.2004
hmmm schade wenn man die damit net anloggen kann
Wie geht das dann ?
- Daniel - 24.06.2004
Die Bots der Suchmaschinen durchkämmen tag und nacht das Internet und tragen neue Seiten in die Suchmaschinen ein. Die kommen also ganz von alleine zu dir und schaun was du so zu bieten hast.
Zusätzlich kannst du dich bei Suchmaschinen noch mit deiner URL eintragen und die Senden dann einen Bot vorbei. Und in der robots.txt stehen dann die Privilegien der Bots, damit die nichts eintragen, was eigentlich geheim bleiben sollte oder so
- pattex - 24.06.2004
Manche Suchmaschinene bevorzugen robots, manche eben nicht (oder achten nicht drauf).
Man braucht vorallem viele Links auf anderen Seiten die zur die führen.
Z.b. hatte ich hier viele Links zu muell.de.hm und schon kamen auch dort die Bots hin
