[WEBDESIGN] robots.txt

[Zerogiven]

Die robots.txt dient nicht dazu um ein Verzeichniss zu schützen, zumindest nicht zum direktem Schutz. Man kann jedeglich Ordner mit gewissem Inhalt vor Suchmaschinen schützen.

Schaut ein Robot einer Suchmaschine bei ihnen vorbei, so sucht dieser als 1. nach der robots.txt
Die Datei muss im Stammverzeichniss des Servers liegen. Dóch es spll nicht irgendwas in der robots.tx stehen. Wie, bzw was drinnen stehen soll erkläre ich euch jetzt:

Begriffserklärung

User-Agent: bezeichnet den Robter/Spider. Ein "*" (Stern) gilt für alle Spiders

Disallow: Bestimmt Verzeichnisse die für Robots gesperrt sind. Für jedes Verzeichniss muss eine Zeile geschrieben werden.


Alle Roboter ausschliessen
User-Agemt: *
Disallow: /

Alle Roboter einladen
Die leere Datei würde genauso viel bringen
User-agent: *
Disallow

Alle Roboter von gewissen Verzeichnissen fernhalten
User-Agent: *
Disallow: /cgi-bin/
Disallow: /admin/

Einen bestimmten Robot ausschliessen
User-Agent: WebCrawler
Disallow: /

Einen bestimmten Robot einladen
User-Agent: Sidewinder
Disallow:

Mehrere Datein ausschliessen
User-Agent: *
Disallow: index.html
Disallow: /admin/index.html
Disallow: verboten.html


So das wars. Übrigens Kommentare könnt ihr mit # einfügen, also:
# Kommentar schreiben

Viel erfolg mit eurer Homepage

mfg
Zerogiven

Copyright by Zerogiven
Mehr Tutorials: http://www.boldluck.at

[cHAp]

muss ich die datei robots.txt mit einen meta tags in allen seiten einbaun wenn ich die erstellt habe ?

[pattex]

Die robots.txt legst du einfach im hauptverzeichniss deines webspaces ab. ?(

[cHAp]

aha gut danke.

Ich dachte ich muss die noch extra in meine Meta Tags einbaun. Gut dann hab ich dies ja nun getan ;D


IS das so okay ?

http://www.boardseven.net/robots.txt

kann ich so Bots anlocken ?

[pattex]

Naja, Meta Tags kannst du trotzdem in jeder Datei einbauen.

Aber im Forum bin ich bisher immer gut ohne robots und meta tags ausgekommen

[cHAp]

frage habe ich die datei richtig geschrieben bzw, den inhalt ?


http://www.boardseven.net/robots.txt

[Daniel]

# Alle Roboter einladen
User-agent: *
Disallow

Da fehlt ein Doppelpunkt, ob das was macht kann ich dir nicht sagen. Ansonsten dürfte das so korrekt sein.
Aber lockt man damit die Bots an? Denke eher, das ist nur um den bots zu sagen wohin sie dürfen und wohin nicht. Anlocken wird es wohl nicht

[cHAp]

hmmm schade wenn man die damit net anloggen kann

Wie geht das dann ?

[Daniel]

Die Bots der Suchmaschinen durchkämmen tag und nacht das Internet und tragen neue Seiten in die Suchmaschinen ein. Die kommen also ganz von alleine zu dir und schaun was du so zu bieten hast.
Zusätzlich kannst du dich bei Suchmaschinen noch mit deiner URL eintragen und die Senden dann einen Bot vorbei. Und in der robots.txt stehen dann die Privilegien der Bots, damit die nichts eintragen, was eigentlich geheim bleiben sollte oder so

[pattex]

Manche Suchmaschinene bevorzugen robots, manche eben nicht (oder achten nicht drauf).

Man braucht vorallem viele Links auf anderen Seiten die zur die führen.
Z.b. hatte ich hier viele Links zu muell.de.hm und schon kamen auch dort die Bots hin