[WEBDESIGN] robots.txt

[Daniel]

Die Bots der Suchmaschinen durchkämmen tag und nacht das Internet und tragen neue Seiten in die Suchmaschinen ein. Die kommen also ganz von alleine zu dir und schaun was du so zu bieten hast.
Zusätzlich kannst du dich bei Suchmaschinen noch mit deiner URL eintragen und die Senden dann einen Bot vorbei. Und in der robots.txt stehen dann die Privilegien der Bots, damit die nichts eintragen, was eigentlich geheim bleiben sollte oder so