Robots.txt

Definition aus dem Lexikon Suchmaschinenoptimierung

Mit dieser Textdatei im Hauptverzeichnis einer Website können Spider i.d.R. davon abgehalten werden, bestimmte Dateien oder Ordner zu spidern und zu indexieren. Seriöse Suchmaschinen-Spider halten sich an diese Anweisungen. Webseiten, die absolut nicht gespidert werden dürfen, sollten unbedingt in einem passwortgeschützten Verzeichnis untergebracht werden. Spider, die sich nicht an die Robots.txt halten wollen, können vom Webmaster über die IP bzw. den Agent-Name erkannt werden und über die Htaccess-Datei vom Zugriff auf die Website abgehalten werden. In einem Forum wird davon berichtet, dass sich auch Google nicht immer an die robots.txt zu halten scheint. Siehe Beitrag im Forum von Abakus Internet Marketing.