Spider

Definition aus dem Lexikon Suchmaschinenoptimierung

Auch "Robot", "Bot" "Crawler". Bezeichnet Programme, die sich kontinuierlich durch das Internet bewegen, die Inhalte von Webseiten einlesen und für die spätere Indexierung durch Suchmaschinen erfassen. Die Adressen der Webseiten wurden zuvor entweder bei den Suchmaschinen angemeldet oder der Spider folgt eigenständig Links und besucht dabei neue Seiten.