Meta Robots-Tag

Definition aus dem Lexikon Suchmaschinenoptimierung

Der Meta Robots-Tag im Head-Bereich einer Webseite dient dazu, das Verhalten von Spidern bzw. Robots von Suchmaschinen zu steuern, die diese Seite besuchen. Die zulässigen Werte sind "index" (Seite indexieren), "noindex" (Seite nicht indexieren), "follow" (Links auf der Seite folgen) und "nofollow" (Links auf der Seite nicht folgen). Fehlt der Meta Robots-Tag, dann folgt der Spider allen Links und die Webseite wird in den Datenbestand aufgenommen. Um das Spidern von ganzen Verzeichnisse zu unterbinden, ist der Einsatz der "Robots.txt"-Datei notwendig.