Focused Crawling

Definition aus dem Lexikon Suchmaschinenoptimierung

Das Internet umfasst Milliarden Webseiten, welche nur mit enormen Aufwand von Suchmaschinen erfasst werden können. So benötigt Google etwa einen Monat, um einen neuen Index zu erzeugen. Focused Crawling reduziert diesen Aufwand, indem nur als wichtig erachtete Webseiten gespidert werden. Zudem werden nur als wichtig eingestufte Webseiten regelmäßig aufgefrischt. Konkret heißt das: Stellt Google fest, dass Webseiten nicht oder nur sehr selten verändert werden, reduziert sich die Besuchshäufigkeit des Googlebots.