Crawler - Suchmaschinenoptimierung-Lexikon - Suchmaschinenoptimierung Berlin

lexikon

a b c d e f g h i j k l m n o p q r s t u v w x y z
c

Crawler

Webcrawler sind eigenständig arbeitende Softwareprogramme (Bots), die für Google & Co. automatisch das Internet „durchwühlen“. Sie dienen dazu, möglichst alle existierenden Seiten im World Wide Web aufzufinden. Sie erfassen die einzelnen Seiten, sammeln Informationen über Inhalt und Aufbau und geben diese an die Anbieter von Suchmaschinen zur Auswertung weiter.

Crawler arbeiten sich über Hyperlinks durch das Internet. Sie erkennen Links innerhalb von Webseiten, verfolgen diese und beziehen sie in die Linkpopularität der Zielseite ein, sofern dies vom Betreiber der Webseite nicht mit dem entsprechenden nofollow-Tag unterbunden wird.

Das Ranking von Websites in den organischen Ergebnissen der Suchmaschinen beruht auf der Auswertung der dabei gesammelten Daten.