Web-Crawler

Definition: Was ist ein Web-Crawler?

Ein Web-Crawler, auch als Crawler, Spider oder Search-Bot bezeichnet, ist ein Programm, das systematisch das Internet durchsucht zum Zweck der Seitenindexierung für Suchmaschinen.

Der Crawler besucht in regelmäßigen Abständen eine Website und analysiert diese nach neuen Inhalten. Mit den gewonnenen Informationen kann die Suchmaschine die Inhalte in ihre Suchergebnisse (SERPs) aufnehmen und sie bei entsprechend relevanten Suchanfragen von Nutzern in der Suchergebnisliste anzeigen.

Ein Web-Crawler ist somit ein wichtiges Element der Suchmaschinenoptimierung, denn er ist sozusagen der Erste, der auf Seiten der Suchmaschine neu erstellt Inhalte entdeckt.

Gleichwohl gibt es unterschiedliche Crawler, manche von ihnen durchsuchen nicht nur Websites, sondern crawlen ebenso Emails, Links oder Feeds.

Beispiel:

Der bekannteste Crawler ist der Googlebot. Er durchsucht täglich automatisch Milliarden von Websites, um daraus schließlich die bekannten Suchergebnisse von Google herbeizuführen.

© Onpulson.de