Crawler

Einer der ersten Webcrawler entstand Anfang der 1990er-Jahre. Er trug den romantischen Namen „World Wide Web Wanderer“. Die Bezeichnung Spider bekam der Crawler, weil er sich wie eine Spinne über das Web, das Netz, bewegte. Mit der Zeit wurden die Crawler immer leistungsfähiger und erfassen heute enorme Mengen an Seiten.

Bevor die Inhalte einer Seite in den Suchergebnissen einer Suchmaschine erscheinen können, müssen sie zunächst gecrawlt und anschließend verarbeitet und indexiert werden. Wichtig für Unternehmen ist es zu verstehen, wie man den Bot über die eigene Seite manövrieren kann, sodass die Inhalte technisch gut erfassbar sind.

• Unternehmen müssen ihre Seiten nicht aktiv anmelden, um gefunden zu werden.
• Man kann seine Website so gestalten, dass wichtige Inhalte zuverlässig erfasst und weniger wichtige ausgespart werden.

Crawler haben ihre Grenzen. Inhalte, die durch komplexe Technik im Browser entstehen, erfassen sie nicht immer vollständig. Außerdem stehen Suchmaschinen nur begrenzte Ressourcen zum Crawlen einer Website zur Verfügung, was vor allem bei großen Seiten dazu führen kann, dass nicht alles gleich häufig besucht wird.

Überdies können technische Fehler wie Sperren den Crawler davon abhalten, ganze Bereiche zu erfassen.

Ein Unternehmen platziert zentrale Leistungen eines Produkts in einer aufwendigen Grafik. Diese sieht hübsch aus, ist aber schlussendlich nur ein Bild. Der Text in der Grafik steht der Suchmaschine nicht so zuverlässig als auswertbarer Seiteninhalt zur Verfügung wie echter HTML-Text.

Nachdem der Inhalt als echter Text auf der Seite erscheint, erfasst der Crawler diesen bei einem erneuten Besuch und liefert die Information zur Indexierung. Damit verbessert sich die Grundlage dafür, dass die Seite bei passenden Suchbegriffen gefunden werden kann.