robots.txt: Definition, Aufbau & Beispiel

Was bedeutet robots.txt?

Die robots.txt ist eine kleine Textdatei im Stammverzeichnis einer Website, die den Crawlern von Suchmaschinen sagt, welche Bereiche sie besuchen dürfen und welche nicht. Damit können Website-Betreiber festlegen, dass bestimmte Verzeichnisse oder einzelne Seiten nicht gecrawlt werden sollen.

Typische Kandidaten sind etwa technische Bereiche, bestimmte Filterseiten oder andere für das Crawling unwichtige URLs.

Ein häufiges Missverständnis bezüglich der robots.txt: Die Textdatei regelt den Besuch des Crawlers, aber nicht, ob eine Seite dennoch in den Suchergebnissen erscheint. Um eine Seite sicher aus dem Index herauszuhalten, braucht es andere Mittel.

Die robots.txt ist zudem kein Zugriffsschutz. Seriöse und standardkonforme Crawler beachten ihre Anweisungen, bösartige Crawler können sie dagegen ignorieren.

Wo hat die robots.txt ihren Ursprung?

Die robots.txt geht auf eine informelle Übereinkunft, den „Robots Exclusion Standard“ aus dem Jahr 1994, zurück, die es Website-Betreibern ermöglichte, das Verhalten von Crawlern zu steuern.

Trotz des stattlichen Alters der robots.txt ist die Textdatei bis heute Standard und wird von den großen Suchmaschinen unterstützt.

Warum ist die robots.txt wichtig?

Nicht jede Seite gehört in die Suchergebnisse. Auch soll das begrenzte Crawl-Budget einer Website nicht von unwichtigen Bereichen verschlungen werden.

Mithilfe der robots.txt können Betreiber unwichtige Bereiche vom Crawling ausschließen und so insbesondere bei großen Websites unnötige Crawling-Aufwände reduzieren.

Vorteile

Die robots.txt gibt Kontrolle darüber, welche Bereiche einer Website die Crawler besuchen.
Sie hilft großen Websites, das Crawl-Budget auf die wichtigen Bereiche zu konzentrieren.
Sie ist einfach aufgebaut und wird von den großen Suchmaschinen unterstützt.

Herausforderungen

Die Textdatei ist trügerisch einfach und birgt zugleich ein Risiko. Ein einziger falscher Eintrag kann ganze Websites vom Crawling ausschließen und die Sichtbarkeit beeinflussen.

Sie verhindert auch nicht zuverlässig, dass Seiten in den Suchergebnissen erscheinen. Bösartige Programme können die robots.txt einfach ignorieren, weshalb sie sich nicht zum Schutz sensibler Inhalte eignet.

Beispiel

Ein Unternehmen hat unzählige Filter- und Sortiervarianten und möchte verhindern, dass die Crawler das begrenzte Crawl-Budget darauf aufwenden.

Über gezielte Anweisungen in der robots.txt schließt es diese Varianten vom Crawling aus. Dadurch wird verhindert, dass der Crawler unnötige Ressourcen für diese URLs aufwendet, und wichtige Produkt- und Kategorieseiten bleiben für das Crawling zugänglich.