Kurz erklärt
Die robots.txt ist eine Textdatei im Hauptverzeichnis einer Website, die Crawlern von Suchmaschinen und KI-Anbietern sagt, welche Bereiche sie abrufen dürfen und welche nicht. Sie regelt das Crawlen, nicht die Aufnahme in den Index. Seriöse Crawler halten sich daran, verpflichtet sind sie nicht.
Beispiel aus der Praxis
Crawler besucht die Website
liest zuerst die robots.txt
ruft nur erlaubte Bereiche ab
Eine Steuerberatung wundert sich, dass ChatGPT und andere KI-Assistenten sie bei Fragen nach Kanzleien in der Region nie nennen. Ein Blick in die robots.txt zeigt: Ein Sicherheits-Plugin hat dort pauschal alle bekannten KI-Crawler ausgesperrt, ohne dass jemand das bewusst entschieden hat. Die Kanzlei legt nun selbst fest, welche Crawler ihre Seiten lesen dürfen. Ob sie danach genannt wird, ist offen, ausgeschlossen ist sie aber nicht mehr.
Worauf es ankommt
- Sperren heißt nicht verstecken. Eine in der robots.txt gesperrte Seite kann trotzdem im Index landen, wenn andere auf sie verlinken. Wer eine Seite aus Google heraushalten will, braucht einen „noindex“-Hinweis.
- KI-Crawler bewusst steuern. Für KI-Anbieter gibt es eigene Crawler-Namen. Ob du sie zulässt oder aussperrst, ist eine Entscheidung zwischen Sichtbarkeit in KI-Antworten und Kontrolle über deine Inhalte.
- Ein Tippfehler kann viel sperren. Eine falsche Zeile schließt im schlimmsten Fall die ganze Website aus. Nach jeder Änderung lohnt ein Blick in die Search Console.