KI-Crawler sind eigentlich mehrere verschiedene Bots. Mit der robots.txt legen Sie getrennt fest, ob Inhalte der Website zum Training von Modellen verwendet werden dürfen und ob die Website in den Antworten einer KI-Suche erscheinen soll.
Die einen raten „KI blockieren“, die anderen „in ChatGPT sichtbar sein“, und in diesem Lärm geht leicht eines unter: Das sind zwei getrennte Entscheidungen. Unten zeige ich, welcher Bot wofür zuständig ist, gebe eine Beispieldatei und erkläre, wo außerhalb der robots.txt eine Sperre stecken kann. Am Ende: wie Sie die Einstellungen für Ihr eigenes Unternehmen wählen.
Inhaltsverzeichnis
Welche KI-Crawler besuchen eine Firmenwebsite und wofür sind sie da?
Jeder Bot von OpenAI macht etwas anderes. Und jeden stellen Sie unabhängig von den anderen ein. Laut der Dokumentation der OpenAI-Bots können vier solche Programme auf die Website kommen:
- GPTBot sammelt Inhalte, die zum Training generativer Modelle dienen können.
- OAI-SearchBot sorgt dafür, dass Websites in der ChatGPT-Suche angezeigt werden.
- ChatGPT-User ruft eine Seite erst auf, wenn ein Nutzer darum bittet. Von sich aus durchsucht er das Web nicht.
- OAI-AdsBot prüft die Zielseiten von Anzeigen in ChatGPT. Ob er die robots.txt beachtet? Dazu schweigt die Dokumentation.
Bei ChatGPT-User gibt es einen Haken. Die Regeln der robots.txt gelten für ihn unter Umständen gar nicht, weil den Besuch ein Mensch veranlasst und kein Automat.
GPTBot sperren und in ChatGPT sichtbar bleiben: zwei getrennte Entscheidungen
Eine Sperre für GPTBot entfernt die Website nicht aus der ChatGPT-Suche. Dafür ist OAI-SearchBot zuständig. Ein Disallow für GPTBot ist nur ein Signal: „Trainiert nicht mit meinen Inhalten.“ Bei OAI-SearchBot sieht es anders aus, denn eine Website, die ihn sperrt, erscheint nicht in den Suchantworten von ChatGPT (höchstens als Navigationslink). Hier liegt ein häufiger Fehler. Jemand setzt eine pauschale Sperre für „alle KI-Bots“ und nimmt sich dabei die Sichtbarkeit in der Suche. Wenn Sie planen, die Website für AI Overviews vorzubereiten oder für andere KI-Antworten, trennen Sie diese beiden Einstellungen.
Google-Extended: was es ändert und was nicht
Google-Extended ist ein Token in der robots.txt. Laut der Dokumentation der Google-Crawler entscheidet es, ob Inhalte zum Training künftiger Gemini-Modelle und zum Grounding (also zum Belegen von Antworten mit Quellen) in den Anwendungen Gemini und Vertex AI genutzt werden dürfen. Auf die Präsenz der Website in der Google-Suche hat es keinen Einfluss. Ein Rankingsignal ist es auch nicht. Einen eigenen User-Agent gibt es ebenfalls nicht. Googlebot ruft die Seite wie immer ab, und das Token sagt nur, wofür Google den abgerufenen Inhalt verwenden darf. Deshalb ist es sinnlos, in den Server-Logs nach Google-Extended zu suchen. Sie finden dort keinen einzigen Eintrag.
KI-Crawler in der robots.txt: eine Beispielkonfiguration
Nichts Kompliziertes. Ein eigener User-agent-Block für jedes Token, in jedem eine eigene Allow- oder Disallow-Regel. Die folgende Datei sperrt das Modelltraining von OpenAI und Google und lässt den Such-Bot von ChatGPT herein:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /Denken Sie aber daran: Wie die Google-Einführung zur robots.txt erklärt, ist diese Datei eine Bitte an die Bots und kein Schutz. Sie verbirgt die Seite auch nicht in den Suchergebnissen. Nach einer Änderung der Datei braucht es etwas Geduld, denn laut den Erläuterungen von OpenAI zu den Bots können deren Systeme etwa einen Tag brauchen, um neue Regeln zu übernehmen. Die robots.txt wird auch gern mit einer anderen Datei verwechselt, daher lohnt es sich zu wissen, was die Datei llms.txt bringt und wie sie sich von den Regeln für Bots unterscheidet.
Blockiert der Hosting-Anbieter schon KI-Bots? So prüfen Sie es in den Logs
Die Sperre für KI-Bots sitzt oft an einer ganz anderen Stelle als in der robots.txt. In den Filtern des Hostings, in der WAF, im CDN oder in einem Sicherheits-Plugin. Das Ergebnis? Die Datei lässt OAI-SearchBot brav herein, und der Server weist ihn trotzdem ab. So prüfen Sie das:
- Laden Sie die Zugriffslogs des Servers aus dem Hosting-Panel herunter.
- Suchen Sie darin nach GPTBot, OAI-SearchBot und ChatGPT-User.
- Vergleichen Sie die Antwortcodes: 200 bedeutet, dass der Bot die Seite bekommen hat, 403 bedeutet eine Abweisung.
- Wenn Sie Abweisungen sehen, prüfen Sie die Regeln von WAF, CDN und Sicherheits-Plugin.
Ein nützliches Detail: Die Bots von OpenAI können dem User-Agent einen robots.txt-Vermerk anhängen, wenn sie nur die Datei selbst abrufen. So lassen sich diese Besuche leicht vom Abruf von Unterseiten unterscheiden. Und noch etwas. Wenn Sie ein Hosting für die Website wählen, fragen Sie gleich nach Filtern für Bots. Das erspart später die Suche nach dem Schuldigen.
Welche KI-Crawler zulassen und welche sperren?
Das ist eine geschäftliche Entscheidung, keine technische. Auf der einen Seite steht die Sichtbarkeit in KI-Antworten, auf der anderen die Abneigung, Inhalte für das Modelltraining herzugeben. Ein typischer Kompromiss sieht so aus: OAI-SearchBot zugelassen, GPTBot und Google-Extended gesperrt. Eine Website mit einzigartigem Wissen, zum Beispiel mit kostenpflichtigen Analysen, braucht unter Umständen stärkeren Schutz. Ein Dienstleister, der Kunden sucht? Für ihn lohnt sich Sichtbarkeit meist mehr. Aber ohne Illusionen: Einen Bot zuzulassen gibt eine Chance, in Antworten aufzutauchen, garantiert aber nichts.
Sie wissen nicht, wie Ihre Website heute dasteht? Helfen kann ein SEO-Audit der Firmenwebsite, das auch die robots.txt und den Zugang der Bots umfasst. In der Praxis empfehle ich vor allem eines: Prüfen Sie KI-Crawler in der robots.txt immer zusammen mit den Antworten des Servers. Erst dann sehen Sie, was die Bots tatsächlich bekommen.
Häufige Fragen
Entfernt eine Sperre für GPTBot meine Website aus ChatGPT?
Nein. Für die Anzeige von Websites in der ChatGPT-Suche ist OAI-SearchBot zuständig. GPTBot sammelt ausschließlich Inhalte für das Training von Modellen, daher wirkt sich seine Sperre nicht auf die Suchergebnisse aus.
Verschlechtert eine Sperre von Google-Extended die Positionen in Google?
Nein. Laut der Google-Dokumentation beeinflusst dieses Token nicht die Präsenz in der Suche und ist kein Rankingsignal. Es entscheidet nur darüber, ob Inhalte zum Training der Gemini-Modelle und zum Grounding verwendet werden dürfen.
Beachtet ChatGPT-User die robots.txt?
Die OpenAI-Dokumentation weist darauf hin, dass die Regeln der robots.txt für ihn unter Umständen nicht gelten, weil er im Auftrag des Nutzers handelt. Und grundsätzlich ist die robots.txt überhaupt kein Schutz. Inhalte, die nicht zugänglich sein sollen, schützt man auf Serverebene, zum Beispiel mit einem Login.
