{"id":30867,"date":"2026-10-27T09:15:00","date_gmt":"2026-10-27T08:15:00","guid":{"rendered":"https:\/\/www.web-systems.pl\/?p=30867"},"modified":"2026-10-23T08:58:46","modified_gmt":"2026-10-23T07:58:46","slug":"ki-crawler-gptbot-oai-searchbot-robots-txt","status":"publish","type":"post","link":"https:\/\/www.web-systems.pl\/de\/ki-crawler-gptbot-oai-searchbot-robots-txt\/","title":{"rendered":"KI-Crawler auf der Firmenwebsite: GPTBot, OAI-SearchBot und robots.txt"},"content":{"rendered":"\n<p class=\"wp-block-paragraph\">KI-Crawler sind eigentlich mehrere verschiedene Bots. Mit der robots.txt legen Sie getrennt fest, ob Inhalte der Website zum Training von Modellen verwendet werden d\u00fcrfen und ob die Website in den Antworten einer KI-Suche erscheinen soll.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Die einen raten \u201eKI blockieren\u201c, die anderen \u201ein ChatGPT sichtbar sein\u201c, und in diesem L\u00e4rm geht leicht eines unter: Das sind zwei getrennte Entscheidungen. Unten zeige ich, welcher Bot wof\u00fcr zust\u00e4ndig ist, gebe eine Beispieldatei und erkl\u00e4re, wo au\u00dferhalb der robots.txt eine Sperre stecken kann. Am Ende: wie Sie die Einstellungen f\u00fcr Ihr eigenes Unternehmen w\u00e4hlen.<\/p>\n\n\n\n<div id=\"ez-toc-container\" class=\"ez-toc-v2_0_86 counter-hierarchy ez-toc-counter ez-toc-grey ez-toc-container-direction\">\n<div class=\"ez-toc-title-container\">\n<p class=\"ez-toc-title\" style=\"cursor:inherit\">Inhaltsverzeichnis<\/p>\n<span class=\"ez-toc-title-toggle\"><\/span><\/div>\n<nav><ul class='ez-toc-list ez-toc-list-level-1 ' ><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-1\" href=\"https:\/\/www.web-systems.pl\/de\/ki-crawler-gptbot-oai-searchbot-robots-txt\/#Welche_KI-Crawler_besuchen_eine_Firmenwebsite_und_wofuer_sind_sie_da\" >Welche KI-Crawler besuchen eine Firmenwebsite und wof\u00fcr sind sie da?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-2\" href=\"https:\/\/www.web-systems.pl\/de\/ki-crawler-gptbot-oai-searchbot-robots-txt\/#GPTBot_sperren_und_in_ChatGPT_sichtbar_bleiben_zwei_getrennte_Entscheidungen\" >GPTBot sperren und in ChatGPT sichtbar bleiben: zwei getrennte Entscheidungen<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-3\" href=\"https:\/\/www.web-systems.pl\/de\/ki-crawler-gptbot-oai-searchbot-robots-txt\/#Google-Extended_was_es_aendert_und_was_nicht\" >Google-Extended: was es \u00e4ndert und was nicht<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-4\" href=\"https:\/\/www.web-systems.pl\/de\/ki-crawler-gptbot-oai-searchbot-robots-txt\/#KI-Crawler_in_der_robotstxt_eine_Beispielkonfiguration\" >KI-Crawler in der robots.txt: eine Beispielkonfiguration<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-5\" href=\"https:\/\/www.web-systems.pl\/de\/ki-crawler-gptbot-oai-searchbot-robots-txt\/#Blockiert_der_Hosting-Anbieter_schon_KI-Bots_So_pruefen_Sie_es_in_den_Logs\" >Blockiert der Hosting-Anbieter schon KI-Bots? So pr\u00fcfen Sie es in den Logs<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-6\" href=\"https:\/\/www.web-systems.pl\/de\/ki-crawler-gptbot-oai-searchbot-robots-txt\/#Welche_KI-Crawler_zulassen_und_welche_sperren\" >Welche KI-Crawler zulassen und welche sperren?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-2'><a class=\"ez-toc-link ez-toc-heading-7\" href=\"https:\/\/www.web-systems.pl\/de\/ki-crawler-gptbot-oai-searchbot-robots-txt\/#Haeufige_Fragen\" >H\u00e4ufige Fragen<\/a><ul class='ez-toc-list-level-3' ><li class='ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-8\" href=\"https:\/\/www.web-systems.pl\/de\/ki-crawler-gptbot-oai-searchbot-robots-txt\/#Entfernt_eine_Sperre_fuer_GPTBot_meine_Website_aus_ChatGPT\" >Entfernt eine Sperre f\u00fcr GPTBot meine Website aus ChatGPT?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-9\" href=\"https:\/\/www.web-systems.pl\/de\/ki-crawler-gptbot-oai-searchbot-robots-txt\/#Verschlechtert_eine_Sperre_von_Google-Extended_die_Positionen_in_Google\" >Verschlechtert eine Sperre von Google-Extended die Positionen in Google?<\/a><\/li><li class='ez-toc-page-1 ez-toc-heading-level-3'><a class=\"ez-toc-link ez-toc-heading-10\" href=\"https:\/\/www.web-systems.pl\/de\/ki-crawler-gptbot-oai-searchbot-robots-txt\/#Beachtet_ChatGPT-User_die_robotstxt\" >Beachtet ChatGPT-User die robots.txt?<\/a><\/li><\/ul><\/li><\/ul><\/nav><\/div>\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Welche_KI-Crawler_besuchen_eine_Firmenwebsite_und_wofuer_sind_sie_da\"><\/span>Welche KI-Crawler besuchen eine Firmenwebsite und wof\u00fcr sind sie da?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Jeder Bot von OpenAI macht etwas anderes. Und jeden stellen Sie unabh\u00e4ngig von den anderen ein. Laut der <a href=\"https:\/\/developers.openai.com\/api\/docs\/bots\" rel=\"nofollow noopener\" target=\"_blank\">Dokumentation der OpenAI-Bots<\/a> k\u00f6nnen vier solche Programme auf die Website kommen:<\/p>\n\n\n\n<ul class=\"wp-block-list\">\n<li><strong>GPTBot<\/strong> sammelt Inhalte, die zum Training generativer Modelle dienen k\u00f6nnen.<\/li>\n<li><strong>OAI-SearchBot<\/strong> sorgt daf\u00fcr, dass Websites in der ChatGPT-Suche angezeigt werden.<\/li>\n<li><strong>ChatGPT-User<\/strong> ruft eine Seite erst auf, wenn ein Nutzer darum bittet. Von sich aus durchsucht er das Web nicht.<\/li>\n<li><strong>OAI-AdsBot<\/strong> pr\u00fcft die Zielseiten von Anzeigen in ChatGPT. Ob er die robots.txt beachtet? Dazu schweigt die Dokumentation.<\/li>\n<\/ul>\n\n\n\n<p class=\"wp-block-paragraph\">Bei ChatGPT-User gibt es einen Haken. Die Regeln der robots.txt gelten f\u00fcr ihn unter Umst\u00e4nden gar nicht, weil den Besuch ein Mensch veranlasst und kein Automat.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"GPTBot_sperren_und_in_ChatGPT_sichtbar_bleiben_zwei_getrennte_Entscheidungen\"><\/span>GPTBot sperren und in ChatGPT sichtbar bleiben: zwei getrennte Entscheidungen<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Eine Sperre f\u00fcr GPTBot entfernt die Website nicht aus der ChatGPT-Suche. Daf\u00fcr ist OAI-SearchBot zust\u00e4ndig. Ein Disallow f\u00fcr GPTBot ist nur ein Signal: \u201eTrainiert nicht mit meinen Inhalten.\u201c Bei OAI-SearchBot sieht es anders aus, denn eine Website, die ihn sperrt, erscheint nicht in den Suchantworten von ChatGPT (h\u00f6chstens als Navigationslink). Hier liegt ein h\u00e4ufiger Fehler. Jemand setzt eine pauschale Sperre f\u00fcr \u201ealle KI-Bots\u201c und nimmt sich dabei die Sichtbarkeit in der Suche. Wenn Sie planen, <a href=\"https:\/\/www.web-systems.pl\/de\/ai-overviews-firmenwebsite-auf-ki-antworten-vorbereiten\/\">die Website f\u00fcr AI Overviews vorzubereiten<\/a> oder f\u00fcr andere KI-Antworten, trennen Sie diese beiden Einstellungen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Google-Extended_was_es_aendert_und_was_nicht\"><\/span>Google-Extended: was es \u00e4ndert und was nicht<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Google-Extended ist ein Token in der robots.txt. Laut der <a href=\"https:\/\/developers.google.com\/crawling\/docs\/crawlers-fetchers\/google-common-crawlers\" rel=\"nofollow noopener\" target=\"_blank\">Dokumentation der Google-Crawler<\/a> entscheidet es, ob Inhalte zum Training k\u00fcnftiger Gemini-Modelle und zum Grounding (also zum Belegen von Antworten mit Quellen) in den Anwendungen Gemini und Vertex AI genutzt werden d\u00fcrfen. Auf die Pr\u00e4senz der Website in der Google-Suche hat es keinen Einfluss. Ein Rankingsignal ist es auch nicht. Einen eigenen User-Agent gibt es ebenfalls nicht. Googlebot ruft die Seite wie immer ab, und das Token sagt nur, wof\u00fcr Google den abgerufenen Inhalt verwenden darf. Deshalb ist es sinnlos, in den Server-Logs nach Google-Extended zu suchen. Sie finden dort keinen einzigen Eintrag.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"KI-Crawler_in_der_robotstxt_eine_Beispielkonfiguration\"><\/span>KI-Crawler in der robots.txt: eine Beispielkonfiguration<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Nichts Kompliziertes. Ein eigener User-agent-Block f\u00fcr jedes Token, in jedem eine eigene Allow- oder Disallow-Regel. Die folgende Datei sperrt das Modelltraining von OpenAI und Google und l\u00e4sst den Such-Bot von ChatGPT herein:<\/p>\n\n\n\n<pre><code>User-agent: GPTBot\nDisallow: \/\n\nUser-agent: Google-Extended\nDisallow: \/\n\nUser-agent: OAI-SearchBot\nAllow: \/<\/code><\/pre>\n<p class=\"wp-block-paragraph\">Denken Sie aber daran: Wie die <a href=\"https:\/\/developers.google.com\/search\/docs\/crawling-indexing\/robots\/intro\" rel=\"nofollow noopener\" target=\"_blank\">Google-Einf\u00fchrung zur robots.txt<\/a> erkl\u00e4rt, ist diese Datei eine Bitte an die Bots und kein Schutz. Sie verbirgt die Seite auch nicht in den Suchergebnissen. Nach einer \u00c4nderung der Datei braucht es etwas Geduld, denn laut den Erl\u00e4uterungen von OpenAI zu den Bots k\u00f6nnen deren Systeme etwa einen Tag brauchen, um neue Regeln zu \u00fcbernehmen. Die robots.txt wird auch gern mit einer anderen Datei verwechselt, daher lohnt es sich zu wissen, <a href=\"https:\/\/www.web-systems.pl\/de\/llms-txt-datei-nutzen-fuer-seo-und-umsetzung\/\">was die Datei llms.txt bringt<\/a> und wie sie sich von den Regeln f\u00fcr Bots unterscheidet.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Blockiert_der_Hosting-Anbieter_schon_KI-Bots_So_pruefen_Sie_es_in_den_Logs\"><\/span>Blockiert der Hosting-Anbieter schon KI-Bots? So pr\u00fcfen Sie es in den Logs<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Die Sperre f\u00fcr KI-Bots sitzt oft an einer ganz anderen Stelle als in der robots.txt. In den Filtern des Hostings, in der WAF, im CDN oder in einem Sicherheits-Plugin. Das Ergebnis? Die Datei l\u00e4sst OAI-SearchBot brav herein, und der Server weist ihn trotzdem ab. So pr\u00fcfen Sie das:<\/p>\n\n\n\n<ol class=\"wp-block-list\">\n<li>Laden Sie die Zugriffslogs des Servers aus dem Hosting-Panel herunter.<\/li>\n<li>Suchen Sie darin nach GPTBot, OAI-SearchBot und ChatGPT-User.<\/li>\n<li>Vergleichen Sie die Antwortcodes: 200 bedeutet, dass der Bot die Seite bekommen hat, 403 bedeutet eine Abweisung.<\/li>\n<li>Wenn Sie Abweisungen sehen, pr\u00fcfen Sie die Regeln von WAF, CDN und Sicherheits-Plugin.<\/li>\n<\/ol>\n\n\n\n<p class=\"wp-block-paragraph\">Ein n\u00fctzliches Detail: Die Bots von OpenAI k\u00f6nnen dem User-Agent einen robots.txt-Vermerk anh\u00e4ngen, wenn sie nur die Datei selbst abrufen. So lassen sich diese Besuche leicht vom Abruf von Unterseiten unterscheiden. Und noch etwas. Wenn Sie <a href=\"https:\/\/www.web-systems.pl\/de\/hosting-firmenwebsite-worauf-bei-serverwahl-achten\/\">ein Hosting f\u00fcr die Website<\/a> w\u00e4hlen, fragen Sie gleich nach Filtern f\u00fcr Bots. Das erspart sp\u00e4ter die Suche nach dem Schuldigen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Welche_KI-Crawler_zulassen_und_welche_sperren\"><\/span>Welche KI-Crawler zulassen und welche sperren?<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n\n<p class=\"wp-block-paragraph\">Das ist eine gesch\u00e4ftliche Entscheidung, keine technische. Auf der einen Seite steht die Sichtbarkeit in KI-Antworten, auf der anderen die Abneigung, Inhalte f\u00fcr das Modelltraining herzugeben. Ein typischer Kompromiss sieht so aus: OAI-SearchBot zugelassen, GPTBot und Google-Extended gesperrt. Eine Website mit einzigartigem Wissen, zum Beispiel mit kostenpflichtigen Analysen, braucht unter Umst\u00e4nden st\u00e4rkeren Schutz. Ein Dienstleister, der Kunden sucht? F\u00fcr ihn lohnt sich Sichtbarkeit meist mehr. Aber ohne Illusionen: Einen Bot zuzulassen gibt eine Chance, in Antworten aufzutauchen, garantiert aber nichts.<\/p>\n\n\n\n<p class=\"wp-block-paragraph\">Sie wissen nicht, wie Ihre Website heute dasteht? Helfen kann ein <a href=\"https:\/\/www.web-systems.pl\/de\/seo-audits\/\">SEO-Audit der Firmenwebsite<\/a>, das auch die robots.txt und den Zugang der Bots umfasst. In der Praxis empfehle ich vor allem eines: Pr\u00fcfen Sie KI-Crawler in der robots.txt immer zusammen mit den Antworten des Servers. Erst dann sehen Sie, was die Bots tats\u00e4chlich bekommen.<\/p>\n\n\n\n<h2 class=\"wp-block-heading\"><span class=\"ez-toc-section\" id=\"Haeufige_Fragen\"><\/span>H\u00e4ufige Fragen<span class=\"ez-toc-section-end\"><\/span><\/h2>\n\n\n<div id=\"rank-math-faq\" class=\"rank-math-block\">\n<div class=\"rank-math-list \">\n<div id=\"faq-question-1792741741303-0\" class=\"rank-math-list-item\">\n<h3 class=\"rank-math-question \"><span class=\"ez-toc-section\" id=\"Entfernt_eine_Sperre_fuer_GPTBot_meine_Website_aus_ChatGPT\"><\/span>Entfernt eine Sperre f\u00fcr GPTBot meine Website aus ChatGPT?<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<div class=\"rank-math-answer \">\n\n<p>Nein. F\u00fcr die Anzeige von Websites in der ChatGPT-Suche ist OAI-SearchBot zust\u00e4ndig. GPTBot sammelt ausschlie\u00dflich Inhalte f\u00fcr das Training von Modellen, daher wirkt sich seine Sperre nicht auf die Suchergebnisse aus.<\/p>\n\n<\/div>\n<\/div>\n<div id=\"faq-question-1792741741303-1\" class=\"rank-math-list-item\">\n<h3 class=\"rank-math-question \"><span class=\"ez-toc-section\" id=\"Verschlechtert_eine_Sperre_von_Google-Extended_die_Positionen_in_Google\"><\/span>Verschlechtert eine Sperre von Google-Extended die Positionen in Google?<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<div class=\"rank-math-answer \">\n\n<p>Nein. Laut der Google-Dokumentation beeinflusst dieses Token nicht die Pr\u00e4senz in der Suche und ist kein Rankingsignal. Es entscheidet nur dar\u00fcber, ob Inhalte zum Training der Gemini-Modelle und zum Grounding verwendet werden d\u00fcrfen.<\/p>\n\n<\/div>\n<\/div>\n<div id=\"faq-question-1792741741303-2\" class=\"rank-math-list-item\">\n<h3 class=\"rank-math-question \"><span class=\"ez-toc-section\" id=\"Beachtet_ChatGPT-User_die_robotstxt\"><\/span>Beachtet ChatGPT-User die robots.txt?<span class=\"ez-toc-section-end\"><\/span><\/h3>\n<div class=\"rank-math-answer \">\n\n<p>Die OpenAI-Dokumentation weist darauf hin, dass die Regeln der robots.txt f\u00fcr ihn unter Umst\u00e4nden nicht gelten, weil er im Auftrag des Nutzers handelt. Und grunds\u00e4tzlich ist die robots.txt \u00fcberhaupt kein Schutz. Inhalte, die nicht zug\u00e4nglich sein sollen, sch\u00fctzt man auf Serverebene, zum Beispiel mit einem Login.<\/p>\n\n<\/div>\n<\/div>\n<\/div>\n<\/div>","protected":false},"excerpt":{"rendered":"<p>KI-Crawler sind eigentlich mehrere verschiedene Bots. Mit der robots.txt legen Sie getrennt fest, ob Inhalte der Website zum Training von Modellen verwendet werden d\u00fcrfen und ob die Website in den Antworten einer KI-Suche erscheinen soll. Die einen raten \u201eKI blockieren\u201c, die anderen \u201ein ChatGPT sichtbar sein\u201c, und in diesem L\u00e4rm geht leicht eines unter: Das [&hellip;]<\/p>\n","protected":false},"author":9,"featured_media":30855,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[237],"tags":[2473,2524,2523,581,2525,25],"class_list":["post-30867","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-seo-i-sem","tag-chatgpt","tag-gptbot","tag-roboty-ai","tag-poradnik","tag-robots-txt","tag-seo"],"acf":[],"_links":{"self":[{"href":"https:\/\/www.web-systems.pl\/de\/wp-json\/wp\/v2\/posts\/30867","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.web-systems.pl\/de\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.web-systems.pl\/de\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.web-systems.pl\/de\/wp-json\/wp\/v2\/users\/9"}],"replies":[{"embeddable":true,"href":"https:\/\/www.web-systems.pl\/de\/wp-json\/wp\/v2\/comments?post=30867"}],"version-history":[{"count":2,"href":"https:\/\/www.web-systems.pl\/de\/wp-json\/wp\/v2\/posts\/30867\/revisions"}],"predecessor-version":[{"id":30913,"href":"https:\/\/www.web-systems.pl\/de\/wp-json\/wp\/v2\/posts\/30867\/revisions\/30913"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.web-systems.pl\/de\/wp-json\/wp\/v2\/media\/30855"}],"wp:attachment":[{"href":"https:\/\/www.web-systems.pl\/de\/wp-json\/wp\/v2\/media?parent=30867"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.web-systems.pl\/de\/wp-json\/wp\/v2\/categories?post=30867"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.web-systems.pl\/de\/wp-json\/wp\/v2\/tags?post=30867"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}