Roboty AI to tak naprawdę kilka różnych robotów. Plik robots.txt pozwala osobno zdecydować, czy treści strony mogą trafić do trenowania modeli i czy strona ma się pokazywać w odpowiedziach wyszukiwarki AI. Jedni radzą „zablokuj AI”, drudzy „bądź widoczny w ChatGPT”, i w tym szumie łatwo przeoczyć jedną rzecz: to są dwie osobne decyzje. Niżej rozpisuję, który robot za co odpowiada, pokazuję przykładowy plik i podpowiadam, gdzie poza robots.txt może się kryć blokada. Na końcu: jak dobrać ustawienia pod własną firmę.
Spis treści
Które roboty AI odwiedzają stronę firmy i do czego służą?
Każdy robot OpenAI robi co innego. I każdego ustawiasz niezależnie od pozostałych. Według dokumentacji robotów OpenAI na stronę mogą zajrzeć cztery takie programy:
- GPTBot zbiera treści, które mogą posłużyć do trenowania modeli generatywnych.
- OAI-SearchBot odpowiada za pokazywanie stron w wyszukiwaniu ChatGPT.
- ChatGPT-User wchodzi na stronę dopiero wtedy, gdy poprosi o to użytkownik. Sam z siebie sieci nie przeczesuje.
- OAI-AdsBot sprawdza strony docelowe reklam w ChatGPT. Czy respektuje robots.txt? Dokumentacja milczy.
Z ChatGPT-User jest pewien haczyk. Reguły robots.txt mogą go po prostu nie dotyczyć, bo wizytę zleca człowiek, a nie automat.
Blokada GPTBot a widoczność w ChatGPT: dwie osobne decyzje
Blokada GPTBot nie wyrzuca strony z wyszukiwania ChatGPT. Za to odpowiada OAI-SearchBot. Disallow dla GPTBot to tylko sygnał: „nie trenujcie na moich treściach”. Z OAI-SearchBot sprawa wygląda inaczej, bo strona, która go blokuje, nie pojawi się w odpowiedziach wyszukiwania ChatGPT (najwyżej jako link nawigacyjny). Tu leży częsty błąd. Ktoś wrzuca ogólną blokadę „wszystkich botów AI” i przy okazji odcina sobie widoczność w wyszukiwaniu. Jeśli planujesz przygotowanie strony na AI Overviews albo inne odpowiedzi AI, rozdziel te dwa ustawienia.
Google-Extended: co zmienia, a czego nie dotyka
Google-Extended to token w robots.txt. Według dokumentacji robotów Google decyduje, czy treści mogą posłużyć do trenowania przyszłych modeli Gemini i do groundingu (czyli podpierania odpowiedzi źródłami) w aplikacjach Gemini i Vertex AI. Na obecność strony w wyszukiwarce Google nie wpływa. Sygnałem rankingowym też nie jest. Nie ma też osobnego user-agenta. Googlebot pobiera stronę jak zawsze, a token mówi tylko, do czego Google może pobraną treść wykorzystać. Dlatego szukanie Google-Extended w logach serwera nie ma sensu. Nie znajdziesz tam ani jednego wpisu.
Roboty AI w robots.txt: przykładowa konfiguracja
Nic skomplikowanego. Osobny blok User-agent dla każdego tokenu, w każdym własna reguła Allow albo Disallow. Poniższy plik blokuje trening modeli OpenAI i Google, a robota wyszukiwania ChatGPT wpuszcza:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /Tylko pamiętaj: jak wyjaśnia wprowadzenie Google do robots.txt, ten plik to prośba do robotów, nie zabezpieczenie. Strony w wynikach wyszukiwania też nie ukrywa. Po zmianie pliku trzeba trochę poczekać, bo według wyjaśnień OpenAI o robotach ich systemy mogą potrzebować około doby, żeby złapać nowe reguły. Robots.txt bywa też mylony z innym plikiem, więc dobrze wiedzieć, co daje plik llms.txt i czym się różni od reguł dla robotów.
Czy hosting już blokuje boty AI? Jak to sprawdzić w logach
Blokowanie botów AI często siedzi zupełnie gdzie indziej niż w robots.txt. W filtrach hostingu, w WAF-ie, w CDN-ie albo we wtyczce bezpieczeństwa. Efekt? Plik grzecznie wpuszcza OAI-SearchBot, a serwer i tak odpowiada mu odmową. Sprawdzisz to tak:
- Pobierz logi dostępu serwera z panelu hostingu.
- Wyszukaj w nich nazwy GPTBot, OAI-SearchBot i ChatGPT-User.
- Porównaj kody odpowiedzi: 200 oznacza, że robot dostał stronę, 403 oznacza odmowę.
- Jeśli widzisz odmowy, przejrzyj reguły WAF, CDN i wtyczki bezpieczeństwa.
Przydatny drobiazg: roboty OpenAI mogą dopisywać do user-agenta znacznik robots.txt, kiedy pobierają sam plik. Łatwo więc odróżnić te wizyty od pobierania podstron. I jeszcze jedno. Wybierając hosting dla strony, zapytaj od razu o filtry dla robotów. Oszczędzi to potem szukania winnego.
Które roboty AI wpuścić, a które zablokować?
To decyzja biznesowa, nie techniczna. Po jednej stronie widoczność w odpowiedziach AI, po drugiej niechęć do oddawania treści na trening modeli. Typowy kompromis wygląda tak: OAI-SearchBot wpuszczony, GPTBot i Google-Extended zablokowane. Serwis z unikalną wiedzą, na przykład z płatnymi analizami, może potrzebować mocniejszej ochrony. Firma usługowa, która szuka klientów? Zwykle bardziej opłaca jej się być widoczną. Ale bez złudzeń: wpuszczenie robota daje szansę na pojawienie się w odpowiedziach, niczego nie gwarantuje.
Nie wiesz, jak Twoja strona wypada dziś? Pomoże audyt SEO strony firmowej, który obejmuje też robots.txt i dostęp robotów. W praktyce polecam jedno: roboty AI w robots.txt sprawdzaj zawsze razem z odpowiedziami serwera. Dopiero wtedy widać, co roboty faktycznie dostają.
Najczęstsze pytania
Czy zablokowanie GPTBot usunie moją stronę z ChatGPT?
Nie. Za pokazywanie stron w wyszukiwaniu ChatGPT odpowiada OAI-SearchBot. GPTBot zajmuje się wyłącznie zbieraniem treści do trenowania modeli, więc jego blokada na wyniki wyszukiwania nie wpływa.
Czy blokada Google-Extended obniży pozycje w Google?
Nie. Według dokumentacji Google ten token nie wpływa na obecność w wyszukiwarce i nie jest sygnałem rankingowym. Decyduje tylko o tym, czy treść może posłużyć do trenowania modeli Gemini i do groundingu.
Czy ChatGPT-User respektuje robots.txt?
Dokumentacja OpenAI zastrzega, że reguły robots.txt mogą go nie dotyczyć, bo działa na polecenie użytkownika. A ogólnie robots.txt w ogóle nie jest zabezpieczeniem. Treści, które mają być niedostępne, chroni się na poziomie serwera, na przykład logowaniem.
