Twój sklep odwiedza kilkanaście robotów AI i wykonują one trzy różne zadania. Tylko jedno z tych zadań decyduje o tym, czy asystent może wymienić Twój sklep z nazwy, kiedy klient pyta, co kupić. Większość poradników traktuje je jak jedną grupę i dlatego tyle sklepów blokuje nie te, co trzeba.

To tabela do pierwszej z trzech barier opisanych w tekście jak sprawić, żeby AI polecało Twój sklep. Wszystko poniżej pochodzi z dokumentacji, którą każda z tych firm publikuje sama. Odnośniki są na końcu.

Trzy zadania, nie dwa

Robot, który wchodzi na Twoją stronę, robi jedną z trzech rzeczy:

Buduje indeks wyszukiwania. Pobiera strony teraz, żeby asystent mógł później znaleźć Twój sklep i podać go jako źródło. To ta grupa decyduje, czy w ogóle możesz zostać polecony.
Pobiera stronę, bo klient właśnie o coś zapytał. Ktoś zadał asystentowi pytanie, a ten poszedł sprawdzić. Takie pobrania często nie stosują się do Twojego pliku robots.txt, bo poprosił o nie człowiek.
Zbiera teksty do trenowania przyszłego modelu. Zablokowanie takiego robota też kosztuje, ale powoli i pośrednio. Wpływa na kolejne wydanie modelu, a nie na dzisiejszą odpowiedź.

Wersja tej rady, którą spotyka się najczęściej, ma dwie grupy: trenujące i całą reszta. Dopiero podzielenie tej reszty na pół robi z niej coś użytecznego, bo obie połówki reagują na zupełnie inne ustawienia.

Roboty, które decydują, czy można Cię zacytować

Budują indeksy, w których szukają asystenci. Stosują się do robots.txt, więc zablokowanie ich działa, i właśnie tak sklep znika z danego asystenta.

Robot	Zasila	Zablokowanie oznacza
`OAI-SearchBot`	wyszukiwanie w ChatGPT	ChatGPT nie może Cię pokazać
`Claude-SearchBot`	wyniki wyszukiwania Claude	Claude nie może Cię pokazać
`PerplexityBot`	wyniki wyszukiwania Perplexity	Perplexity nie może do Ciebie odesłać
`Bingbot`	Bing, Microsoft Copilot, grounding	znikasz z Bing i Copilota naraz
`Googlebot`	Google, AI Overviews, tryb AI	znikasz z całego wyszukiwania Google

Cztery z nich zasługują na zdanie osobno.

OAI-SearchBot to ten, który trzeba ustawić dobrze, jeśli miałby być tylko jeden. Dokumentacja OpenAI wprost radzi właścicielom stron wpuścić go w robots.txt, jeśli chcą pojawiać się w wyszukiwaniu ChatGPT. To inny robot niż GPTBot i poza tą branżą prawie nikt o tym nie wie.

PerplexityBot służy wyłącznie do wyników wyszukiwania. Perplexity pisze otwarcie, że nie używa go do zbierania treści do trenowania modeli, więc zablokowanie go nie chroni przed trenowaniem, a kosztuje obecność w wynikach.

Bingbot wykonuje dwie prace pod jedną nazwą. Microsoft podaje, że wyszukiwarka Bing, Copilot i wyniki grounding korzystają z tej samej podstawy indeksującej, więc reguła wymierzona w Copilota wycina też zwykłe wyniki Bing.

Googlebot trafia na tę listę z powodu, który wielu zaskakuje. Google pisze, że to reguły dla Googlebot w robots.txt sterują obecnością w AI Overviews i w trybie AI, bo to części wyszukiwarki. Osobny wpis Google-Extended, który brzmi jak ten od AI, nimi nie steruje.

Roboty, które przychodzą, bo klient zapytał

Kiedy ktoś zadaje asystentowi pytanie, a ten idzie przeczytać dla niego stronę, pobranie wykonuje inny robot. Czy Twój robots.txt go zatrzyma, zależy od firmy, a firmy nie są tu zgodne.

Robot	Przychodzi, gdy	Stosuje się do robots.txt
`ChatGPT-User`	wymaga tego pytanie użytkownika ChatGPT	OpenAI pisze, że reguły mogą nie mieć zastosowania
`Perplexity-User`	wymaga tego pytanie w Perplexity	Perplexity pisze, że zwykle je pomija
`Claude-User`	wymaga tego pytanie użytkownika Claude	Tak, Anthropic nie podaje żadnego wyjątku

OpenAI i Perplexity wyraźnie wyłączają swoje roboty pobierające na prośbę użytkownika, uzasadniając to tym, że o stronę poprosił człowiek, co zbliża takie pobranie bardziej do wizyty w przeglądarce niż do pracy robota. Anthropic tego nie robi. Pisze, że jego roboty stosują się do robots.txt, i nie wymienia wyjątku dla Claude-User.

Ta różnica jest tu całą rzeczą i łatwo ją przeoczyć, grupując te trzy roboty po tym, co je uruchamia, zamiast po tym, co każda z firm faktycznie opublikowała. Blokada Claude-User działa. Blokada dwóch pozostałych może nie robić nic, co znaczy, że jej zdjęcie nic nie kosztuje, a jej dodanie nic nie daje.

Tak czy inaczej żaden z tych trzech nie jest drogą do bycia polecanym. Rozstrzyga o tym grupa powyżej. A jeśli jakaś strona ma w ogóle zostać poza odpowiedziami AI, działają ustawienia trzymające ją poza indeksami wyszukiwania, na przykład noindex, a nie wpis w robots.txt.

Roboty, które wpływają tylko na przyszłe modele

Zbierają teksty do trenowania. Zablokowanie ich to uprawniona decyzja o tym, jak wykorzystywane są Twoje teksty i zdjęcia. Nie jest to decyzja o tym, czy w tym miesiącu ktoś Cię poleci.

Robot	Zbiera dla
`GPTBot`	trenowania modeli OpenAI
`ClaudeBot`	trenowania modeli Anthropic
`CCBot`	Common Crawl, które zasila wiele modeli

GPTBot to nazwa, którą wszyscy kojarzą, i to przez nią bierze się najczęstszy błąd w całym tym temacie. Sklepy blokują GPTBot w przekonaniu, że podjęły decyzję w sprawie polecania przez ChatGPT. Nie podjęły. Dokumentacja OpenAI mówi, że zablokowanie GPTBot oznacza, że treść nie ma być używana do trenowania modeli, i na tym się kończy.

CCBot należy do organizacji non-profit Common Crawl, która publikuje otwarte archiwum internetu, z jakiego korzystało wiele firm AI. Stosuje się do robots.txt.

Dwie nazwy z każdej listy, które wcale nie są robotami

Google-Extended i Applebot-Extended pojawiają się w każdym tekście na ten temat, zwykle w kolumnie zatytułowanej „robot". Żadne z nich niczego nie pobiera.

Oba są wpisami o zgodzie. Umieszcza się je w robots.txt, żeby powiedzieć, jak wolno wykorzystać dane, które pobrał już wcześniej inny robot.

Dokumentacja Apple mówi wprost, że Applebot-Extended nie pobiera stron i że strony, które go blokują, nadal mogą pojawiać się w wynikach wyszukiwania. Wpis ten reguluje, co prawdziwy robot Applebot może zrobić z tym, co już ma. Zablokowanie go wypisuje Cię z trenowania modeli Apple i nie zmienia niczego innego.

Google-Extended działa tak samo dla aplikacji Gemini i interfejsu Vertex AI. Google podaje, że jego użycie nie wpływa na obecność strony w wyszukiwarce ani nie jest czynnikiem rankingowym. Nie może więc być tym, co trzyma Cię poza AI Overviews, cokolwiek sugeruje jakaś lista kontrolna.

Nie chodzi tu o czepianie się nazw. Kto wierzy, że te dwa wpisy są robotami, wierzy, że ma przełącznik widoczności w AI, którego nie ma, i przestaje szukać tego, który faktycznie istnieje.

W skrócie

Jeśli masz przeczytać jedno zdanie: wpuść OAI-SearchBot, Claude-SearchBot, PerplexityBot, Bingbot i Googlebot. O GPTBot, ClaudeBot i CCBot zdecyduj po swojemu, wiedząc, że ta decyzja dotyczy trenowania, a nie poleceń. I nie oczekuj, że roboty z końcówką -User albo dwa wpisy z -Extended zachowają się jak którakolwiek z tych grup.

Potem zajrzyj do własnego pliku robots.txt, bo reguły w nim powstały zapewne zanim większość tych nazw w ogóle istniała. Błędy w nim są przewidywalne, a ten najczęstszy cofa się w jakieś dziesięć minut.

Pytania, które padają najczęściej

Iloma z nich naprawdę trzeba się przejmować?

Pięcioma, a realnie dwoma. OAI-SearchBot i Googlebot pokrywają miejsca, w których dziś zadaje się najwięcej pytań zakupowych. Wpuszczenie pozostałych trzech nic nie kosztuje.

Czy wpuszczenie robota wyszukującego oznacza, że moje treści trenują model?

Nie i właśnie po to istnieje ten podział. OpenAI, Anthropic i Perplexity używają osobnych nazw do indeksowania i do trenowania, więc można wpuścić jedno i odmówić drugiego. Perplexity jest tu najbardziej jednoznaczne: pisze, że PerplexityBot nie służy do trenowania w ogóle.

Czy blokując robota trenującego, tracę polecenia?

Nie bezpośrednio. Strony nadal trafiają do indeksów robotów wyszukujących i nadal mogą być cytowane. Rezygnujesz z tego, żeby Twoje teksty zasilały ogólną wiedzę przyszłego modelu, a to efekt wolniejszy i dużo mniej uchwytny.

Czy te listy są stałe?

Nie. Anthropic rozbiło jednego robota na trzy osobne nazwy, a OpenAI dodało OAI-AdsBot do sprawdzania stron zgłaszanych jako reklamy w ChatGPT. Każdą listę robotów, łącznie z tą, warto przejrzeć raz na kilka miesięcy.

Czy mogę sprawdzić, które z nich mnie odwiedziły?

Tak, w logach serwera, które zapisują nazwę każdego odwiedzającego. Hosting zwykle je udostępnia, bezpośrednio albo przez wtyczkę. Bing Webmaster Tools pokazuje dodatkowo, które Twoje strony są cytowane w odpowiedziach Copilota.

Co my mamy z tym wspólnego

Przejrzenie tej tabeli obok jednego pliku robots.txt to zajęcie na dziesięć minut i jeśli tyle Ci wystarczy, tabela jest całą odpowiedzią. Trudniej robi się wtedy, kiedy chcesz wiedzieć, co te reguły oznaczają dla konkretnych produktów, które sprzedajesz, czy strony, do których te roboty docierają, niosą dość informacji, żeby dało się je polecić, i które sklepy wymieniane są zamiast Twojego.

Shop on Radar czyta te reguły tak, jak zrobiłby to każdy z tych robotów, przy produktach, które wybierzesz, a potem zadaje ChatGPT pytania Twoich klientów, żeby sprawdzić, czy dostęp, który wydaje Ci się otwarty, cokolwiek przynosi. Tłumaczymy, jak naprawić to, co znajdziemy. Nie ruszamy Twojego sklepu.

Jeszcze nie działamy. Zapisz się na listę, a damy znać, kiedy ruszymy.

Roboty AI, które decydują o tym, czy Twój sklep zostanie polecony