Twój robots.txt prawdopodobnie blokuje nie te roboty, co trzeba
Opublikowano 19 września 2026 9 minut czytania
Jeden mały plik tekstowy decyduje o tym, którzy asystenci AI mogą przeczytać Twój sklep. Jak go przeczytać i sześć błędów, które trafiają się w nim najczęściej.
W Twoim sklepie leży mały plik tekstowy, który mówi automatycznym gościom, które części strony wolno im czytać. Powstał z myślą o wyszukiwarkach, zwykle lata temu, a dziś decyduje o tym, czy widzą Cię asystenci AI. Reguły w nim często robią coś innego, niż zamierzał ich autor.
To praktyczna połowa pierwszej bariery z tekstu jak sprawić, żeby AI polecało Twój sklep. Druga połowa to wiedza, który robot jest który i warto mieć ją otwartą obok.
Jak przeczytać swój w dwie minuty
Wpisz w przeglądarce adres sklepu i dopisz na końcu /robots.txt, czyli na
przykład twojsklep.pl/robots.txt. To zwykły tekst. Da się go przeczytać
samodzielnie i warto to zrobić, bo jest krótki i podejmuje decyzje w Twoim
imieniu.
Składa się z bloków. Każdy blok nazywa gościa, a potem wypisuje, co wolno mu pobierać, a czego nie:
User-agent: OAI-SearchBot
Allow: /
Disallow: /koszyk/
User-agent nazywa robota. Disallow wypisuje ścieżki, których nie wolno mu
pobierać. Allow robi wyjątki od Disallow. Samo Disallow: / oznacza cały
sklep. Blok User-agent: * dotyczy każdego gościa, który nie ma własnego bloku,
i to właśnie ten fragment jest najczęściej źle rozumiany. Wraca w trzecim
błędzie poniżej.
Błąd pierwszy: blokada, która przyjechała skądinąd
Najczęstsza poważna usterka jest zarazem najkrótsza:
User-agent: *
Disallow: /
To cały sklep zamknięty dla wszystkiego. Trafia tam na kilka zwyczajnych sposobów. Plik przyjechał z wersji testowej, gdzie był poprawny i celowy, a przy uruchomieniu nikt go nie zmienił. Wtyczka bezpieczeństwa dopisała go, żeby trzymać roboty z dala od strony. Programista zostawił go w trakcie przebudowy i poszedł dalej.
Blokuje Google równie skutecznie jak ChatGPT, więc zwykle zostaje wyłapany. Kiedy nie zostaje, dzieje się tak dlatego, że sklep i tak żył głównie z reklam i mediów społecznościowych, a ruchu z wyszukiwarek nikt nie oglądał na tyle uważnie, żeby zauważyć, że wynosi zero.
Błąd drugi: blokada GPTBota w przekonaniu, że załatwia sprawę ChatGPT
Ten jest niemal odwrotnością pierwszego. Staranny, świadomy i wymierzony w zły cel:
User-agent: GPTBot
Disallow: /
Właściciel sklepu przeczytał, że firmy AI korzystają ze stron bez pytania, znalazł nazwę, którą wszyscy cytują, i zablokował ją. To zupełnie zrozumiała potrzeba.
Tyle że GPTBot zbiera teksty do trenowania. Dokumentacja OpenAI mówi, że jego
zablokowanie oznacza, że treść nie ma być używana do trenowania modeli. Robotem,
który decyduje, czy ChatGPT pokaże Twój sklep, kiedy klient pyta, jest
OAI-SearchBot, osobna nazwa z osobnymi regułami.
Taki sklep zatrzymał więc swoje zdjęcia produktowe przed przyszłym trenowaniem, co całkiem możliwe, że było celem, i nie zrobił kompletnie nic w sprawie bycia polecanym. Te dwie rzeczy nie mają ze sobą związku. Warto to wiedzieć, zanim uznasz blokadę za pomyłkę, bo często nie była. Po prostu nie dotyczyła tego, co właścicielowi się wydawało.
Błąd trzeci: własny blok, który kasuje wszystkie pozostałe reguły
Tego nikt się nie spodziewa i nie bierze się z niedbałości, tylko z tego, jak naprawdę działa standard.
Kiedy robot czyta Twój plik, szuka bloku nazywającego jego samego. Jeśli taki
znajdzie, wykonuje ten blok i całkowicie pomija blok User-agent: *. Reguły
się nie sumują. Tak stanowi RFC 9309, czyli specyfikacja, której robots.txt
podlega: robot wykonuje blok * tylko wtedy, gdy żaden blok go nie nazywa.
Przez co taki plik robi coś, czego autor nie zamierzał:
User-agent: *
Disallow: /wp-admin/
Disallow: /zamowienie/
Disallow: /koszyk/
User-agent: OAI-SearchBot
Allow: /
Autor miał na myśli „trzymaj wszystkich z dala od panelu i zamówień, a ChatGPT
wpuść do sklepu". Napisał natomiast coś, co każe robotowi OAI-SearchBot
pominąć cały pierwszy blok, więc jest on teraz zaproszony do panelu, do
zamówień i do koszyka. Wszystkie
pozostałe roboty nadal respektują te trzy linie. Ucieka od nich tylko ten jeden,
który ma własny blok.
Działa to też w drugą stronę i ta wersja jest jeszcze dziwniejsza:
User-agent: *
Disallow: /
User-agent: GPTBot
Crawl-delay: 10
Ten plik zamyka sklep dla wszystkiego, a potem daje GPTBot blok, w którym nie
ma żadnego Disallow. GPTBot czyta swój blok, nie znajduje nic zakazanego i
pobiera do woli. Jedyny robot, o którym autor myślał, jest jedynym, który
wchodzi.
Naprawia się to, powtarzając wspólne reguły w każdym bloku nazywającym robota:
User-agent: *
Disallow: /wp-admin/
Disallow: /zamowienie/
Disallow: /koszyk/
User-agent: OAI-SearchBot
Disallow: /wp-admin/
Disallow: /zamowienie/
Disallow: /koszyk/
Powtarzalne i poprawne. Nie ma składni na dziedziczenie reguł, więc powtórzenie jest jedynym sposobem, żeby to wyrazić.
Błąd czwarty: blokada Bingbota, żeby pozbyć się Copilota
Bingbot wygląda na wyszukiwarkę, o której większość sklepów mało myśli, a jego
zablokowanie wygląda na tanie. Microsoft podaje, że wyszukiwarka Bing, Copilot i
wyniki grounding korzystają z tej samej podstawy indeksującej. Jedna linia
usuwa Cię z wszystkich naraz, łącznie ze zwykłymi wynikami Bing.
Mało kto chce tego świadomie, a łatwo o to przy przycinaniu robotów dla oszczędności transferu.
Błąd piąty: oczekiwanie, że wpisy -Extended sterują widocznością
Google-Extended i Applebot-Extended brzmią jak ustawienia od AI i nimi nie
są.
Żadne z nich nie jest robotem. To wpisy o zgodzie, mówiące, jak wolno
wykorzystać dane, które pobrał już inny robot. Dokumentacja Apple stwierdza
wprost, że Applebot-Extended nie pobiera stron i że strony, które go blokują,
nadal mogą pojawiać się w wynikach wyszukiwania. Google podaje, że użycie
Google-Extended nie wpływa na obecność strony w wyszukiwarce ani nie jest
czynnikiem rankingowym.
Wniosek, który ma znaczenie: o tym, czy pojawiasz się w AI Overviews i w trybie
AI Google, decydują Twoje reguły dla Googlebot, bo te funkcje są częścią
wyszukiwarki. Sklep, który starannie ustawił Google-Extended na Disallow i
spodziewał się zniknąć z AI Overviews, nie zmienił w nich niczego.
Błąd szósty: traktowanie tego pliku jak zamka
robots.txt jest prośbą i jest jawny. Każdy może przeczytać Twój, wpisując adres,
co oznacza, że linia Disallow jest podpisaną, opublikowaną listą ścieżek, do
których lepiej nikogo nie wpuszczać. Grzeczne roboty ją uszanują. Niegrzeczne
czytają ją w poszukiwaniu pomysłów.
Dwa praktyczne wnioski. Nie ukrywaj tam niczego, na czym naprawdę zależy, od
tego są prawdziwe zabezpieczenia. I pamiętaj, że część robotów pobierających
stronę dlatego, że ktoś właśnie zadał pytanie, może w ogóle do niego nie
zaglądać. OpenAI pisze, że przy pobraniach zainicjowanych przez użytkownika
reguły robots.txt mogą nie mieć zastosowania, a Perplexity pisze, że jego robot
zwykle je pomija. Anthropic takiego wyjątku nie robi, więc reguła wymierzona w
Claude-User działa. Jeśli jakaś strona naprawdę ma zostać poza odpowiedziami
AI, trzymaj ją poza indeksami wyszukiwania przez noindex, a nie przez
robots.txt.
Dwie rzeczy, które gryzą szczególnie poza angielskim
Ścieżek w robots.txt nie porównuje się jak zwykłego tekstu. RFC 9309 wymaga, by
wszystko spoza czystego ASCII zostało po obu stronach zapisane w postaci
procentowej, zanim dojdzie do dopasowania. Dlatego reguła napisana
/produkt/buty-męskie ma pasować do adresu, który przeglądarka pokazuje jako
/produkt/buty-m%C4%99skie. Dla polskiego sklepu to nie drobiazg: jeśli adresy
produktów niosą polskie znaki, każda napisana reguła zależy od tego, czy ten
krok wykonano poprawnie.
Zasady dotyczące spacji i innej interpunkcji są bardziej zawiłe niż to streszczenie i jest to miejsce, w którym narzędzia sprawdzające naprawdę bywają ze sobą niezgodne. Jeśli więc któreś mówi, że strona jest dostępna, warto upewnić się, że poradziło sobie z kodowaniem, a nie porównało dwóch napisów tak, jak wyglądają.
Druga rzecz: robots.txt obowiązuje wyłącznie na tym adresie, który go
udostępnia. Jeśli sklep stoi na sklep.przyklad.pl, a blog na przyklad.pl,
plik spod adresu bloga nie ma nad sklepem żadnej władzy. Każdy potrzebuje
własnego.
Co zrobić, po kolei
- Otwórz
twojsklep.pl/robots.txti przeczytaj całość. Zwykle ma poniżej trzydziestu linii. - Poszukaj
Disallow: /w dowolnym miejscu. PodUser-agent: *zamyka cały sklep. Pod nazwanym robotem zamyka sklep dla tego robota. - Sprawdź, czy
OAI-SearchBot,Googlebot,Bingbot,PerplexityBotiClaude-SearchBotsą albo nazwane i wpuszczone, albo nie są nazwane wcale, a blok*przepuszcza strony produktów. - Przy każdym robocie, który ma własny blok, upewnij się, że ten blok powtarza reguły, o których myślisz, że dotyczą wszystkich.
- O
GPTBot,ClaudeBotiCCBotzdecyduj osobno i po swojemu. Ta decyzja dotyczy trenowania i nie wpływa na punkt trzeci.
Jeśli cokolwiek zmieniasz, zachowaj kopię starego pliku. To najtańszy sposób na cofnięcie pomyłki, a tu pomyłka o jeden znak jest kosztowna.
Pytania, które padają najczęściej
Gdzie jest ten plik, jeśli nie mogę go znaleźć?
Jeśli twojsklep.pl/robots.txt zwraca 404, to go nie masz, a każdy robot
traktuje to jako zgodę na pobieranie wszystkiego. To nie jest awaria. Pozycja
mniej kontrolowana niż świadomie napisany plik, ale myli się w bezpieczną
stronę.
Czy mogę go edytować samodzielnie?
Na większości platform tak. Shopify i WooCommerce oba go udostępniają, Shopify przez plik motywu, a WooCommerce przez wtyczkę SEO albo katalog główny strony. Jeśli sklep był robiony na zlecenie i nie masz pewności, to pytanie na pięć minut do osoby, która się nim opiekuje, i lepiej je zadać niż zgadywać.
Po jakim czasie zmiana zadziała?
Roboty czytają robots.txt co jakiś czas, a nie przy każdej wizycie, więc licz w dniach, nie w minutach. Zdjęcie blokady samo z siebie też nie przywołuje robota. Musi wrócić we własnym rytmie, zanim cokolwiek się zmieni.
Czy po prostu wpuścić wszystko?
W sklepie, jeśli chodzi o roboty wyszukujące, to blisko tak, bo bycie czytelnym jest całym sensem sklepu. Ścieżki panelu, koszyka i zamówienia trzymaj zablokowane, bo nic dobrego nie wynika z ich indeksowania. Roboty trenujące to osobna i całkiem realna decyzja.
Czy wpływa to na moją pozycję w Google?
Zablokowanie Googlebot wpływa ogromnie. Nazwy związane z AI nie: Google
podaje, że Google-Extended nie jest czynnikiem rankingowym, a roboty
pozostałych firm nie mają na Google żadnego wpływu.
Co my mamy z tym wspólnego
Jeden plik, raz, to zajęcie na popołudnie z tą stroną otwartą obok i warto je wykonać samodzielnie. Nie skaluje się natomiast wszystko, co jest dalej: czy strony, do których roboty mogą już docierać, mówią dość, żeby dało się je polecić, które produkty tego nie przechodzą i które sklepy wymieniane są zamiast Twojego, kiedy Twoi klienci pytają.
Parser robots.txt stojący za Shop on Radar napisaliśmy sami, razem z regułami pierwszeństwa, bo pomyłka w którąkolwiek stronę jest najgorszą rzeczą, jaką audyt może zrobić sklepowi. Działa na produktach, które wybierzesz, a potem pytania Twoich klientów trafiają do ChatGPT, żeby zobaczyć, kogo wymieni. Tłumaczymy, jak naprawić to, co znajdziemy. Nie ruszamy Twojego sklepu.
Jeszcze nie działamy. Zapisz się na listę, a damy znać, kiedy ruszymy.