Twoja strona oczami Googlebota i robotów AI

Twoją stronę czyta dziś więcej maszyn niż ludzi, i to jest dobra wiadomość, pod warunkiem, że wiesz, które z tych maszyn pracują dla Ciebie. W ciągu trzydziestu godzin pomiaru strony firmowe na naszej platformie odwiedziły zweryfikowane roboty Microsoftu (134 żądania), Google (125), czeskiego Seznamu (100), OpenAI (93), Apple (64) i Anthropic (40), a za nimi Yandex, Amazon i ByteDance. Każda z tych wizyt oznacza co innego i każdą warto rozumieć, bo od nich zależy, czy Twoją firmę da się znaleźć: w wyszukiwarce i w odpowiedzi asystenta AI.

Jak robot w ogóle trafia na Twoją stronę

Robot (crawler, pająk) to program, który pobiera strony tak jak przeglądarka, tylko bez człowieka, i podąża za linkami. Na Twoją stronę trafia z trzech źródeł: z mapy strony (pliku sitemap.xml, który wystawia listę wszystkich podstron z datami zmian), z linków na innych stronach i w Twojej własnej nawigacji oraz ze zgłoszenia zmian (protokół IndexNow, którym strona sama informuje wyszukiwarki o nowej albo zmienionej podstronie). Przed wejściem sprawdza plik robots.txt, w którym strona mówi, co wolno czytać. Mapę, plik dla robotów i zgłoszenia strony na KOMPASFIRM mają z automatu; robot dostaje komplet bez żadnej konfiguracji.

Trzy rodzaje robotów, które mają znaczenie

Roboty indeksujące wyszukiwarek (Googlebot, Bingbot i podobne) czytają stronę po to, żeby pokazywać ją w wynikach wyszukiwania. Ich wizyty to warunek istnienia w Google: podstrona, której Googlebot nie odwiedził, nie ma szans na pozycję. Ta kategoria to jedyne boty, o których brak należy się martwić.

Roboty treningowe AI zbierają treści do uczenia modeli językowych. Nie przysyłają klientów dziś, ale decydują o tym, co model „wie" o rynku, na którym działasz. Firma nieobecna w danych treningowych nie istnieje w spontanicznych odpowiedziach modelu.

Roboty wyszukiwania AI i asystenci na żądanie pobierają stronę w momencie, gdy użytkownik zadaje pytanie: to z ich wizyt biorą się cytowania w ChatGPT, Perplexity czy Copilocie. To najmłodszy i najszybciej zmieniający się kanał. Z danych Cloudflare wynika, że proporcje crawlowania do odsyłania ludzi wciąż są drastyczne, ale poprawiają się szybko: dla robota OpenAI stosunek pobrań strony do przejść użytkowników poprawił się w rok z około 1104:1 do 251:1. Maszyny czytają dużo, oddają mało, ale oddają coraz więcej.

Skąd wiadomo, że Googlebot to Googlebot

Każdy automat może się podpisać dowolnie, więc sam podpis nie znaczy nic. W naszym pomiarze zdarzały się „przeglądarki Chrome" odpytujące wyłącznie adresy typu /.env i /wp-login.php, czyli skanery w przebraniu; więcej o tej ciemnej stronie ruchu piszemy w artykule o tym, ile ruchu na stronie firmowej to boty.

Dlatego wizyty ważnych robotów weryfikujemy wstecznym DNS: sprawdzamy, czy żądanie podpisane jako Googlebot rzeczywiście przyszło z serwerów należących do Google. To standardowa, publicznie udokumentowana metoda i jedyny uczciwy sposób raportowania crawlu. W panelu analityki wizyty zweryfikowane i niezweryfikowane widnieją osobno, a podszywające się automaty lądują w kategoriach szumu, nie w statystyce Google.

Jak często robot powinien przychodzić

Nie ma jednej normy. Googlebot wraca częściej na strony, które się zmieniają i mają linki z zewnątrz, a rzadziej na strony statyczne. Dla małej wizytówki kilka do kilkunastu wizyt robota indeksującego dziennie to zwykły obraz; po publikacji nowej podstrony zgłoszonej przez IndexNow Bing potrafi przyjść w minuty, Google w godziny lub dni. Niepokoić powinno nie „za mało", tylko zero przez dłuższy czas przy istniejącym ruchu, albo nagły spadek po zmianach na stronie: to zwykle blokada w pliku dla robotów, przełącznik „ukryj przed wyszukiwarkami" włączony przez pomyłkę albo błędy serwera, które zniechęciły robota.

Zmarnowany crawl: kiedy robot przychodzi i nic z tego nie ma

Robot indeksujący ma na Twoją stronę ograniczony budżet uwagi. Jeśli spora część jego wizyt kończy się na stronach błędów, przekierowaniach łańcuszkowych albo adresach, które dawno nie istnieją, budżet się marnuje: robot spędza czas na śmieciach zamiast na ofercie. W analityce nazywamy to zmarnowanym crawlem i liczymy go wyłącznie dla zweryfikowanych robotów indeksujących. Celowo: skanery bezpieczeństwa ze swojej natury odpytują nieistniejące adresy i dostają 404, więc wliczanie ich do tego wskaźnika dawałoby zawsze alarmujący wynik i podpowiadało szkodliwe „naprawy" w postaci przekierowywania wszystkiego na stronę główną.

Jeśli zmarnowany crawl jest wysoki, przyczyny są zwykle prozaiczne: usunięte podstrony bez przekierowań 301, stare adresy w mapie strony, linki wewnętrzne do nieistniejących stron. Wszystkie trzy rzeczy platforma ogarnia automatycznie przy zmianach robionych w panelu (zmiana adresu podstrony sama zakłada przekierowanie, podstrona z kosza wraca pod ten sam adres), więc wysoki wskaźnik pojawia się głównie po migracjach z innych systemów. Wtedy pomaga mapa przekierowań ze starych adresów, którą ustawiasz w zakładce przekierowań.

Dlaczego nie blokujemy robotów AI

Coraz więcej serwisów blokuje crawlery AI w robots.txt. Rozumiemy tę decyzję u wydawców, którzy żyją ze sprzedaży treści. Dla lokalnej firmy usługowej to strzał w kolano: treść strony firmowej istnieje po to, żeby ją znaleziono i cytowano. Zablokowanie robota OpenAI czy Anthropic oznacza, że gdy klient zapyta asystenta o usługę w swoim mieście, odpowiedź zbuduje się z treści konkurencji.

Zamiast blokować, gramy w drugą stronę: piszemy i strukturyzujemy treść tak, żeby cytowanie było łatwe. Odpowiedź na początku sekcji, konkrety zamiast ogólników, wersje maszynowe treści, natychmiastowe zgłaszanie zmian przez IndexNow. Pełną listę zasad znajdziesz we wpisie o stronie firmowej w wyszukiwarkach AI.

Kiedy blokada jest jednak zasadna: strony testowe, makiety i strony demonstracyjne. Do tego służy przełącznik „ukryj całą witrynę przed wyszukiwarkami" w ustawieniach, który zamyka naraz plik dla robotów, mapę strony, znaczniki na podstronach i zgłoszenia zmian; robot dostaje spójny sygnał „nie indeksuj", a nie sprzeczne informacje z różnych miejsc.

Co sprawdzić na własnej stronie

1. Czy Googlebot w ogóle przychodzi? Brak zweryfikowanych wizyt robota indeksującego przy istniejącym ruchu to sygnał alarmowy: sprawdź, czy strona nie blokuje robotów i czy mapa strony działa. Google Search Console pokaże to z drugiej strony: kiedy robot był ostatnio i co zaindeksował.
2. Co roboty czytają? Jeśli crawl omija podstrony usługowe, a kręci się po technikaliach, popraw linkowanie wewnętrzne: to, do czego linkujesz z głównej, jest czytane najczęściej.
3. Ile crawlu się marnuje? Wysoki odsetek błędów u zweryfikowanych robotów oznacza zaległe przekierowania.
4. Czy AI już Cię czyta? Wizyty robotów OpenAI, Anthropic czy Apple to znak, że treść trafia do obiegu asystentów. Jeśli ich nie ma, zwykle problemem jest treść zbyt uboga, żeby było po co wracać.

Wszystkie cztery odpowiedzi znajdziesz w zakładce „Google i AI" analityki KOMPASFIRM, z rozdziałem na roboty zweryfikowane i podszywające się oraz osobnym widokiem crawlu AI. Bez grzebania w logach serwera, które przy okazji: przechowujemy krótko i bez adresów IP.