W Google Search Console można natknąć się na sytuację, która budzi niepokój u wielu właścicieli serwisów: raport pokazuje, że robot Google odwiedził daną podstronę, a mimo to nie pojawia się ona w indeksie.
Dla osoby niezaznajomionej z technicznymi niuansami SEO wygląda to na sprzeczność – skoro Google „widział” stronę, dlaczego jej nie dodał do wyników wyszukiwania? Odpowiedź leży w tym, że crawlowanie i indeksacja to dwa zupełnie odrębne procesy, rządzące się innymi zasadami, i zrozumienie tej różnicy jest podstawą sensownej diagnozy problemów z widocznością.
Czym różni się crawlowanie od indeksacji
Crawlowanie to proces, w którym robot wyszukiwarki (Googlebot) odwiedza dany adres URL, pobiera jego zawartość i analizuje linki prowadzące dalej. To czysto techniczna czynność – odpowiednik wejścia na stronę i przeczytania jej kodu źródłowego. Sam fakt crawlowania nie oznacza jeszcze niczego więcej niż to, że robot fizycznie dotarł do treści.
Indeksacja to kolejny, odrębny etap, w którym Google analizuje pobraną treść, ocenia jej wartość, unikalność i kontekst, a następnie decyduje, czy dodać ją do swojej bazy danych, z której później budowane są wyniki wyszukiwania. Strona może zostać odwiedzona przez robota wielokrotnie i mimo to nigdy nie trafić do indeksu, jeśli Google uzna, że nie spełnia minimalnych kryteriów jakościowych lub jest zbędnym duplikatem innej, już zaindeksowanej treści.
Najczęstsze powody, dla których zcrawlowana strona nie trafia do indeksu
- Ocena niskiej jakości treści – strona została przeanalizowana, ale Google uznał jej zawartość za zbyt cienką lub niewnoszącą wystarczającej wartości w porównaniu z innymi wynikami na podobny temat.
- Duplikacja względem innej podstrony – jeśli treść w znacznym stopniu pokrywa się z inną, już zaindeksowaną stroną serwisu, Google może świadomie pominąć jej dodanie do indeksu, wskazując w Search Console status „Zduplikowana strona, wybrana inna strona kanoniczna przez Google”.
- Niejasny lub sprzeczny sygnał kanoniczny – strona zawiera tag
rel="canonical"wskazujący na inny adres, co Google interpretuje jako informację, że to właśnie tamten adres powinien trafić do indeksu. - Zbyt niska ocena autorytetu domeny lub sekcji serwisu – nowe, mało autorytatywne serwisy albo świeżo dodane sekcje dużych serwisów bywają crawlowane regularnie, ale trafiają do indeksu z dużym opóźnieniem lub selektywnie.
- Problemy z renderowaniem treści – jeśli kluczowa zawartość strony ładowana jest dynamicznie przez JavaScript, a Google nie zdąży lub nie jest w stanie poprawnie jej wyrenderować, do oceny trafia uboższa wersja treści niż ta, którą widzi użytkownik w przeglądarce.
Jak to rozróżnić w Google Search Console
Raport „Strony” w Search Console w sekcji dotyczącej indeksowania pozwala precyzyjnie rozdzielić te dwa etapy. Statusy takie jak „Wykryta – obecnie nie zaindeksowana” czy „Zcrawlowana – obecnie nie zaindeksowana” wprost wskazują, że robot znał lub odwiedził dany adres, ale świadomie zdecydował się nie dodawać go do indeksu. To zupełnie inna sytuacja niż status „Zablokowana przez plik robots.txt”, gdzie robot w ogóle nie miał możliwości dotrzeć do treści.
Rozróżnienie tych statusów ma bezpośrednie znaczenie praktyczne. Jeśli problemem jest blokada techniczna, rozwiązanie polega na odblokowaniu dostępu. Jeśli natomiast strona została zcrawlowana, ale odrzucona na etapie oceny jakości lub duplikacji, żadna zmiana w robots.txt czy mapie sitemap tego nie naprawi – konieczna jest praca nad samą treścią lub konsolidacja podobnych podstron.
Dlaczego samo zgłoszenie do ponownego zaindeksowania czasem nie wystarcza
Funkcja „Zbadaj adres URL” i przycisk zgłoszenia do ponownego zaindeksowania w Search Console potrafią przyspieszyć crawlowanie konkretnej podstrony, ale nie wymuszają samej indeksacji. Jeśli przyczyną było uznanie treści za zbyt cienką lub zduplikowaną, ponowne zgłoszenie bez wcześniejszej zmiany samej strony zwykle kończy się dokładnie tym samym wynikiem – robot ją odwiedzi, ale ocena pozostanie taka sama.
Jak monitorować oba etapy przy większej skali serwisu
Przy serwisie liczącym pojedyncze podstrony wystarczy ręczna analiza raportów w Search Console. Problem pojawia się przy większej skali – sklepach z tysiącami kart produktowych czy portalach z rozbudowaną strukturą kategorii i podstron lokalnych, gdzie ręczne przeglądanie statusu każdego adresu z osobna jest niepraktyczne, a same raporty w Search Console bywają opóźnione i ograniczone próbką danych.
W takiej sytuacji pomocne są narzędzia dedykowane monitorowaniu statusu indeksacji na dużą skalę, takie jak IndexChecker, IndexCheckr, IndexChecker.io czy DupliChecker. Pozwalają one zweryfikować faktyczny status wielu adresów jednocześnie i, w połączeniu z analizą logów serwera pokazującą częstotliwość crawlowania, dają pełniejszy obraz tego, na którym etapie – crawlowania czy indeksacji – dana grupa podstron utyka.
Praktyczny wniosek
Zanim wdroży się jakiekolwiek poprawki po zauważeniu, że strona nie pojawia się w wynikach wyszukiwania, warto najpierw ustalić, na którym etapie proces się zatrzymał. Naprawianie rzekomego problemu z dostępem technicznym, podczas gdy realną przyczyną jest ocena jakości treści, prowadzi donikąd i marnuje czas, który lepiej przeznaczyć na faktyczne źródło problemu.
