Crawl budget – czym jest i jak poprawić indeksowanie dużego serwisu?

Duży sklep internetowy, portal ogłoszeniowy albo serwis zawierający tysiące automatycznie generowanych adresów może mieć podstrony, których Google nie odwiedza dostatecznie często. Nowe produkty długo pozostają niewykryte, zaktualizowane treści nie pojawiają się w wynikach, a raport Google Search Console pokazuje rosnącą liczbę adresów ze statusem „Wykryto – obecnie niezindeksowana”.

Jedną z możliwych przyczyn jest nieefektywne wykorzystanie crawl budgetu, nazywanego po polsku budżetem indeksowania lub budżetem crawlowania.

Nie oznacza to jednak, że crawl budget powinien zaprzątać uwagę właściciela każdej witryny. Według aktualnych wytycznych Google zaawansowana optymalizacja crawlowania jest przeznaczona przede wszystkim dla:

• bardzo dużych serwisów, zawierających około miliona lub więcej unikalnych stron i aktualizowanych przynajmniej raz w tygodniu,
• średnich i dużych serwisów, zawierających około 10 tysięcy lub więcej podstron, których zawartość zmienia się codziennie,
• witryn, w których znaczna część adresów ma w Google Search Console status „Wykryto – obecnie niezindeksowana”.

Jeżeli serwis ma kilkaset lub kilka tysięcy podstron, a nowe materiały są sprawnie odkrywane przez Google, zazwyczaj wystarczy aktualna mapa witryny, prawidłowe linkowanie wewnętrzne oraz regularne monitorowanie raportu indeksowania.

Co to jest crawl budget?

Google definiuje crawl budget jako zbiór adresów URL, które jego robot może i chce odwiedzić.

Na budżet crawlowania składają się dwa główne elementy:

1. Możliwość crawlowania, czyli liczba żądań, które Googlebot może wysłać bez przeciążania serwera.
2. Zapotrzebowanie na crawlowanie, czyli to, jak bardzo Google chce ponownie odwiedzać konkretne adresy.

Crawl budget nie jest więc sztywną liczbą przyznaną stronie raz na zawsze. Google dynamicznie dostosowuje aktywność robota do kondycji serwera, wielkości serwisu, częstotliwości zmian, jakości stron i znaczenia poszczególnych adresów.

W praktyce problem pojawia się wtedy, gdy Googlebot przeznacza znaczną część swoich zasobów na mało wartościowe lub powtarzalne adresy, zamiast odwiedzać ważne produkty, kategorie i artykuły.

Czy crawl budget wpływa na pozycje w Google?

Crawlowanie samo w sobie nie jest czynnikiem rankingowym. Zwiększenie liczby odwiedzin Googlebota nie spowoduje automatycznie poprawy pozycji.

Crawlowanie jest jednak niezbędnym etapem poprzedzającym indeksowanie. Jeśli Google nie odwiedzi nowej lub zmienionej strony, nie będzie mogło przetworzyć jej treści ani uwzględnić zmian w wynikach wyszukiwania.

Optymalizacja crawl budgetu może więc pomóc:

• szybciej odkrywać nowe podstrony,
• sprawniej przetwarzać aktualizacje,
• ograniczać odwiedzanie duplikatów,
• lepiej wykorzystywać zasoby serwera,
• zwiększać udział wartościowych adresów w aktywności Googlebota.

Nie rozwiąże natomiast problemów wynikających z niskiej jakości treści, braku popytu na dany temat, słabego dopasowania do intencji użytkownika albo dużej konkurencji. Google zaznacza, że strona może nie pojawić się w wynikach nawet po jej zeskanowaniu, jeśli nie dostarcza wystarczającej wartości lub nie odpowiada na potrzeby użytkowników.

Kiedy crawl budget faktycznie jest problemem?

Budżet indeksowania warto przeanalizować, gdy występuje co najmniej kilka z poniższych sygnałów:

• nowe strony długo pozostają niewykryte,
• duża liczba adresów ma status „Wykryto – obecnie niezindeksowana”,
• ważne aktualizacje są przetwarzane z dużym opóźnieniem,
• Googlebot odwiedza tysiące wariantów filtrów i parametrów,
• w logach serwera dominują mało wartościowe URL-e,
• Google regularnie skanuje stare przekierowania i błędy 404,
• serwis generuje niemal nieskończoną liczbę kombinacji adresów,
• występują liczne błędy serwera lub przekroczenia limitu czasu,
• mapa witryny zawiera adresy niekanoniczne, przekierowane albo wykluczone,
• po migracji Google długo nie odkrywa nowych wersji stron.

W małym serwisie wolne indeksowanie pojedynczego artykułu częściej wynika z braku linków, słabej jakości podstrony, problemu technicznego albo niewielkiego znaczenia strony niż z wyczerpania crawl budgetu.

Co wpływa na crawl budget?

Dostępna wydajność serwera

Googlebot stara się nie przeciążać witryny. Jeżeli serwer odpowiada szybko i stabilnie, robot może pobierać więcej zasobów. Gdy pojawiają się błędy 5xx, problemy z DNS, zerwane połączenia lub długie czasy odpowiedzi, Google może ograniczyć intensywność crawlowania.

Znaczenie mają między innymi:

• czas odpowiedzi serwera,
• dostępność hosta,
• liczba błędów 5xx,
• błędy DNS,
• przekroczenia limitu czasu,
• systemy ochrony przed botami,
• limity hostingu,
• wydajność bazy danych.

Nie należy sztucznie zwiększać szybkości crawlowania. Najpierw trzeba upewnić się, że infrastruktura jest w stanie obsłużyć ruch Googlebota bez pogorszenia działania strony dla użytkowników.

Zapotrzebowanie Google na ponowne odwiedzanie stron

Google częściej odwiedza adresy, które:

• są popularne,
• zmieniają się często,
• zawierają aktualne informacje,
• mają istotne znaczenie w strukturze serwisu,
• wymagają odświeżenia w indeksie.

Podstrona produktu, którego cena i dostępność zmieniają się codziennie, może wymagać częstszych wizyt niż archiwalny artykuł, który nie był aktualizowany od kilku lat.

Google wskazuje, że na zapotrzebowanie na crawlowanie wpływają przede wszystkim postrzegany zbiór adresów w serwisie, popularność stron i ich aktualność. Migracja witryny może dodatkowo czasowo zwiększyć zapotrzebowanie, ponieważ robot musi przetworzyć nowe adresy.

Liczba adresów znanych Google

Google może próbować odwiedzać wszystkie lub większość adresów, które poznało w obrębie witryny. Jeśli serwis generuje setki tysięcy niepotrzebnych URL-i, robot poświęca na nie zasoby, które mogłyby zostać wykorzystane do crawlowania ważniejszych stron.

Źródłem problemu bywają:

• filtry,
• parametry sortowania,
• identyfikatory sesji,
• wewnętrzne wyniki wyszukiwania,
• kalendarze generujące kolejne daty,
• nieskończone przewijanie bez paginacji,
• duplikaty kategorii,
• wersje do druku,
• parametry śledzące,
• błędne linki tworzące nowe adresy,
• różne kombinacje wielkich i małych liter.

Zbyt złożone adresy i niekontrolowane parametry mogą sprawić, że Googlebot zużywa znacznie więcej zasobów niż to konieczne albo nie jest w stanie skutecznie przetworzyć całej wartościowej zawartości.

Jakość stron

Duża liczba podstron o niskiej wartości może ograniczać efektywność crawlowania całego serwisu.

Problemem są m.in.:

• niemal puste kategorie,
• strony filtrów bez unikalnej wartości,
• duplikaty,
• masowo generowane strony lokalne,
• automatyczne tagi,
• pozorne błędy, czyli soft 404,
• zhakowane podstrony,
• treści spamerskie,
• strony tworzone wyłącznie dla wariantów słów kluczowych.

Google wymienia nawigację fasetową, identyfikatory sesji, duplikaty, soft 404 oraz treści niskiej jakości jako częste źródła nieefektywnego crawlowania.

Najczęstsze przyczyny marnowania crawl budgetu

Nawigacja fasetowa i filtry

Nawigacja fasetowa pozwala użytkownikowi filtrować produkty lub ogłoszenia według wielu cech, np.:

• koloru,
• rozmiaru,
• marki,
• ceny,
• materiału,
• dostępności,
• lokalizacji.

Każde połączenie filtrów może tworzyć oddzielny URL:

/sklep/buty?kolor=czarny
/sklep/buty?kolor=czarny&rozmiar=42
/sklep/buty?kolor=czarny&rozmiar=42&marka=x

Przy kilku filtrach i wielu dostępnych wartościach liczba kombinacji rośnie lawinowo. Google wskazuje nawigację fasetową jako jedno z najczęstszych źródeł problemów z nadmiernym crawlowaniem. Może ona tworzyć niemal nieskończoną przestrzeń adresów i spowalniać odkrywanie wartościowych treści.

Nie każda strona filtra powinna być blokowana. Niektóre kombinacje mogą odpowiadać na realne zapytania, np. „czarne buty trekkingowe damskie”. Konieczny jest podział na:

• kombinacje wartościowe i przeznaczone do indeksowania,
• filtry pomocne użytkownikowi, ale bez wartości w wynikach,
• techniczne warianty, których robot nie powinien odwiedzać.

Parametry sortowania i śledzenia

Parametry mogą tworzyć wiele adresów prezentujących tę samą zawartość:

/kategoria/
/kategoria/?sort=cena
/kategoria/?sort=najnowsze
/kategoria/?utm_source=newsletter
/kategoria/?sessionid=123

Jeżeli parametr nie zmienia istotnie treści strony, nie powinien tworzyć oddzielnego adresu przeznaczonego do indeksowania.

Google zaleca ograniczanie liczby parametrów i konsekwentne stosowanie jednego wariantu adresów.

Duplikaty treści

Ten sam produkt lub artykuł może być dostępny pod kilkoma adresami, np.:

/produkt/model-x/
/marka/producent/produkt/model-x/
/promocje/produkt/model-x/

Jeżeli każda wersja zwraca kod 200, Google może odwiedzać wszystkie warianty, zanim ustali adres kanoniczny.

Rozwiązaniem może być:

• jeden docelowy URL,
• przekierowanie zbędnych wariantów,
• prawidłowy rel="canonical",
• konsekwentne linkowanie do wersji kanonicznej,
• umieszczanie w mapie XML wyłącznie preferowanego adresu.

Google traktuje mapę witryny jako sugestię dotyczącą adresów kanonicznych. Silniejszym sygnałem jest poprawne przekierowanie albo rel="canonical".

Soft 404

Soft 404 to strona, która wizualnie informuje o braku treści, ale technicznie zwraca kod 200.

Może to dotyczyć:

• pustych wyników filtrowania,
• wycofanych produktów,
• nieistniejących profili,
• stron pozbawionych głównej zawartości,
• wewnętrznych wyników wyszukiwania bez rezultatów.

Google musi pobrać stronę i przeanalizować jej treść, aby rozpoznać, że faktycznie nie przedstawia wartościowego zasobu.

Jeżeli strona nie istnieje i nie ma odpowiedniego zamiennika, powinna zwracać kod 404 lub 410. W przypadku filtrów bez wyników Google również rekomenduje odpowiedź 404, zamiast tworzenia kolejnych pustych adresów.

Łańcuchy przekierowań

Przekierowanie:

/stary-url/ → /url-2/ → /url-3/ → /nowy-url/

jest mniej efektywne niż bezpośrednie:

/stary-url/ → /nowy-url/

Łańcuchy zwiększają liczbę żądań potrzebnych do dotarcia do właściwej treści. Linki wewnętrzne powinny prowadzić bezpośrednio do aktualnych adresów, a stare przekierowania należy okresowo porządkować.

Błędy serwera

Regularne błędy 500, 502, 503 i 504 mogą zmniejszyć możliwość crawlowania serwisu.

Googlebot może ograniczyć liczbę żądań, jeśli uzna, że serwer nie jest w stanie ich stabilnie obsłużyć. Problemu nie powinno się rozwiązywać przez blokowanie robota, lecz przez poprawę infrastruktury, cache, bazy danych i aplikacji.

Nieprawidłowe strony kalendarzy i nieskończone przestrzenie

Kalendarz może generować adres dla każdego dnia, miesiąca i roku, również daleko w przyszłości:

/wydarzenia/2035/01/
/wydarzenia/2035/02/
/wydarzenia/2035/03/

Podobny problem tworzą:

• nieskończone paginacje,
• automatycznie generowane kombinacje filtrów,
• błędne linki do kolejnych poziomów katalogu,
• parametry, które można dodawać wielokrotnie,
• identyfikatory sesji.

Robot może trafiać na kolejne adresy bez osiągnięcia końca struktury.

Jak sprawdzić wykorzystanie crawl budgetu?

Raport statystyk indeksowania w Google Search Console

Raport statystyk crawlowania pokazuje aktywność Googlebota w ciągu ostatnich 90 dni.

Można w nim znaleźć:

• łączną liczbę żądań,
• łączny rozmiar pobranych danych,
• średni czas odpowiedzi,
• podział według kodów odpowiedzi,
• podział według typu pliku,
• cel wizyty robota,
• typ Googlebota,
• informacje o dostępności hosta,
• przykłady odwiedzonych adresów.

Raport pozwala zauważyć m.in.:

• nagły wzrost błędów 5xx,
• skanowanie dużej liczby przekierowań,
• nadmierne pobieranie parametrów,
• problemy z dostępnością serwera,
• zmianę aktywności po migracji,
• nietypowy wzrost liczby żądań.

Google podkreśla, że raport służy przede wszystkim do analizy historii crawlowania, typów pobieranych plików, kodów odpowiedzi i dostępności hosta.

Raport indeksowania stron

Raport indeksowania pokazuje, które adresy:

• znajdują się w indeksie,
• zostały wykryte, ale jeszcze nie zeskanowane,
• zostały zeskanowane, ale nie zindeksowane,
• są duplikatami,
• mają błędy,
• są wykluczone przez noindex,
• są przekierowaniami.

Szczególnie ważny jest wzrost liczby adresów „Wykryto – obecnie niezindeksowana”. Nie musi jednak oznaczać wyłącznie problemu z crawl budgetem. Przyczyną może być także niska wartość stron, nieefektywne linkowanie albo przeciążenie serwera.

Logi serwera

Najbardziej szczegółowy obraz aktywności robotów zapewniają logi serwera.

Pozwalają sprawdzić:

• jakie adresy odwiedza Googlebot,
• jak często to robi,
• jakie kody odpowiedzi otrzymuje,
• które sekcje są pomijane,
• ile żądań trafia do filtrów i parametrów,
• czy ważne nowe strony są odwiedzane,
• jak zmienia się aktywność w czasie.

Analiza logów jest szczególnie przydatna w dużych sklepach, portalach ogłoszeniowych i serwisach po migracji.

Przed analizą należy zweryfikować, czy żądania rzeczywiście pochodzą od Googlebota, ponieważ sam user-agent może zostać podrobiony.

Narzędzie do sprawdzania adresów URL

Dla pojedynczego adresu można sprawdzić:

• czy Google zna stronę,
• kiedy została ostatnio zeskanowana,
• czy crawlowanie jest dozwolone,
• czy strona została pobrana,
• jaki canonical wybrało Google,
• czy URL znajduje się w mapie witryny.

Narzędzie nie służy jednak do masowej analizy dużego serwisu.

Jak zoptymalizować crawl budget?

1. Ogranicz liczbę niepotrzebnych adresów

Największy wpływ na crawl budget można uzyskać przez uporządkowanie zbioru URL-i znanych Google.

Należy znaleźć i ograniczyć:

• niepotrzebne parametry,
• kombinacje filtrów,
• adresy sortowania,
• identyfikatory sesji,
• wewnętrzne wyniki wyszukiwania,
• duplikaty,
• puste kategorie,
• strony bez wartości,
• niekończące się paginacje.

Nie chodzi o blokowanie jak największej liczby stron. Trzeba zachować te adresy, które odpowiadają na realne potrzeby użytkowników i mają uzasadnienie jako osobne wyniki wyszukiwania.

2. Zaplanuj obsługę nawigacji fasetowej

W zależności od wartości filtrów można zastosować różne rozwiązania.

Filtry, które nie powinny być crawlowane

Jeżeli URL-e nie mają pojawiać się w wynikach, można ograniczyć ich crawlowanie za pomocą reguł robots.txt.

Przykład:

User-agent: *
Disallow: /*?sort=
Disallow: /*?sessionid=

Reguły trzeba przygotować bardzo ostrożnie. Zbyt szeroka blokada może odciąć Google od wartościowych kategorii lub produktów.

Filtry, które powinny być indeksowane

Wartościowe kombinacje powinny mieć:

• stabilny i uporządkowany adres,
• unikalny title i H1,
• właściwą treść,
• produkty odpowiadające filtrowi,
• linki wewnętrzne,
• self-canonical,
• miejsce w strukturze serwisu.

Nie należy indeksować każdej możliwej kombinacji tylko dlatego, że technicznie może zostać utworzona.

Puste kombinacje

Filtry bez wyników powinny zwracać kod 404, zamiast generować nieskończoną liczbę pustych podstron.

3. Usuń duplikaty

Jeżeli kilka adresów przedstawia tę samą treść:

• wybierz jeden URL kanoniczny,
• przekieruj niepotrzebne warianty, jeśli nie muszą pozostać dostępne,
• zastosuj rel="canonical" tam, gdzie warianty muszą działać,
• zmień linki wewnętrzne,
• zaktualizuj mapę witryny.

Canonical pomaga Google konsolidować sygnały, ale nie zawsze natychmiast ogranicza crawlowanie wszystkich duplikatów. Google musi najpierw odwiedzić adres, aby odczytać znacznik. Dlatego w przypadku zbędnych wariantów skuteczniejsze może być ich usunięcie, przekierowanie albo zablokowanie możliwości generowania.

4. Popraw linkowanie wewnętrzne

Google powinno mieć łatwą drogę do najważniejszych podstron.

Warto zadbać o:

• logiczne menu,
• kategorie nadrzędne,
• breadcrumbs,
• linki z opisów kategorii,
• linki z artykułów poradnikowych,
• paginację z odnośnikami HTML,
• brak stron osieroconych,
• linkowanie do aktualnych adresów bez przekierowań.

Google zaleca stosowanie standardowych linków HTML z elementem <a> i atrybutem href. Ograniczenie linków w mobilnej wersji strony może spowolnić odkrywanie podstron, ponieważ Google indeksuje przede wszystkim wersję mobilną.

Szczegółowe zasady znajdziesz w poradniku „Linkowanie wewnętrzne w SEO – jak zaplanować strukturę linków na stronie?”.

5. Uporządkuj mapy witryny

Mapa XML powinna zawierać wyłącznie adresy:

• kanoniczne,
• zwracające kod 200,
• dostępne dla Google,
• przeznaczone do indeksowania,
• wartościowe dla użytkownika.

Nie powinny znajdować się w niej:

• przekierowania,
• strony 404,
• URL-e z noindex,
• duplikaty,
• zablokowane filtry,
• adresy techniczne,
• niekanoniczne wersje.

W dużym serwisie warto podzielić mapy według rodzaju treści, np.:

• produkty,
• kategorie,
• artykuły,
• ogłoszenia,
• marki.

Ułatwia to diagnozowanie problemów w konkretnych sekcjach.

6. Prawidłowo stosuj lastmod

Znacznik lastmod w mapie witryny powinien wskazywać datę istotnej zmiany treści.

Nie należy aktualizować go przy każdej drobnej zmianie technicznej ani ustawiać bieżącej daty dla wszystkich stron podczas każdego generowania mapy.

Wiarygodny lastmod może pomóc Google ocenić, które adresy wymagają ponownego odwiedzenia. Google zaleca jego używanie do sygnalizowania rzeczywistych aktualizacji zindeksowanych stron.

7. Popraw wydajność serwera

Optymalizacja może obejmować:

• cache stron,
• cache zapytań do bazy,
• optymalizację zapytań SQL,
• ograniczenie ciężkich wtyczek,
• użycie CDN dla zasobów statycznych,
• skalowanie hostingu,
• poprawę wydajności aplikacji,
• kontrolę błędów 5xx,
• właściwą konfigurację zapory.

Celem nie jest wyłącznie uzyskanie lepszego wyniku w narzędziu do pomiaru szybkości. Najważniejsze jest stabilne obsługiwanie żądań użytkowników i Googlebota.

8. Napraw błędy serwera i przekierowania

Regularnie sprawdzaj:

• błędy 5xx,
• pętle przekierowań,
• długie łańcuchy,
• przekierowania do błędów 404,
• błędne adresy względne,
• przekroczenia limitu czasu.

Googlebot powinien możliwie szybko dotrzeć do właściwej treści.

9. Zwracaj poprawne kody odpowiedzi

Zasady powinny być jednoznaczne:

• działająca podstrona: 200,
• trwale przeniesiona strona: 301 lub 308,
• tymczasowe przeniesienie: 302 lub 307,
• nieistniejąca strona: 404,
• trwale usunięta strona: 410,
• krótkie prace techniczne: 503.

Nie należy zwracać kodu 200 dla pustych, usuniętych lub błędnych stron.

10. Ogranicz crawlowanie nieistotnych zasobów

W bardzo dużym serwisie można zablokować w robots.txt zasoby i adresy, których Google nie musi pobierać.

Może to dotyczyć:

• wewnętrznych wyników wyszukiwania,
• koszyka,
• etapów zamówienia,
• adresów zmieniających stan,
• parametrów sesji,
• niektórych filtrów,
• paneli użytkownika.

Robots.txt nie służy jednak do usuwania adresów z indeksu. Zablokowany URL nadal może być znany Google na podstawie linków, a robot nie będzie mógł odczytać umieszczonego na nim noindex ani canonicala.

11. Usuń lub popraw strony niskiej jakości

Nie każdy adres należy zachowywać.

Możliwe działania to:

• rozbudowa wartościowej strony,
• połączenie podobnych treści,
• przekierowanie duplikatu,
• usunięcie pustej kategorii,
• wyłączenie technicznego archiwum,
• ograniczenie automatycznych tagów,
• zwrócenie kodu 404 lub 410.

Przed usunięciem należy sprawdzić ruch, linki zewnętrzne, konwersje i historię widoczności.

12. Zadbaj o paginację i nieskończone przewijanie

Jeżeli lista produktów lub artykułów korzysta z nieskończonego przewijania, robot może nie dotrzeć do wszystkich elementów.

Warto zapewnić paginację z osobnymi adresami i standardowymi linkami:

/kategoria/
/kategoria/?page=2
/kategoria/?page=3

Każda strona paginacji powinna umożliwiać dotarcie do znajdujących się na niej produktów lub artykułów.

Google rekomenduje przygotowanie wersji stronicowanej, jeżeli zawartość ładowana w nieskończonym przewijaniu ma być skutecznie crawlowana.

Czy noindex oszczędza crawl budget?

Nie bezpośrednio. Google musi odwiedzić stronę, aby zobaczyć dyrektywę noindex. Adres może być później crawlowany ponownie, aby sprawdzić, czy dyrektywa nadal obowiązuje.

Jeżeli duża grupa stron nie powinna być odwiedzana przez Google, bardziej odpowiednia może być blokada w robots.txt albo wyeliminowanie linków i możliwości generowania tych URL-i.

Noindex służy przede wszystkim do wykluczania strony z wyników, a nie do zarządzania budżetem crawlowania.

Czy canonical oszczędza crawl budget?

Canonical pomaga Google zrozumieć, który adres jest preferowany, i konsolidować sygnały duplikatów. Nie blokuje jednak samego crawlowania.

Google musi odwiedzać warianty, aby wykryć podobieństwo i odczytać ich canonicale. W dużym serwisie zawierającym miliony zbędnych kombinacji samo dodanie canonicala może być niewystarczające.

Najpierw należy ograniczyć powstawanie niepotrzebnych adresów, a dopiero później stosować canonical do wersji, które muszą pozostać dostępne.

Czy blokowanie w robots.txt rozwiązuje problem indeksacji?

Blokowanie może zmniejszyć liczbę żądań kierowanych do niepotrzebnych adresów, ale musi być stosowane świadomie.

Nie należy blokować:

• stron, które mają pojawiać się w wynikach,
• zasobów potrzebnych do renderowania głównej zawartości,
• adresów, z których Google ma odczytać noindex,
• stron, z których robot powinien przechodzić do produktów.

Po zablokowaniu kategorii Google nie będzie mogło korzystać z znajdujących się na niej linków w taki sam sposób jak przy normalnym pobraniu strony. Trzeba więc zapewnić alternatywne ścieżki odkrywania wartościowych podstron.

Czy zgłaszanie stron w Search Console zwiększa crawl budget?

Nie. Narzędzie do sprawdzania adresów URL umożliwia zgłoszenie pojedynczej strony do kolejki, ale nie zwiększa całkowitego budżetu crawlowania serwisu.

Wielokrotne przesyłanie tego samego adresu nie przyspiesza procesu. W dużej witrynie podstawowymi narzędziami powinny być:

• poprawna architektura,
• linkowanie,
• mapy witryny,
• zarządzanie zbędnymi adresami,
• stabilny serwer.

Crawl budget a indeksowanie

Crawlowanie i indeksowanie są ze sobą powiązane, ale nie są tym samym.

Google może:

• znać adres, ale jeszcze go nie odwiedzić,
• odwiedzić stronę, ale jej nie zindeksować,
• zindeksować stronę, ale nie wyświetlać jej wysoko,
• uznać ją za duplikat innego adresu.

Optymalizacja crawl budgetu pomaga robotowi szybciej dotrzeć do wartościowych stron. Nie gwarantuje jednak ich indeksacji.

Jeżeli URL został zeskanowany, ale pozostaje niezindeksowany, należy sprawdzić również:

• jakość treści,
• unikalność,
• intencję,
• canonical,
• linkowanie,
• podobne strony,
• zasadność utrzymywania osobnego adresu.

Więcej informacji znajduje się w poradniku „Dlaczego strona nie jest widoczna w Google? Najczęstsze problemy z indeksacją”.

Plan optymalizacji crawl budgetu krok po kroku

Krok 1. Określ skalę problemu

Sprawdź:

• liczbę adresów w serwisie,
• liczbę adresów znanych Google,
• liczbę stron zindeksowanych,
• liczbę URL-i „Wykryto – obecnie niezindeksowana”,
• tempo odkrywania nowych podstron,
• częstotliwość aktualizacji.

Krok 2. Przeanalizuj statystyki crawlowania

Sprawdź:

• liczbę żądań,
• czas odpowiedzi,
• kody odpowiedzi,
• typy pobieranych plików,
• stan hosta,
• przykładowe adresy.

Krok 3. Przeanalizuj logi serwera

Ustal, ile aktywności Googlebota trafia do:

• ważnych stron,
• filtrów,
• parametrów,
• przekierowań,
• błędów,
• zasobów,
• adresów niskiej jakości.

Krok 4. Podziel adresy na grupy

Każdy typ URL-a przypisz do jednej z grup:

1. przeznaczony do indeksowania,
2. dostępny, ale nieprzeznaczony do indeksowania,
3. niepotrzebny i możliwy do usunięcia,
4. duplikat wymagający konsolidacji,
5. adres techniczny, który nie powinien być crawlowany.

Krok 5. Wprowadź zmiany według priorytetów

Najpierw napraw:

• błędy serwera,
• pętle przekierowań,
• niekontrolowane parametry,
• nieskończone przestrzenie,
• najliczniejsze grupy duplikatów,
• blokady ważnych sekcji.

Dopiero później zajmij się mniejszymi problemami.

Krok 6. Zaktualizuj linki i mapy XML

Po zmianach:

• linkuj wyłącznie do aktualnych adresów,
• usuń stare URL-e z map,
• dodaj wersje kanoniczne,
• sprawdź paginację,
• usuń linki do technicznych parametrów.

Krok 7. Monitoruj efekty

Obserwuj przez kolejne tygodnie:

• udział ważnych adresów w aktywności Googlebota,
• liczbę żądań do filtrów,
• błędy 5xx,
• czas odpowiedzi,
• liczbę stron wykrytych i zindeksowanych,
• tempo przetwarzania nowych treści.

Zmiany nie muszą być widoczne natychmiast. Google musi ponownie odwiedzić serwis i zaktualizować swoją wiedzę o jego strukturze.

Checklista optymalizacji crawl budgetu

Sprawdź, czy:

• crawl budget faktycznie ma znaczenie dla skali serwisu,
• ważne strony są odkrywane w rozsądnym czasie,
• serwer stabilnie odpowiada na żądania Googlebota,
• liczba błędów 5xx jest niska,
• filtry nie tworzą nieskończonej liczby URL-i,
• parametry sortowania nie są indeksowane,
• adresy sesji nie trafiają do struktury,
• duplikaty mają właściwe canonicale lub przekierowania,
• mapa XML zawiera tylko kanoniczne adresy 200,
• lastmod odzwierciedla rzeczywiste zmiany,
• linki prowadzą bezpośrednio do aktualnych adresów,
• nie ma stron osieroconych,
• puste wyniki zwracają odpowiedni kod,
• usunięte strony nie działają jako soft 404,
• paginacja jest dostępna dla robota,
• ważna zawartość nie wymaga interakcji z JavaScript,
• robots.txt nie blokuje potrzebnych sekcji,
• logi nie pokazują nadmiernego crawlowania parametrów,
• strony niskiej jakości zostały poprawione lub usunięte.

Kiedy warto zlecić audyt crawl budgetu?

Zaawansowana analiza jest uzasadniona, gdy:

• serwis zawiera dziesiątki tysięcy lub miliony adresów,
• Google pomija dużą część produktów albo ogłoszeń,
• filtry tworzą ogromną liczbę kombinacji,
• po migracji indeksowanie trwa zbyt długo,
• logi pokazują nieefektywną aktywność Googlebota,
• Search Console raportuje wiele adresów wykrytych, ale niezindeksowanych,
• serwer ma problemy z obsługą robota,
• nie wiadomo, które strony powinny być dostępne do crawlowania.

Specjaliści 4PEOPLE mogą przeanalizować strukturę adresów, raporty Google Search Console, mapy witryny, linkowanie wewnętrzne, canonicale, filtry oraz błędy techniczne. Szczegóły znajdziesz w ofercie audytu SEO strony.

Jeżeli serwis wymaga nie tylko uporządkowania crawlowania, ale również stałego rozwoju widoczności, sprawdź ofertę SEO i pozycjonowania stron 4PEOPLE.

Crawl budget wymaga kontroli liczby adresów, a nie „zmuszania” Google do crawlowania

Najskuteczniejsza optymalizacja crawl budgetu nie polega na ciągłym zgłaszaniu stron do indeksowania ani próbach sztucznego zwiększania aktywności Googlebota.

Najważniejsze jest uporządkowanie serwisu tak, aby robot:

• nie tracił czasu na duplikaty,
• nie trafiał do nieskończonych kombinacji parametrów,
• otrzymywał poprawne kody odpowiedzi,
• szybko docierał do ważnych stron,
• nie napotykał błędów serwera,
• otrzymywał spójne sygnały o adresach kanonicznych.

W większości małych stron crawl budget nie jest problemem. W dużych sklepach, portalach i serwisach generujących wiele dynamicznych URL-i może jednak decydować o tym, jak szybko Google odkrywa i przetwarza wartościowe treści.

FAQ – crawl budget

Co to jest crawl budget?

Crawl budget to zbiór adresów URL, które Googlebot może i chce odwiedzić w danym serwisie. Zależy m.in. od wydajności serwera, wielkości witryny, jakości stron, popularności adresów i częstotliwości zmian.

Czy każdy serwis powinien optymalizować crawl budget?

Nie. W małych i średnich witrynach, w których nowe strony są sprawnie odkrywane, zaawansowana optymalizacja zwykle nie jest potrzebna. Szczególne znaczenie ma w serwisach zawierających dziesiątki tysięcy lub miliony adresów.

Czy crawl budget jest czynnikiem rankingowym?

Nie. Większa częstotliwość crawlowania nie gwarantuje wyższych pozycji. Crawlowanie umożliwia jednak Google odkrycie i przetworzenie treści, dlatego jego nieefektywność może opóźniać indeksowanie.

Jak sprawdzić crawl budget?

Nie istnieje jeden licznik pokazujący budżet. Należy analizować raport statystyk crawlowania w Google Search Console, raport indeksowania, narzędzie do sprawdzania URL-i oraz logi serwera.

Co najbardziej marnuje budżet crawlowania?

Najczęstsze problemy to nawigacja fasetowa, parametry, identyfikatory sesji, duplikaty, soft 404, błędy serwera, łańcuchy przekierowań oraz strony niskiej jakości.

Czy blokada w robots.txt oszczędza crawl budget?

Może ograniczyć crawlowanie niepotrzebnych sekcji, ale musi być stosowana ostrożnie. Nie należy blokować stron, które powinny być indeksowane, ani URL-i, z których Google ma odczytać noindex lub canonical.

Czy noindex oszczędza crawl budget?

Nie bezpośrednio. Google musi odwiedzić stronę, aby odczytać noindex, i może wracać do niej w przyszłości. Dyrektywa służy do wykluczania treści z wyników, a nie do blokowania crawlowania.

Czy canonical ogranicza crawlowanie duplikatów?

Canonical pomaga wskazać preferowany adres i konsolidować sygnały, ale Google nadal może odwiedzać duplikaty. Przy bardzo dużej liczbie zbędnych URL-i trzeba również ograniczyć ich generowanie, linkowanie lub dostępność dla robota.

Czy mapa witryny zwiększa crawl budget?

Nie. Mapa XML pomaga Google odkrywać ważne adresy i rozpoznawać preferowane URL-e, ale nie zwiększa przydzielonej liczby żądań ani nie gwarantuje indeksacji.

Jak filtry wpływają na crawl budget?

Każde połączenie filtrów może tworzyć nowy URL. Przy wielu parametrach liczba kombinacji rośnie lawinowo, przez co Googlebot może tracić zasoby na mało wartościowe i powtarzalne strony.

Czy szybszy serwer poprawia crawlowanie?

Stabilny i szybko odpowiadający serwer może pozwolić Googlebotowi pobierać więcej treści bez ryzyka przeciążenia witryny. Liczne błędy 5xx i przekroczenia czasu powodują natomiast ograniczenie aktywności robota.

Jak długo trwa poprawa indeksowania po optymalizacji crawl budgetu?

Zależy to od wielkości serwisu, skali zmian i częstotliwości wizyt Googlebota. Pierwsze zmiany mogą być widoczne po kilku dniach lub tygodniach, natomiast ponowne przetworzenie bardzo dużej struktury może potrwać znacznie dłużej.