Budżet indeksowania (crawl budget): co to jest?

Co to właściwie znaczy

Budżet indeksowania (po angielsku „crawl budget”) to liczba podstron, jaką robot Google zeskanuje na Twojej witrynie przy jednej wizycie. Google ma ograniczone zasoby, więc nie przegląda wszystkiego naraz: ustala sobie, ile Twoich stron obejrzy, zanim pójdzie dalej.

Przykład z życia firmy

Dla małej strony z 20 podstronami to w ogóle nie problem: Google spokojnie ogarnia całość. Ale wyobraź sobie sklep z 5000 produktów, gdzie każdy filtr (kolor, rozmiar, cena) tworzy osobny adres: nagle masz 80 000 prawie identycznych stron. Robot Google marnuje swój ograniczony czas na skanowanie setek wariantów „czerwone-M-do-100zł”, a Twoje nowe, ważne produkty czekają dniami, żeby w ogóle zostać zauważone. Budżet indeksowania poszedł na śmieci zamiast na to, co sprzedaje.

Dlaczego to dla Ciebie ważne

To temat głównie dla większych sklepów i serwisów z tysiącami adresów, jeśli masz małą stronę wizytówkę, nie zawracaj sobie tym głowy. Ale gdy strona puchnie od automatycznie generowanych adresów, budżet indeksowania robi się realnym hamulcem widoczności. Nowe rzeczy wchodzą do Google z opóźnieniem albo wcale.

Jak to wykorzystać

Jeśli masz dużą stronę, zadbaj, żeby Google nie tracił czasu na duplikaty i nieważne adresy: blokuj filtry i koszyki w pliku robots, używaj tagu kanonicznego. Utrzymuj aktualną mapę strony (sitemap), żeby wskazać robotowi, co jest naprawdę ważne. Im mniej śmieci do skanowania, tym szybciej Google zauważa to, na czym Ci zależy.

Budżet indeksowania po angielsku i z czego się składa

Po angielsku to crawl budget. To liczba adresów, które Googlebot może i chce przeskanować na stronie w określonym czasie. Google opisuje go jako połączenie dwóch elementów:

Limit wydajności skanowania: ile zapytań serwer wytrzyma bez spowolnienia. Wolny serwer albo błędy obniżają ten limit.
Zapotrzebowanie na skanowanie: jak bardzo Google chce skanować stronę, zależnie od jej popularności i częstotliwości zmian.

Kogo dotyczy budżet indeksowania

Google wyjaśnia, że większość stron nie musi się tym przejmować. Budżet ma znaczenie głównie dla dużych witryn z dziesiątkami tysięcy adresów i więcej, stron, które bardzo często się zmieniają, oraz witryn z wieloma adresami generowanymi automatycznie, na przykład przez filtry. Mała strona firmowa z kilkudziesięcioma podstronami zwykle jest skanowana bez problemu.

Przykłady z różnych branż

Sklep internetowy. Sklep z filtrami koloru, rozmiaru i ceny tworzy setki tysięcy kombinacji adresów. Googlebot marnuje na nie czas, a nowe produkty indeksują się z opóźnieniem. Ograniczenie indeksowania filtrów pomaga.
Usługi. Mała strona gabinetu nie ma problemu z budżetem, ale wolny hosting sprawia, że Google skanuje ją rzadziej.
Firma B2B. Portal z tysiącami kart produktów sprząta stare, puste adresy i przekierowuje je na aktualne kategorie.

Jak dbać o budżet indeksowania krok po kroku

Sprawdź w Google Search Console raport Statystyki indeksowania w ustawieniach.
Popraw szybkość serwera i usuń błędy 5xx.
Ogranicz adresy, których nie trzeba indeksować, na przykład wyniki wyszukiwania na stronie i kombinacje filtrów.
Usuń łańcuchy przekierowań i linki do nieistniejących stron.
Utrzymuj aktualną mapę witryny z ważnymi adresami.
Linkuj wewnętrznie do najważniejszych stron.

Najczęstsze błędy

Najczęstszy błąd to martwienie się budżetem na małej stronie, gdy prawdziwym problemem jest słaba treść albo brak linków. Drugi to blokowanie w robots.txt stron, które mają znacznik noindex. Zablokowanej strony Google nie przeczyta, więc nie zobaczy noindexu. Trzeci to tysiące niemal identycznych adresów, które powstają z parametrów i sortowania.

Co marnuje budżet indeksowania

wiele adresów z parametrami filtrów i sortowania,
łańcuchy przekierowań,
strony z błędami 404 i 5xx,
powielone strony bez tagu canonical,
nieskończone kalendarze i paginacje,
strony wyników wyszukiwania wewnętrznego dostępne dla robotów.

Uporządkowanie tych miejsc sprawia, że robot częściej odwiedza strony, które naprawdę są ważne.

Raport Statystyki indeksowania

W Search Console, w Ustawieniach, znajduje się raport Statystyki indeksowania. Pokazuje, ile żądań Googlebot wykonuje dziennie, jakie odpowiedzi dostaje i jak szybko serwer odpowiada. Nagły wzrost błędów serwera albo czasu odpowiedzi to sygnał, że robot może ograniczyć odwiedziny. Dla małej strony wystarczy zajrzeć tam raz na kilka miesięcy.

Robots.txt a noindex

Plik robots.txt blokuje dostęp robotów do adresów, ale nie usuwa ich z indeksu, jeśli prowadzą do nich linki. Tag noindex usuwa stronę z wyników, ale robot musi ją odwiedzić, żeby go zobaczyć. Dlatego nie blokuj w robots.txt stron, które chcesz wyindeksować tagiem noindex. Najpierw niech znikną z indeksu, a dopiero potem ewentualnie zablokuj dostęp.

Mała strona a budżet indeksowania

Google podaje, że dla większości stron z mniej niż kilkoma tysiącami adresów budżet indeksowania nie jest problemem. Jeśli mała strona ma kłopoty z indeksacją, przyczyna leży zwykle gdzie indziej: w jakości treści, braku linków wewnętrznych albo błędach technicznych.

Wyjaśnienie na prostym przykładzie

Listonosz ma jeden dzień na całą ulicę. Jeśli w bloku są setki pustych skrzynek z ulotkami, traci na nie czas i do części domów nie dojdzie.

Budżet indeksowania to czas i liczba stron, które robot Google chce odwiedzić na Twojej stronie. Małej firmowej witryny zwykle to nie dotyczy. Problem pojawia się w dużych sklepach, gdzie filtry tworzą tysiące prawie takich samych adresów. Robot gubi się w nich, a nowe produkty czekają dłużej na pojawienie się w wynikach.

Trudne słowa z tego hasła

Indeksacja. Dodanie strony do bazy wyszukiwarki. Zobacz indeksacja.
Duplikat treści. Ta sama treść pod kilkoma adresami. Zobacz duplikat treści.
Tag canonical. Znacznik wskazujący główną wersję strony. Zobacz tag canonical.
Kod odpowiedzi serwera. Liczba, którą serwer odpowiada na prośbę o stronę. Zobacz kod odpowiedzi serwera.

Ćwiczenie na 15 minut

Otwórz w Google Search Console raport o stanie indeksowania stron.
Zapisz, ile stron jest zindeksowanych, a ile wykluczonych.
Przejrzyj powody wykluczeń i zaznacz te z największą liczbą adresów.
Sprawdź kilka takich adresów i oceń, czy w ogóle powinny istnieć.

Wiesz, czy robot traci czas na zbędne strony; porządek w kopiach robi tag canonical.

Najczęstsze pytania

Co to jest budżet indeksowania?

To liczba adresów, które Googlebot może i chce przeskanować na stronie w określonym czasie. Zależy od wydajności serwera i zainteresowania Google stroną.

Czy mała strona musi dbać o budżet indeksowania?

Zwykle nie. Google podaje, że budżet ma znaczenie głównie dla bardzo dużych witryn i stron z wieloma automatycznie generowanymi adresami.

Gdzie sprawdzić, jak Google skanuje stronę?

W Google Search Console, w ustawieniach, w raporcie Statystyki indeksowania. Widać tam liczbę żądań, czas odpowiedzi serwera i błędy.

Czy robots.txt usuwa stronę z Google?

Nie. Blokuje dostęp robotów, ale strona może pozostać w indeksie. Do usunięcia z wyników służy tag noindex.

Gdzie sprawdzić, jak często Google odwiedza stronę?

W Google Search Console, w Ustawieniach, w raporcie Statystyki indeksowania.

Powiązane pojęcia

Indeksacja · Tag kanoniczny · Duplikat treści