Analiza logów serwera – wykorzystanie w SEO

Logi serwera to szczegółowy, surowy zapis wszystkich żądań kierowanych do strony, obejmujący zarówno wizyty użytkowników, jak i robotów wyszukiwarek. Analiza tych danych pozwala precyzyjnie ocenić, czy roboty indeksujące odwiedzają właściwe adresy oraz czy nie poświęcają zasobów na strony bez wartości dla SEO.

Dlaczego warto analizować logi serwera?

Każde wejście na stronę zostawia ślad w dzienniku serwera. Widać tam adres odwiedzonej podstrony, datę, kod odpowiedzi, nazwę robota, czasem adres sieciowy oraz wielkość pobranego pliku.

Narzędzia dla właścicieli stron są potrzebne, lecz pokazują obraz już przetworzony. Google podaje, że raport statystyk indeksowania w Search Console obejmuje między innymi liczbę żądań, rozmiar pobrań, średni czas odpowiedzi i problemy z dostępnością serwera.

Logi pozwalają zejść poziom niżej: do konkretnych adresów i godzin wizyty:

• Jeżeli robot często trafia na przekierowania, część jego wizyt schodzi na techniczne objazdy.
• Jeżeli dostaje błędy 404, wraca z niczym.
• Jeżeli serwer odpowiada wolno albo kodem 5xx, wyszukiwarka może ograniczyć odwiedziny.

Google wprost opisuje crawl budget jako temat szczególnie ważny dla bardzo dużych albo często aktualizowanych witryn; przy małych serwisach, bez szybkiego przyrostu treści, zwykle wystarcza aktualna mapa strony i kontrola indeksowania. Crawl budget ma jednak znaczenie w każdym przypadku, ponieważ wpływa na to, jak sprawnie roboty Google docierają do treści. Dlatego pozycjonowanie – niezależnie od wielkości serwisu – powinno uwzględniać jego podstawową optymalizację, choć przy mniejszych stronach zakres działań jest zwykle ograniczony.

Sporo informacji na ten temat znajduje się w oficjalnym poradniku YouTube od Google Search Central:

Jak czytać logi, żeby wyciągnąć wnioski dla widoczności?

Najpierw trzeba uporządkować dane. Jeden dzień bywa za krótki, bo robot nie odwiedza każdej podstrony codziennie. Rozsądnie zebrać dane z kilku tygodni, a przy większym sklepie lub serwisie contentowym nawet z kwartału. Następnie warto odfiltrować ruch ludzi, narzędzi i podejrzanych robotów.

Google przypomina, że nazwa Googlebota w nagłówku żądania może być podszyta, dlatego wiarygodność wizyty sprawdza się przez odwrotne sprawdzenie nazwy sieciowej albo zakresy adresów Google.

Dopiero po takim oczyszczeniu zaczyna się właściwa praca. Patrzysz, czy robot pobiera strony ważne biznesowo, poradnikowe, kategorie, produkty oraz nowe publikacje. Następnie porównujesz to z mapą strony, strukturą linkowania wewnętrznego i stanem indeksowania.

Najwięcej daje zestawienie kilku sygnałów naraz:

• adres strony – pokazujący, gdzie robot faktycznie trafił;
• kod odpowiedzi serwera – ujawniający sukces, przekierowanie lub błąd;
• częstotliwość wizyt – wskazująca, czy dana część serwisu budzi zainteresowanie;
• czas odpowiedzi – pomagający znaleźć miejsca spowalniające pobieranie;
• typ robota – rozdzielający wizyty robota na telefon i komputer.

Z takiego układu szybko wynika plan działania. Jeśli nowe artykuły nie pojawiają się w logach, problem może leżeć w słabym linkowaniu wewnętrznym albo mapie strony. Jeśli robot stale wraca do starych adresów z przekierowaniami, trzeba naprawić odnośniki w serwisie. Jeśli najwięcej wizyt zbierają filtry, sortowania i parametry, robot traci energię na powtarzalne wersje treści.

Co naprawia analiza logów serwera w codziennej pracy SEO?

Najpierw błędy odpowiedzi. Kod 200 mówi, że strona została pobrana poprawnie. Kod 301 albo 302 informuje o przekierowaniu. Kod 404 pokazuje brak zasobu. Kody 5xx sugerują problem po stronie serwera.

Drugi obszar to gospodarowanie budżetem indeksowania, czyli liczbą odwiedzin, jaką wyszukiwarka może i chce przeznaczyć na dany serwis. Nie chodzi o magiczny limit zapisany w jednym miejscu. Bardziej o równowagę między możliwościami serwera, jakością adresów i zapotrzebowaniem na świeże treści. Gdy w logach widzisz tysiące wejść na strony koszyka, wyniki wyszukiwania wewnętrznego albo warianty sortowania, dostajesz jasny sygnał: ważne podstrony mogą czekać dłużej.

Google w poradniku „Crawling infrastructure” wypowiada się na ten temat następująco:

„Googlebot stara się indeksować witryny bez obciążania serwerów. W tym celu roboty Google obliczają limit wydajności indeksowania, czyli maksymalną liczbę jednoczesnych połączeń równoległych, których Google może użyć do zeskanowania witryny. Obliczają też opóźnienie między pobraniami. Dzięki tym obliczeniom indeksowanie obejmie wszystkie ważne treści bez nadmiernego obciążenia serwerów”. – Google Search Help

Trzeci temat to szybkość odpowiedzi serwera. Jeżeli robot pobiera mniej stron w dni z wysokim czasem odpowiedzi, masz trop techniczny. Wtedy sama optymalizacja treści nie wystarczy. Trzeba porozmawiać z osobą od serwera, pamięci podręcznej (czyli zapamiętywania gotowych odpowiedzi) albo ograniczenia ciężkich zapytań do bazy danych.

Warto też oddzielić wizyty robotów od ruchu użytkowników w godzinach największego obciążenia. Dzięki temu zobaczysz, czy problemy pojawiają się stale, czy jedynie wtedy, gdy serwer ma więcej pracy. Ta różnica bywa bardzo ważna przy rozmowie o hostingu, pamięci podręcznej, wydajności, kosztach utrzymania i dalszym rozwoju całego serwisu.

Czwarty obszar dotyczy świeżych treści. Publikujesz poradnik, aktualizujesz kategorię, dodajesz produkt. Po kilku dniach sprawdzasz logi. Jeśli robot nie był na stronie, najpierw popraw drogę dojścia: dodaj link z powiązanego artykułu, uaktualnij mapę strony, usuń blokadę w pliku robots.txt, jeżeli istnieje. Gdy odwiedziny są, a indeksowania brak, szukaj przyczyny w jakości treści, powieleniu albo sygnałach kanonicznych (wskazaniu wersji głównej adresu).

Jak wdrożyć pracę z logami?

Najlepiej działa prosty rytm. Nie musisz codziennie wpatrywać się w pliki serwera. Wystarczy stały przegląd, szczególnie po zmianach w strukturze, migracji, wdrożeniu nowego sklepu, przebudowie filtrów albo dużej publikacji treści.

Proces może wyglądać spokojnie i rzeczowo:

• pobierz logi z wybranego okresu i zabezpiecz dane wrażliwe;
• odfiltruj wiarygodne roboty wyszukiwarek;
• pogrupuj adresy według typu, na przykład artykuły, kategorie, produkty, filtry;
• sprawdź kody odpowiedzi, czas pobierania i częstotliwość wizyt;
• przełóż wnioski na zadania techniczne, redakcyjne oraz związane z linkowaniem wewnętrznym;
• wróć do logów po wdrożeniach i oceń zmianę.

Tak prowadzona analiza logów serwera porządkuje rozmowę między specjalistą SEO, programistą i redakcją. Każdy widzi ten sam problem w liczbach. Zamiast ogólnego „robot źle chodzi po stronie”, masz konkret: 38 procent wizyt w badanym tygodniu dotyczyło adresów z parametrami, a ważna kategoria nie została pobrana ani razu.

Na koniec warto pamiętać o prywatności. Logi mogą zawierać adresy sieciowe użytkowników, dlatego dostęp powinien być ograniczony, a dane przetwarzane zgodnie z zasadą minimalizacji.

Od surowych danych do lepszej widoczności

Logi serwera są jednym z najbardziej konkretnych źródeł wiedzy w technicznym SEO. Pokazują, czy wyszukiwarka trafia na istotne treści, jak reaguje serwer i gdzie przepadają wizyty robotów.

Jeżeli prowadzisz małą, rzadko aktualizowaną stronę, wystarczy okresowa kontrola. Jeżeli rozwijasz sklep, portal, bazę poradników albo serwis z wieloma wariantami adresów, analiza logów serwera powinna wejść do stałego zestawu działań. Najpierw diagnoza, potem poprawki, później ponowny pomiar.