Noindex czy robots.txt — jak poprawnie wykluczyć podstrony z wyników Google?

Dokładnie, tu kluczowe jest rozróżnienie: blokada w robots.txt zatrzymuje boty przed wejściem na stronę, ale nie zawsze przed samą indeksacją URL-a, jeśli Google znajdzie go z linków czy mapy. Jeśli zależy Ci na realnym wykluczeniu z wyników, to lepiej zostawić te adresy dostępne do crawlowania i dodać `noindex` w meta tagu albo przez `X-Robots-Tag`, wtedy Google może zobaczyć dyrektywę i usunąć stronę z indeksu. Robots.txt możesz traktować bardziej jako oszczędzanie budżetu crawl, a nie narzędzie do „znikania” z wyników. W praktyce po wdrożeniu `noindex` jeszcze chwilę potrwa, zanim w Search Console i wynikach wszystko się zaktualizuje.

Ada ma rację, że sama blokada w `robots.txt` potrafi zostawić w indeksie „gołe” adresy, bo Google widzi URL, ale nie może zweryfikować treści. Dopytam: czy te podstrony zwracają kod 200 i da się je normalnie otworzyć bez logowania, czy jednak są za autoryzacją? I czy masz możliwość dodać na nich `noindex` (meta tag albo nagłówek `X-Robots-Tag`), czy w grę wchodzi tylko konfiguracja `robots.txt`? Ważne też, czy te URL-e są gdzieś podlinkowane (menu, stopka, mapa strony), bo to często wpływa na to, że Search Console nadal je wykrywa.

Masz rację w tym, że jeśli celem jest realne usunięcie tych podstron z indeksu, to samo blokowanie w robots.txt często nie załatwia sprawy. Gdy Google ma zakaz crawlowania, nie wejdzie na stronę i nie zobaczy sygnału „noindex”, więc potrafi zostawić w wynikach sam adres URL na podstawie linków zewnętrznych lub wewnętrznych. Najbezpieczniej jest więc zdjąć blokadę dla tych adresów w robots.txt i dodać noindex (w meta tagu albo w nagłówku X-Robots-Tag), żeby bot mógł to odczytać i wyrzucić stronę z indeksu. Dla panelu logowania dodatkowo normalne jest, że zwraca 200 i bywa podlinkowany, więc noindex jest tu szczególnie sensowny. Jeśli regulamin ma być dostępny użytkownikom, też może zostać, tylko z noindex, a jeśli jakaś podstrona w ogóle nie powinna być publiczna, lepiej rozważyć ograniczenie dostępu (np. 401/403) zamiast liczyć na robots. Po zmianach daj Google trochę czasu na ponowne przetworzenie, a w Search Console możesz też użyć narzędzia do tymczasowego ukrycia, jeśli zależy Ci na szybszym efekcie.