Jak usunąć stronę z wyników Google: robots.txt czy noindex?
Nie chcą Państwo, aby dana strona pojawiała się w Google, na przykład strona z podziękowaniem, strona testowa lub stara promocja? Wiele osób myśli wtedy o pliku robots.txt. Jednak robots.txt nie usuwa strony z Google. Służy do tego noindex. W tym artykule wyjaśniamy różnicę między nimi, sposób użycia obu rozwiązań oraz co zrobić ze stroną, którą Państwo usunęli. Jako przykładu używamy example.com.
Różnica w skrócie
| robots.txt | noindex | |
|---|---|---|
| Co oznacza | „Nie pobieraj tej strony.” | „Nie umieszczaj tej strony w wynikach wyszukiwania.” |
| Czy usuwa stronę z Google? | Nie. Jeśli inne witryny linkują do tej strony, jej adres może mimo to pojawić się w wynikach, bez opisu. | Tak, gdy tylko Google ponownie odwiedzi stronę. |
| Gdzie się znajduje? | Jeden plik pod adresem https://example.com/robots.txt | W samej stronie lub jako nagłówek HTTP wysyłany przez serwer |
| Do czego służy? | Do sterowania ruchem robotów, na przykład pomijania stron z wynikami wyszukiwania w Państwa własnej witrynie | Do stron, które mają pozostać dostępne, ale nie powinny pojawiać się w Google |
Żadne z tych rozwiązań nie jest zabezpieczeniem. Każdy może odczytać Państwa plik robots.txt, a strona z noindex pozostaje normalnie dostępna. Jeśli coś musi być naprawdę chronione, prosimy zabezpieczyć to hasłem. Więcej informacji: Zabezpieczanie katalogu hasłem w DirectAdmin.
Korzystanie z noindex
Prosimy umieścić ten wiersz w sekcji <head> strony:
<meta name="robots" content="noindex">
W przypadku plików, które nie są stronami HTML, na przykład plików PDF, serwer może wysłać tę samą instrukcję jako nagłówek HTTP: X-Robots-Tag: noindex. Efekt jest taki sam.
Zazwyczaj nie trzeba wpisywać tego samodzielnie:
- AI Builder: prosimy otworzyć sekcję SEO, wybrać stronę i w części Więcej dla tej strony wyłączyć przełącznik Ta strona widoczna w Google. Strona pozostanie dostępna, ale otrzyma noindex. Następnie prosimy ponownie opublikować witrynę.
- WordPress: wtyczka SEO ma dla każdej strony ustawienie, które wyłącza jej indeksowanie. Pole wyboru Proś wyszukiwarki o nieindeksowanie tej witryny w menu Ustawienia, Czytanie dotyczy całej witryny.
- Inne kreatory stron: prosimy poszukać ustawienia w rodzaju „ukryj przed wyszukiwarkami”.
Tworzenie lub edycja pliku robots.txt
W pakiecie hostingowym plik robots.txt znajduje się w katalogu WWW Państwa domeny, w DirectAdmin jest to katalog public_html. Plik można utworzyć lub edytować za pomocą Menedżera plików lub FTP, zobacz Otwieranie Menedżera plików: katalogi w Państwa pakiecie. Przykład:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *dotyczy wszystkich robotów wyszukiwarek.Disallow:ze ścieżką blokuje wszystko, co zaczyna się od tej ścieżki.Disallow: /blokuje całą witrynę.- Jeśli utworzą Państwo również grupę
User-agent: Googlebot, Google będzie stosować się tylko do tej grupy i zignoruje grupę*. Prosimy więc powtórzyć w niej wszystkie reguły, które mają dotyczyć także Google. - Prosimy nie blokować katalogów z arkuszami stylów, skryptami ani obrazami, których potrzebuje Państwa strona.
- Brak pliku robots.txt nie stanowi problemu: wtedy wszystko jest dozwolone. Jeśli jednak adres zwraca błąd serwera, Google tymczasowo przestaje pobierać strony.
WordPress sam generuje plik robots.txt, dopóki w katalogu WWW nie ma takiego pliku. AI Builder podczas publikacji sam umieszcza plik robots.txt z wierszem Sitemap:.
Szczegółowe wyjaśnienie ze zrzutami ekranu: Mapa witryny i robots.txt w AI Builder oraz Mapa witryny i robots.txt w WordPress i we własnej witrynie w poradniku Widoczność w internecie.
Google zazwyczaj przechowuje Państwa plik robots.txt do 24 godzin. W Search Console w sekcji Ustawienia znajduje się raport robots.txt: pokazuje, którą wersję Google pobrało ostatnio, wraz z błędami i ostrzeżeniami, oraz zawiera przycisk umożliwiający ponowne pobranie pliku.
Usunięta strona: 404 lub 410, a nie soft 404
Jeśli usunęli Państwo stronę, jej adres powinien zwracać kod stanu 404 (nie znaleziono) lub 410 (usunięto). Podczas następnej wizyty Google usunie wtedy adres z wyników wyszukiwania. Jeśli strona ma następczynię, prosimy przekierować stary adres kodem 301 na nową stronę, zobacz Site Redirection: przekierowanie domeny lub strony.
Soft 404 to strona, która informuje, że jej nie ma, lub jest prawie pusta, a mimo to zwraca kod 200 (znaleziono). Google często to rozpoznaje i nie uwzględnia takiej strony w indeksie. W Search Console widać to jako przyczynę Soft 404. Również przekierowanie wszystkich usuniętych stron na stronę główną może zostać uznane za soft 404. Strona, która naprawdę nie istnieje, powinna więc zwracać prawdziwy kod 404 lub 410.
Czy strona musi szybko zniknąć z wyników, na przykład dlatego, że przez pomyłkę znalazły się na niej dane osobowe? Prosimy wtedy skorzystać z narzędzia Usunięcia w Search Console. Działa ono tymczasowo, przez około sześć miesięcy. Dlatego prosimy również zadbać o to, aby strona zwracała kod 404 lub 410, była chroniona hasłem lub miała noindex.
Dalsza lektura
- Google: Blokowanie indeksowania za pomocą noindex (w języku angielskim)
- Google: Wprowadzenie do pliku robots.txt (w języku angielskim)
- Google: raport robots.txt
- Blokowanie plików za pomocą .htaccess
Korzystają Państwo z WordPressa? W lekcji Widoczność w wyszukiwarkach: podstawy bezpłatnego kursu WordPress znajdą Państwo więcej informacji o pliku robots.txt i opcji Proś wyszukiwarki o nieindeksowanie tej witryny.
Chcą Państwo dowiedzieć się więcej? Zapraszamy na bezpłatny kurs Widoczność w internecie, lekcja 3.3 robots.txt: co blokować, a czego nie.