Jak usunąć stronę z Google: robots.txt czy noindex?
Nie chcą Państwo, aby jakaś strona pojawiała się w Google, na przykład strona z podziękowaniem, strona testowa lub stara promocja? Wiele osób myśli wtedy o pliku robots.txt. Jednak robots.txt nie powoduje usunięcia strony z Google. Do tego służy noindex. W tym artykule dowiedzą się Państwo, na czym polega różnica, jak korzystać z obu rozwiązań i co zrobić ze stroną, którą usunięto. Jako przykład używamy example.com.
Różnica w skrócie
| robots.txt | noindex | |
|---|---|---|
| Co oznacza | "Nie pobieraj tej strony." | "Nie umieszczaj tej strony w wynikach wyszukiwania." |
| Czy usuwa stronę z Google? | Nie. Jeśli inne strony linkują do tej strony, jej adres może mimo to pojawić się w wynikach, bez opisu. | Tak, gdy tylko Google ponownie odwiedzi tę stronę. |
| Gdzie się to umieszcza? | Jeden plik pod adresem https://example.com/robots.txt | W samej stronie lub jako nagłówek wysyłany przez serwer |
| Do czego się to stosuje? | Do sterowania ruchem robotów indeksujących, na przykład pomijania stron wyników wyszukiwania na własnej witrynie | Do stron, które mają pozostać dostępne, ale nie powinny znajdować się w Google |
Żadne z tych rozwiązań nie zapewnia zabezpieczenia. Każdy może odczytać plik robots.txt, a strona z noindex pozostaje normalnie dostępna. Jeśli coś naprawdę wymaga zabezpieczenia, prosimy umieścić to za hasłem. Zob. Zabezpieczanie katalogu hasłem w DirectAdmin.
Korzystanie z noindex
Prosimy umieścić tę linię w sekcji <head> strony:
<meta name="robots" content="noindex">
Dla plików bez HTML, na przykład pliku pdf, serwer może przesłać tę samą instrukcję jako nagłówek: X-Robots-Tag: noindex. Efekt jest taki sam.
Zazwyczaj nie trzeba wpisywać tego samodzielnie:
- AI Bouwer: proszę otworzyć sekcję SEO, wybrać stronę i w części Więcej dla tej strony wyłączyć przełącznik Ta strona widoczna w Google. Strona pozostanie dostępna, ale otrzyma noindex. Następnie proszę opublikować ją ponownie.
- WordPress: wtyczka SEO ma dla każdej strony ustawienie pozwalające wyłączyć jej indeksowanie. Pole wyboru Zniechęcaj wyszukiwarki do indeksowania tej witryny w sekcji Ustawienia, Czytanie dotyczy całej witryny.
- Inne kreatory stron: proszę poszukać ustawienia typu "ukryj przed wyszukiwarkami".
Tworzenie lub edycja pliku robots.txt
W pakiecie hostingowym plik robots.txt znajduje się w katalogu webowym domeny, w DirectAdmin jest to katalog public_html. Plik można utworzyć lub edytować w Menedżerze plików lub przez FTP, zob. Otwieranie Menedżera plików: katalogi w pakiecie. Przykład:
User-agent: * Disallow: /zoeken Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
User-agent: *dotyczy wszystkich robotów wyszukiwarek.Disallow:ze ścieżką zabrania wszystkiego, co zaczyna się od tej ścieżki.Disallow: /zabrania całej witryny.- Jeśli utworzą Państwo również grupę
User-agent: Googlebot, Google będzie stosować się wyłącznie do tej grupy i zignoruje grupę*. Proszę więc powtórzyć w niej wszystkie reguły, które mają dotyczyć także Google. - Proszę nie blokować katalogów z arkuszami stylów, skryptami lub obrazami potrzebnymi stronie.
- Brak pliku robots.txt nie stanowi problemu: w takim przypadku wszystko jest dozwolone. Jeśli adres zwraca błąd serwera, Google tymczasowo wstrzymuje pobieranie.
WordPress tworzy własny plik robots.txt, dopóki w katalogu webowym nie ma takiego pliku. AI Bouwer podczas publikowania sam umieszcza plik robots.txt z linią Sitemap:.
Google przechowuje plik robots.txt zazwyczaj do 24 godzin. W Search Console, w sekcji Ustawienia, znajdą Państwo raport robots.txt: którą wersję Google ostatnio pobrał, wraz z błędami i ostrzeżeniami, oraz przycisk umożliwiający ponowne pobranie pliku.
Usunięta strona: 404 lub 410, nie soft 404
Jeśli usunęli Państwo stronę, jej adres powinien zwracać kod statusu 404 (nie znaleziono) lub 410 (usunięto). Przy kolejnej wizycie Google usunie wtedy ten adres z wyników wyszukiwania. Jeśli strona ma swój odpowiednik, proszę przekierować stary adres za pomocą przekierowania 301 do nowej strony, zob. Site Omleiden: przekierowywanie domeny lub strony.
Tak zwane soft 404 to strona, która informuje, że nie istnieje, lub jest niemal pusta, ale mimo to zwraca kod 200 (znaleziono). Google często to rozpoznaje i nie umieszcza takiej strony w indeksie. W Search Console zobaczą Państwo to jako przyczynę Soft 404. Przekierowywanie wszystkich usuniętych stron na stronę główną również może zostać uznane za soft 404. Proszę więc zadbać, aby strona, która rzeczywiście zniknęła, zwracała prawdziwy kod 404 lub 410.
Potrzebują Państwo szybko usunąć stronę z wyników, na przykład dlatego, że przez pomyłkę znajdowały się na niej dane osobowe? Proszę skorzystać z funkcji Usuwanie w Search Console. Działa ona tymczasowo, przez około sześć miesięcy. Proszę zadbać również o to, aby strona miała status 404, 410, hasło lub noindex.
Dalsza lektura
- Google: blokowanie indeksowania za pomocą noindex (w języku angielskim)
- Google: wprowadzenie do robots.txt (w języku angielskim)
- Google: raport robots.txt
- Blokowanie plików za pomocą .htaccess
Korzystają Państwo z WordPressa? W lekcji Widoczność: podstawy bezpłatnego kursu WordPress znajdą Państwo więcej informacji o robots.txt oraz o polu wyboru dotyczącym zniechęcania wyszukiwarek.