Mapa witryny i robots.txt w WordPress i na własnej stronie

Mapa witryny to lista adresów, które mają się znaleźć w wyszukiwarkach. Plik robots.txt informuje wyszukiwarki, których adresów nie mogą odwiedzać i gdzie znajduje się mapa witryny. Poniżej wyjaśniamy, jak sprawdzić oba pliki w WordPress i na stronie, którą tworzą Państwo samodzielnie.

WordPress

Od wersji 5.5 WordPress sam tworzy mapę witryny i plik robots.txt:

• Mapa witryny znajduje się pod adresem https://jouwdomein.nl/wp-sitemap.xml.
• Plik robots.txt jest wirtualny: w katalogu strony nie ma takiego pliku, ale WordPress wyświetla go pod adresem https://jouwdomein.nl/robots.txt, razem z odnośnikiem do mapy witryny.
• Korzystają Państwo z wtyczki SEO, takiej jak Yoast SEO lub Rank Math? Wtedy często tworzy ona własną mapę witryny, na przykład sitemap_index.xml. Jej adres znajdą Państwo w ustawieniach wtyczki. Ten właśnie adres należy zgłosić w Google i Bing.

Standardowy plik robots.txt w WordPress wygląda mniej więcej tak:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://jouwdomein.nl/wp-sitemap.xml

Czy WordPress blokuje wyszukiwarki?

1. Prosimy zalogować się do WordPress i przejść do Ustawienia, a następnie Odczyt.
2. W sekcji widoczności dla wyszukiwarek prosimy sprawdzić pole Proś wyszukiwarki o nieindeksowanie tej witryny.
3. To pole musi być odznaczone. Prosimy kliknąć Zapisz zmiany.

Jeśli pole jest zaznaczone, WordPress prosi wyszukiwarki o pominięcie całej Państwa witryny. Często zaznacza się je podczas budowy strony, a potem o nim zapomina.

Więcej o widoczności w WordPress przeczytają Państwo w artykule Widoczność: podstawy.

Własny plik robots.txt

Jeśli sami umieszczą Państwo plik robots.txt w katalogu strony, ma on pierwszeństwo przed wirtualnym plikiem robots.txt WordPress. W pakiecie hostingowym WebOké katalogiem strony jest public_html Państwa domeny. Plik można tam umieścić za pomocą Menedżera plików w DirectAdmin (zobacz Otwieranie Menedżera plików: katalogi w Państwa pakiecie) lub przez FTP.

Prosty plik robots.txt, który zezwala na wszystko i wskazuje mapę witryny:

User-agent: *
Allow: /
Sitemap: https://jouwdomein.nl/sitemap.xml

Strona tworzona samodzielnie

Tworzą Państwo stronę samodzielnie lub w innym programie? Prosimy sprawdzić, czy ten program tworzy mapę witryny. Jeśli nie, można się bez niej obejść: mała strona z dobrymi linkami między podstronami również zostanie znaleziona. Mapa witryny jednak pomaga. Prosimy umieścić ją w katalogu strony i podać ją w pliku robots.txt, jak pokazano powyżej.

Sprawdzanie

• Prosimy otworzyć https://jouwdomein.nl/robots.txt. Czy pod User-agent: * znajduje się Disallow: /? W takim razie żadna wyszukiwarka nie może odwiedzać Państwa witryny. Prosimy usunąć tę linię, gdy strona będzie gotowa.
• Czy jest tam linia Sitemap:? Prosimy otworzyć ten adres w przeglądarce. Powinna pojawić się lista adresów Państwa witryny, z https i Państwa własną domeną.

Wskazówka: robots.txt nie usuwa strony z Google. Strona, której nie wolno odwiedzać, może mimo to pojawić się w wynikach wyszukiwania, jeśli linkują do niej inne witryny. Jeśli chcą Państwo naprawdę wykluczyć stronę z Google, prosimy użyć noindex. Różnicę wyjaśniamy w lekcji robots.txt: co blokujesz, a czego nie kursu Widoczność w internecie.