Zezwalanie na crawlery AI lub ich blokowanie: robots.txt i llms.txt
Usługi AI, takie jak ChatGPT, Claude, Gemini i Perplexity, pobierają strony internetowe: aby trenować modele, udzielać odpowiedzi w wyszukiwaniu lub odpowiedzieć na pytanie użytkownika. Za pomocą pliku robots.txt mogą Państwo określić, które z tych robotów mają dostęp do Państwa witryny. Istnieje też propozycja llms.txt. W tym artykule opisujemy, jakie roboty istnieją, jak je dopuścić lub zablokować oraz co llms.txt robi, a czego nie robi. Jako przykładu używamy domeny example.com.
1. Najważniejsze roboty AI
Większość firm AI używa osobnych nazw do trenowania, wyszukiwania i pobierania stron na prośbę użytkownika. Dzięki temu można na przykład zablokować trenowanie, a mimo to nadal pojawiać się w odpowiedziach wyszukiwania.
| Nazwa w robots.txt | Firma | Przeznaczenie |
|---|---|---|
GPTBot | OpenAI | Zbieranie stron, które mogą zostać użyte do trenowania modeli |
OAI-SearchBot | OpenAI | Funkcja wyszukiwania ChatGPT. Po zablokowaniu tego robota Państwa witryna nie pojawi się w odpowiedziach wyszukiwania ChatGPT |
ChatGPT-User | OpenAI | Pobieranie strony, gdy poprosi o to użytkownik. Według OpenAI robots.txt może tu nie obowiązywać |
ClaudeBot | Anthropic | Zbieranie stron, które mogą zostać użyte do trenowania modeli |
Claude-SearchBot | Anthropic | Indeksowanie stron na potrzeby funkcji wyszukiwania Claude |
Claude-User | Anthropic | Pobieranie strony, gdy poprosi o to użytkownik |
Google-Extended | Nie jest to osobny robot, lecz nazwa, za pomocą której określają Państwo, czy Google może wykorzystywać Państwa treści do trenowania modeli Gemini oraz do groundingu. Według Google nie ma to wpływu na pozycję w wyszukiwarce Google | |
PerplexityBot | Perplexity | Wyświetlanie witryn i linków do nich w wynikach wyszukiwania Perplexity, nie do trenowania |
Perplexity-User | Perplexity | Pobieranie strony, gdy poprosi o to użytkownik. Według Perplexity ten robot zazwyczaj ignoruje robots.txt |
Lista regularnie się zmienia. Aktualne nazwy można znaleźć w dokumentacji OpenAI, Anthropic, Google i Perplexity.
2. Przykładowy plik robots.txt
Ten przykład blokuje trenowanie modeli, ale dopuszcza roboty wyszukiwania i zwykłe wyszukiwarki:
User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / User-agent: * Disallow: /winkelmand/ Sitemap: https://example.com/sitemap.xml
- Robot stosuje się tylko do grupy ze swoją własną nazwą, a w przeciwnym razie do grupy
*. W przykładzie GPTBot nie ma więc dostępu nigdzie, a regułaDisallow: /winkelmand/nie dotyczy GPTBot. - Jeśli chcą Państwo dopuścić wszystkie roboty AI, nie trzeba nic robić: bez reguł wszystko jest dozwolone.
- Jeśli przez pomyłkę zablokują Państwo robota wyszukiwania, takiego jak
OAI-SearchBot,Claude-SearchBotlubPerplexityBot, Państwa witryna będzie gorzej widoczna w tych usługach wyszukiwania AI. - Blokowanie działa tylko na przyszłość. Treści pobranych wcześniej nie da się w ten sposób wycofać.
public_html Państwa domeny. Można go utworzyć lub edytować za pomocą Menedżera plików lub FTP. WordPress sam tworzy plik robots.txt, dopóki nie istnieje żaden plik, a AI Builder umieszcza go automatycznie podczas publikacji. Więcej o działaniu robots.txt można przeczytać w artykule Jak ukryć stronę przed Google: robots.txt czy noindex?.3. Czym jest llms.txt?
llms.txt to propozycja z 2024 roku dotycząca pliku tekstowego pod adresem https://example.com/llms.txt. Umieszcza się w nim, w formacie Markdown, krótki opis witryny i linki do najważniejszych stron, aby usługa AI mogła szybko zobaczyć, gdzie znajdują się właściwe informacje. Prosty przykład:
# Piekarnia Przykład > Rzemieślnicza piekarnia w Krakowie oferująca chleb, wypieki i torty na zamówienie. ## Ważne strony - [Asortyment](https://example.com/assortiment): chleb, wypieki i torty - [Zamówienia](https://example.com/bestellen): zamawianie i odbiór tortów - [Kontakt](https://example.com/contact): adres i godziny otwarcia
Warto wiedzieć:
- llms.txt nie jest oficjalnym standardem, lecz propozycją. Nie ma gwarancji, że usługi AI odczytują ten plik. Google poinformowało, że wyszukiwarka Google go nie wykorzystuje.
- llms.txt niczego nie blokuje. Aby zablokować roboty, prosimy użyć pliku robots.txt.
- Plik nie powstaje sam: trzeba go utworzyć samodzielnie lub za pomocą wtyczki.
4. Tworzenie llms.txt w WordPress
Popularne wtyczki SEO mogą utworzyć plik llms.txt i go aktualizować:
- Yoast SEO: prosimy przejść do Yoast SEO, Ustawienia, Funkcje witryny i w sekcji funkcji AI włączyć llms.txt. Można pozwolić Yoast wybrać strony lub wskazać je samodzielnie.
- Rank Math: w Kokpicie Rank Math prosimy włączyć moduł LLMS Txt. Ustawienia znajdą Państwo następnie w Ustawieniach ogólnych.
Nazwy menu różnią się w zależności od wersji. Jeśli opcja nie jest widoczna, prosimy zaktualizować wtyczkę. Następnie można obejrzeć plik pod adresem https://twojadomena.pl/llms.txt.
Bez WordPress plik tworzy się samodzielnie: jako plik tekstowy llms.txt w folderze public_html, tak samo jak robots.txt.
Szczegółowe objaśnienia ze zrzutami ekranu: Mapa witryny i robots.txt w WordPress i własnej witrynie oraz Mapa witryny i robots.txt w AI Builder w przewodniku Widoczność w internecie.
Chcą Państwo dowiedzieć się więcej? Zapraszamy na bezpłatny kurs Widoczność w internecie, lekcja 3.3 robots.txt: co blokować, a czego nie.