Aby przeglądać strony, wyszukiwarki śledzą linki, aby dostać się z jednej witryny do drugiej – ostatecznie przeglądając wiele miliardów linków i stron internetowych. Takie zachowanie jest czasami nazywane „spidering”.
Po dotarciu na stronę internetową, ale przed jej scrawlowaniem, wyszukiwarka będzie szukać pliku robots.txt. Jeśli znajdzie jeden, skaner najpierw przeczyta ten plik przed kontynuacją przez stronę. Ponieważ plik robots.txt zawiera informacje o tym, w jaki sposób wyszukiwarka powinna przeglądać, znalezione tam informacje będą nakazywać dalsze działania przeglądarki na tej konkretnej stronie. Jeśli plik robots.txt nie zawiera żadnych wytycznych, które uniemożliwiają działanie agenta użytkownika (lub jeśli witryna nie ma pliku robots.txt), będzie ona kontynuować skanowanie innych informacji na stronie.
Robots.txt to plik tekstowy, który zawiera instrukcje dla robotów wyszukiwarek internetowych, takich jak Googlebot lub Bingbot. Plik ten informuje roboty, które strony mogą lub nie mogą być indeksowane przez wyszukiwarki. Jest to szczególnie ważne dla witryn internetowych, ponieważ pozwala im określić, które części ich witryny mają być widoczne publicznie i które powinny pozostać ukryte.
Robots.txt może również zawierać inne informacje dotyczące sposobu indeksowania witryny przez roboty wyszukiwarek internetowych. Na przykład można skonfigurować robots.txt tak, aby robot wyszukiwarki ignorował określone foldery lub pliki na serwerze. Można również skonfigurować robots.txt tak, aby robot wyszukiwarki odwiedzał strony tylko okresowo lub śledził je bardziej szczegółowo niż normalnie robi to podczas indeksowania witryny.
Ważne informacje:
- Aby go znaleźć, plik robots.txt musi być umieszczony w katalogu najwyższego poziomu witryny.
- Robots.txt jest przypadkiem wrażliwym: plik musi być nazwany „robots.Txt” (not Robots.txt, robots.TXT, or otherwise).
- Niektórzy agenci użytkowników (roboty) mogą zignorować plik robots.txt. Jest to szczególnie powszechne w przypadku bardziej niebezpiecznych skanerów, takich jak roboty złośliwego oprogramowania lub skraparki adresów e-mail.
- Plik /robots.txt jest publicznie dostępny: wystarczy dodać plik /robot.txt do końca dowolnej domeny korzeniowej, aby zobaczyć wytyczne tej witryny (jeśli ta witryna ma plik robots. txt!). Oznacza to, że każdy może zobaczyć, jakie strony robisz lub nie chcesz, aby zostały przechwycone, więc nie używaj ich do ukrywania prywatnych informacji użytkowników.
- Każda subdomain na domenie root używa oddzielnych plików robots.txt. Oznacza to, że zarówno blog.example.com, jak i example.com powinny mieć swoje własne pliki robots.txt (na stronie blog.exe.com/robots.Txt oraz example.
- Najlepiej jest zazwyczaj wskazać lokalizację wszystkich map witryn związanych z tą domeną w dolnej części pliku robots.txt. Oto jeden przykład:
W jakim celu tworzy się plik robots.txt?
Plik robots.txt jest plikiem tekstowym, który służy do informowania robotów wyszukiwarek internetowych o tym, jakie strony mają być indeksowane lub ignorowane. Plik ten może zawierać instrukcje dotyczące określonych robotów wyszukiwarek, takich jak Googlebot lub Bingbot, a także innych robotów. Plik robots.txt ma na celu pomoc w zarządzaniu treściami witryny i umożliwia administratorom witryn określenie, które części witryny mają być dostępne dla robotów wyszukiwarek internetowych. Dzięki temu można uniknąć indeksowania niepożądanych stron lub treści oraz zapobiec przepełnieniu serwerów przez roboty wyszukiwarek. Plik robots.txt może również służyć do określenia priorytetu indeksacji poszczególnych stron witryny oraz do ustalenia maksymalnego czasu odwiedzin przez robota wyszukiwarki.
Kilka częstych powodów tworzenia pliku robots.txt:
- Zapobieganie powielaniu treści w SERP
- Utrzymanie prywatności całych sekcji strony internetowej (na przykład wersji beta stron)
- Utrzymanie stron prywatnymi po to by nie pojawiły się w SERP
- Określenie lokalizacji sitemap
- Zapobieganie indeksowania niektórych plików na Twojej stronie internetowej (obrazki, PDFs, etc.)
- Określanie opóźnienia skanowania, aby zapobiec przeciążeniu serwerów, gdy skanery ładują wiele elementów jednocześnie
Ograniczenia robots.txt
Robots.txt to plik, który pozwala webmasterom określić, jakie strony mają być indeksowane przez roboty wyszukiwarek internetowych. Plik ten zawiera instrukcje dla robotów, aby nie indeksowały określonych części witryny lub całej witryny. Jest to szczególnie ważne dla prywatności i bezpieczeństwa witryn internetowych, ponieważ umożliwia webmasterom ograniczenie dostępu do wrażliwych informacji.
Robots.txt może również służyć do optymalizacji SEO poprzez ograniczenie liczby stron indeksowanych przez roboty wyszukiwarek internetowych. Można go również ustawić tak, aby roboty wyszukiwarek mogły łatwo odnaleźć strony główne witryny i inne ważne elementy witryny. Ustawienia robots.txt mogą również zapobiegać duplikacji treści na stronach internetowych oraz zmniejszać obciążenia serwerowe spowodowane dużymi ilościami ruchu na stronach internetowych.
Jak stworzyć plik robots.txt?
Tworzenie pliku robots.txt jest ważnym elementem optymalizacji witryny internetowej. Plik ten pozwala określić, które części witryny są dostępne dla robotów wyszukiwarek i innych narzędzi do indeksowania stron internetowych. Plik robots.txt zawiera instrukcje dotyczące tego, co roboty mogą lub nie mogą robić na Twojej stronie internetowej.
Aby utworzyć plik robots.txt, musisz mieć dostęp do serwera WWW i edytora tekstu. Następnie możesz utworzyć plik o nazwie „robots.txt” i umieścić go w głównym katalogu witryny internetowej. W tym pliku można określić, które sekcje witryny mają być odczytywane przez roboty wyszukiwarek oraz jakich informacji powinny one szukać podczas indeksowania strony internetowej.
Co znajduje się w pliku robots.txt?
Plik robots.txt jest plikiem tekstowym, który zawiera instrukcje dla robotów wyszukiwarek internetowych, takich jak Googlebot lub Bingbot. Plik ten określa, które strony i foldery mogą być indeksowane przez roboty wyszukiwarek oraz jakie informacje mają one udostępniać. Plik robots.txt może również zawierać informacje o tym, gdzie są umieszczone mapy witryn i inne ważne informacje dotyczące SEO. Dzięki temu roboty wyszukiwarek będą wiedzieć, co powinny indeksować i jakie informacje powinny udostępniać swoim użytkownikom.
Plik robots.txt może również zawierać instrukcje dotyczące sposobu postrzegania witryny przez roboty wyszukiwarek. Na przykład można określić, że należy ignorować pewne typy plików lub folderów lub że należy traktować je inaczej niż pozostałe elementy witryny. Można również określić czas odwiedzin robotami wyszukiwarek oraz ile czasu mają one spędzać na każdej stronie witryny. Wszystkie te informacje służą do optymalizacji witryny pod kontem SEO i pomagają robotom wyszukiwarek lepiej indeksować strony internetowe i precyzyjniej odpowiadać na zapytania użytkowników.
Składnia pliku robots.txt:
Istnieje pięć powszechnych terminów, które najprawdopodobniej napotkasz w pliku robotów. Obejmują one:
User-agent: konkretny crawler internetowy, do którego podajesz instrukcje crawlowania (usually a search engine). Lista większości agentów użytkowników można znaleźć tutaj.
Disallow: polecenie używane do informowania agenta użytkownika, aby nie przeszukiwał określonego adresu URL. Tylko jeden wiersz „Wyłączyć:” jest dozwolony dla każdego adresu URL.
Allow (dotyczy tylko Googlebot): polecenie, które mówi Googlebotowi, że może uzyskać dostęp do strony lub podfolderu, nawet jeśli strona główna lub subfolder mogą być niedozwolone.
Crawl-delay: Ile sekund powinien czekać skaner przed załadowaniem i skanowaniem zawartości strony. Należy zauważyć, że Googlebot nie rozpoznaje tego polecenia, ale szybkość skanowania można ustawić w Google Search Console.
Sitemap: Używany do wywołania lokalizacji dowolnego XML sitemap(ów) związanych z tym adresem URL. Uwaga Ten polecenie jest obsługiwane tylko przez Google, Ask, Bing i Yahoo.
Testowanie robots.txt
Testowanie robots.txt jest ważnym elementem optymalizacji SEO, ponieważ pozwala ono zapobiec indeksowaniu przez wyszukiwarki stron internetowych lub ich części, które nie powinny być widoczne dla użytkowników. Plik robots.txt jest plikiem tekstowym, który można umieścić na serwerze i zawiera instrukcje dla robotów wyszukiwarek dotyczące tego, co mają one indeksować lub ignorować. Testowanie robots.txt polega na sprawdzeniu poprawności składni pliku oraz upewnieniu się, że wszystkie adresy URL są odpowiednio oznaczone do indeksowania lub ignorowania przez roboty wyszukiwarek.
Aby skutecznie przetestować plik robots.txt, należy skorzystać z narzędzi takich jak Google Search Console lub Narzedzie Robots Exclusion Protocol (REP). Te narzedzie pozwalają sprawdzić poprawność składni pliku oraz określić, czy roboty wyszukiwarek będą indeksowały lub ignorowały określone adresy URL. Ponadto narzedzie REP oferuje dodatkowe funkcje takie jak monitorowanie zmian w pliku robots.txt i ostrzegania o potencjalnych problemach bezpieczeństwa.
Robots.txt – jak wpływa na Twoją stronę?
Robots.txt to plik, który pozwala właścicielom stron internetowych określić, jakie roboty wyszukiwarek mogą lub nie mogą indeksować ich witrynę. Plik ten może być używany do zapobiegania indeksowaniu pewnych części witryny przez roboty wyszukiwarek, co oznacza, że te części witryny nie będą widoczne dla użytkowników sieci. Może to mieć duży wpływ na Twoją stronę internetową i jej widoczność w wynikach wyszukiwania. Jeśli chcesz, aby Twoja strona była widoczna dla użytkowników sieci, musisz upewnić się, że Twój plik robots.txt jest poprawnie skonfigurowany i nie blokuje robotów od indeksowania ważnych elementów Twojej witryny. Ustawienia tego pliku powinny być regularnie sprawdzane i aktualizowane tak, aby zapewnić optymalną widoczność Twojej strony internetowej.
Najczęstsze błędy w robots.txt
Oto 10 najczęstszych błędów, które mogą wystąpić przy tworzeniu pliku robots.txt:
- Nie umieszczenie pliku robots.txt w katalogu głównym witryny internetowej – plik robots.txt musi znajdować się w katalogu głównym witryny internetowej, aby mógł zostać prawidłowo odczytany przez roboty.
- Brak spójności między plikiem robots.txt a strukturą witryny – plik robots.txt powinien odzwierciedlać strukturę witryny, w przeciwnym razie roboty nie będą mogły znaleźć i zindeksować wszystkich stron.
- Używanie komentarzy w pliku robots.txt w sposób niezgodny z protokołem – komentarze w pliku robots.txt powinny być poprzedzone symbolem # i umieszczone na końcu linii.
- Zbyt ograniczający plik robots.txt – zbyt restrykcyjny plik robots.txt może uniemożliwić robotom przeglądanie i indeksowanie strony, co może prowadzić do obniżenia pozycji w wynikach wyszukiwania.
- Używanie nieprawidłowych instrukcji – instrukcje w pliku robots.txt muszą być zgodne z protokołem, w przeciwnym razie roboty mogą nie wykonać żadnej akcji lub zignorować cały plik.
- Używanie niezgodnych instrukcji – plik robots.txt może zawierać tylko jedną instrukcję dla każdego agenta, w przeciwnym razie roboty mogą zignorować cały plik.
- Brak instrukcji dla konkretnego robota – jeśli witryna zawiera sekcję dostępną tylko dla określonych robotów, plik robots.txt musi zawierać instrukcje dla tych robotów.
- Używanie instrukcji niedostępnych dla danego robota – instrukcje w pliku robots.txt muszą być zgodne z protokołem i zgodne z tym, co dany robot jest w stanie zrozumieć.
- Ignorowanie sekcji „User-agent: *” – sekcja „User-agent: *” odnosi się do wszystkich robotów i musi zawierać odpowiednie instrukcje.
- Zbyt częste zmiany pliku robots.txt – częste zmiany pliku robots.txt mogą prowadzić do problemów z indeksowaniem i spadku pozycji w wynikach wyszukiwania.
Przykłady robots.txt
- Dopuszczenie pełnego dostępu dla wszystkich robotów:
User-agent: * Disallow:
Ta komenda umożliwi robotom pełny dostęp do całej witryny.
- Ograniczenie dostępu do konkretnych katalogów:
User-agent: * Disallow: /prywatne/ Disallow: /archiwum/
Ta komenda uniemożliwi robotom dostęp do katalogów „prywatne” i „archiwum”.
- Dopuszczenie dostępu do konkretnych plików:
User-agent: * Disallow: /plik_tajny.html Allow: /publiczny.html
Ta komenda uniemożliwi robotom dostęp do pliku „plik_tajny.html”, ale umożliwi dostęp do pliku „publiczny.html”.
- Ograniczenie dostępu dla konkretnego robota:
User-agent: Googlebot Disallow: /prywatne/
Ta komenda uniemożliwi robotowi Googlebot dostęp do katalogu „prywatne”.
- Ograniczenie częstotliwości odpytywań:
User-agent: * Crawl-delay: 10
Ta komenda spowolni roboty odpytujące witrynę do jednego odpytania co 10 sekund.
Warto pamiętać, że instrukcje w pliku robots.txt muszą być zgodne z protokołem i zgodne z tym, co dany robot jest w stanie zrozumieć. Przed dodaniem komend do pliku robots.txt warto sprawdzić, jakie instrukcje obsługiwane są przez konkretne roboty.
Najlepsze praktyki SEO w kontekście pliku robots.txt:
- Upewnij się, że nie blokujesz żadnej zawartości lub sekcji swojej witryny internetowej, którą chcesz aby była indeksowana.
- Linki na stronach zablokowanych przez plik robots.txt nie będą śledzone. Oznacza to, że 1. O ile nie są one również połączone z innymi stronami dostępnymi dla wyszukiwarek (tj. stronami nie zablokowanymi za pośrednictwem robots.txt, meta-robotów lub w inny sposób), powiązane zasoby nie będą przeszukiwane i nie mogą być indeksowane. 2.) Nie można przenieść własności linku z zablokowanej strony do miejsca docelowego linku. Jeśli masz strony, na które chcesz przekazać moc, użyj innego mechanizmu blokowania niż robots.txt.
- Nie używaj robots.txt, aby zapobiec pojawieniu się danych wrażliwych (takich jak prywatne informacje o użytkowniku) w wynikach SERP. Ponieważ inne strony mogą łączyć się bezpośrednio ze stroną zawierającą prywatne informacje (w ten sposób omijając dyrektywy robots.txt na domenie głównej lub stronie głównej), nadal może zostać zindeksowana. Jeśli chcesz zablokować swoją stronę w wynikach wyszukiwania, użyj innej metody, takiej jak ochrona hasła lub dyrektywa meta noindex.
- Niektóre wyszukiwarki mają wiele agentów użytkowników. Na przykład Google wykorzystuje Googlebot do organicznego wyszukiwania, a Googlebot-Image do poszukiwania obrazów. Większość agentów użytkowników z tej samej wyszukiwarki przestrzega tych samych zasad, więc nie ma potrzeby określać wytycznych dla każdego z wielu skanerów wyszukiwania, ale posiadanie możliwości, aby to zrobić, pozwala na dopasowanie, w jaki sposób treści witryny są skanowane.
- Wyszukiwarka przechowuje zawartość robots.txt w pamięci podręcznej, ale zazwyczaj aktualizuje treści w pamięć podręczną co najmniej raz dziennie. Jeśli zmienisz plik i chcesz go zaktualizować szybciej niż to się dzieje, możesz przesłać adres URL robots.txt do Google.