Czego szukasz?

Jeżeli szukasz odpowiedzi na pytania związane z SEO lub Wordpressem wpisz frazę i czekaj na podpowiedzi lub kliknij enter! Wyniki pokazują także linki do zewnętrznych źródeł.

2935 artykułów w bazie

Blokowanie indeksowania strony czyli Robots.txt i Meta robots – porównanie

Każdy z posiadaczy strony internetowej chce, aby jej zasoby były jak najlepiej widoczne w wynikach wyszukiwania. Ale co, jeśli chcemy, by konkretne katalogi lub strony, które, np. posiadają poufną, treść były ukryte dla robotów? W tym artykule porównane będą dwie techniki – użycia pliku robots.txt oraz tagów Meta robots. Który z nich i w jaki sposób powinien być stosowany?

Plik robots.txt informuje roboty wyszukiwarek internetowych, jak mają postępować podczas indeksowania Twojej strony. Domyślnie roboty są bardzo łakome na treść. Chcą zaindeksować jak największą liczbę wysokiej jakości contentu i uważają, że powinny pobierać wszystko, jeśli im tego nie zabroniono. Z biegiem czasu algorytmy stosowane w robotach potrafią odróżnić wartościową (wartą zaindeksowania) treść jednak dla pewności zadbanie o ten aspekt będzie dobrym posunięciem.

Ważną częścią tworzenia efektywnego pliku robots.txt jest wcześniejsze przyjęcie odpowiedniej strategii. Oto kilka najczęściej popełnianych błędów:

  1. umieszczanie dat w adresach URL
  2. brak kończącego adresy URL katalogów lub zaczynającego wszystkie adresy slah-a (/)
  3. nazywanie pliku dużymi literami (np. Robots.txt)
  4. brak pliku na poszczególnych subdomenach serwisu
  5. używanie pliku jako środka bezpieczeństwa – należy pamiętać, że niektóre z robotów zupełnie ignorują ten plik (np. spamboty)
  6. stosowanie wielu reguł Disallow/Allow w jednej linii

Uwaga! Należy pamiętać, że jeżeli wykluczymy dla wszystkich robotów (User-agent: *) konkretny katalog lub stronę i dodatkowo zostaną wyszczególnione wyjątki dla poszczególnych robotów (np. Googlebot) wtedy ustawienia globalne będą przez nie zignorowane.

robots-txt

Źródło:www.searchenginejournal.com

Brak pliku robots.txt będzie wiązało się z tym, że logi serwera będą zwracały błąd 404 za każdym razem, kiedy dany robot będzie poszukiwał pliku. Rozwiązaniem jest stworzenie pustego pliku z nazwą „robots.txt”. Wiele osób stosuje ten plik także do wskazywania mapy strony, ale jeśli strona posiada dobrą strukturę linkowania wewnętrznego nie jest to konieczne – polecam artykuł „Internal Link – Best Practices SEO„.

Przykłady zastosowania reguł w pliku robots.txt

Zablokowanie katalogu

Zablokowanie konkretnej podstrony

Zablokowanie wszystkich plików z rozszerzeniem .php (znak $ jako zakończenie)

Zablokowanie katalogów z nazwą „private” na początku

Zablokowanie wszystkich adresów zawierających „?”

Google pokazuje w SERP adresy URL wyników wyszukiwania wewnętrznej wyszukiwarki strony. Prowadzi to do strat w Pageranku oraz do znacznego duplikowania treści i jeżeli strona nie posiada dużego page authority zalecane jest zablokowanie robotów w tym obszarze. Jak to zrobić? Zależy to oczywiście od sposobu, w jaki generowane są adresy wyników wyszukiwania na naszej witrynie. Przykładowo:

  • Dla WordPress-a będzie to „?s=”

Dodanie do pliku robots.txt zablokuje Googla w tej strefie

  • Dla Drupal-a analogicznie zastosujemy „/search/node/”

Dlaczego Meta robots jest lepszy od robots.txt?

Blokując konkretne adresy URL za pomocą robots.txt poprzez dodanie „Disallow: /strona.html” może spowodować, że będą one dalej pojawiać się w wynikach jako wylistowane adresy URL. Dlatego lepszym rozwiązaniem jest kompletne zablokowanie indeksowania strony poprzez zastosowanie tagu noindex. Kolejnym aspektem jest przekazywanie „mocny strony”, który świetnie opisuje poniższy obrazek:

robots-txt-blocks-link-juice

Źródło: moz.com

Stosowanie:

Meta robots noindex

lub jeśli stosujemy razem z nofollow

Meta robots nofollow

lub jeśli stosujemy razem z noindex

Strona skanowana przez Googlebot? Info blokowania wyświetlane w indeksie? Strona przekazuje PageRank? Ryzyko? Strata?
Robots.txt NIE
TAK – jeżeli linkujemy ze strony ten plik może się pojawić jego adres URL. NIE

Każdy może wejść w Twój plik robots.txt i wywnioskować, której treści nie chcesz indeksować. Bardzo trzeba uważać na składnię ponieważ wystąpić mogą nieoczekiwane rezultaty.

Meta robots noindex tag TAK NIE TAK – mimo tego, że strona nie jest w indeksie to potrafi przekazać swoją moc

Strony z tagiem noindex dalej są skanowane przez robota Googla nawet jeśli nie występują w wynikach wyszukiwania.

Strona, która stosuje noindex+nofollow używana jest do kumulowania PageRanku (nie przekazuje go innym stronom).

Meta robots nofollow tag TAK – jeśli podlinkowana jest z innej strony TAK – jeśli podlinkowana jest z innej strony NIE

Raczej brak. Stosowany wtedy, gdy dążysz do uzyskania pewnego poziomu PageRank i nie chcesz, by strona przekazywała go dalej.

Tabela podsumowująca działanie dwóch technik blokowania robotów

Wojciech Władziński

O Wojciech Władziński

Branżą SEO zajmuję się od 2008 roku. Na co dzień specjalista ds. SEO w firmie Virtal. Tworzę i optymalizuję duże serwisy jak i mniejsze strony internetowe. Szczególnie upodobałem sobie środowisko WordPressa, który mimo powszechnej opinii nie jest tylko platformą blogową.
Udostępnij na: Share on FacebookShare on Google+Tweet about this on TwitterShare on LinkedIn

14 komentarzy

  1. Pytanie. Co jeśli chciałbym uruchomić stronę typowo intranetową. Nie chcę żeby google bot ją indeksował ani żeby była dostępna w wynikach wyszukiwania. Mało tego „nie chcę” to trochę mało powiedziane, bardzo zależy mi na bezpieczeństwie danych, dlatego strona nie może być widoczna na zewnątrz?

    Z góry dziękuje za pomoc!

  2. Witam,

    Po jakim czasie w goolge będzie widać efekty wprowadzeni meta tagów? Po jakim czasie faktycznie obniży się ranking lub strona zniknie z listy wyników wyszukowania google?

    Z góry dzięki za poświęcony czas.
    Pozdrawiam,
    Mateusz

    • Wojciech Władziński

      Hej,

      Bez żadnych akcji z Pana strony będzie to zależało od popularności strony i jak często robot Google odwiedza Pana stronę. Natomiast może Pan sprowadzić go poprzez Search Console. Proszę wejść w Indeksowanie => Pobierz jako Google

  3. Pytanko – podstrona zawiera opis plus linki do innych stron – jest robot.txt na niej
    Czy linki będące na niej pozycjonują stronę do których prowadzą (tzn. linki w opisie na tej w/w podstronie blokowanej przed indeksowaniem jej?)

Zostaw odpowiedź

Email nie będzie publikowany. Wymagane pola są oznaczone *

Możesz używać tych tagów HTML <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">

Oferuję szereg usług związanych z WordpressemSPRAWDŹ OFERTĘ
Przeczytaj inne:
Atrakcyjne strony autorów i ich prezentacja na witrynie

Autorzy naszego bloga, strony to tak naprawdę kolumny, na których ona stoi. Są jednym z najistotniejszych elementów sukcesu witryny. Dlatego...

Zamknij