Czego szukasz?

Jeżeli szukasz odpowiedzi na pytania związane z SEO lub Wordpressem wpisz frazę i czekaj na podpowiedzi lub kliknij enter! Wyniki pokazują także linki do zewnętrznych źródeł.

163 artykułów w bazie

Blokowanie indeksowania strony czyli Robots.txt i Meta robots – porównanie4 min read

4 min read" > blokowanie-google

W tym artykule poruszymy jak skonstruowany jest plik robots.txt w WordPress czym jest noindex w robots.txt oraz czym różni się od meta robots. Dodatkowo opiszemy co zrobić gdy strona jest zindeksowana, ale zablokowana przez plik robots.txt.

Każdy z posiadaczy strony internetowej chce, aby jej zasoby były jak najlepiej widoczne w wynikach wyszukiwania. Ale co, jeśli chcemy, by konkretne katalogi lub strony, które, np. posiadają poufną, treść były ukryte dla robotów? W tym artykule porównane będą dwie techniki – użycia pliku robots.txt oraz tagów Meta robots. Który z nich i w jaki sposób powinien być stosowany?

Plik robots.txt informuje roboty wyszukiwarek internetowych, jak mają postępować podczas indeksowania Twojej strony. Domyślnie roboty są bardzo łakome na treść. Chcą zaindeksować jak największą liczbę wysokiej jakości contentu i uważają, że powinny pobierać wszystko, jeśli im tego nie zabroniono. Z biegiem czasu algorytmy stosowane w robotach potrafią odróżnić wartościową (wartą zaindeksowania) treść jednak dla pewności zadbanie o ten aspekt będzie dobrym posunięciem.

Ważną częścią tworzenia efektywnego pliku robots.txt jest wcześniejsze przyjęcie odpowiedniej strategii. Oto kilka najczęściej popełnianych błędów:

  1. umieszczanie dat w adresach URL
  2. brak kończącego adresy URL katalogów lub zaczynającego wszystkie adresy slah-a (/)
  3. nazywanie pliku dużymi literami (np. Robots.txt)
  4. brak pliku na poszczególnych subdomenach serwisu
  5. używanie pliku jako środka bezpieczeństwa – należy pamiętać, że niektóre z robotów zupełnie ignorują ten plik (np. spamboty)
  6. stosowanie wielu reguł Disallow/Allow w jednej linii

Uwaga! Należy pamiętać, że jeżeli wykluczymy dla wszystkich robotów (User-agent: *) konkretny katalog lub stronę i dodatkowo zostaną wyszczególnione wyjątki dla poszczególnych robotów (np. Googlebot) wtedy ustawienia globalne będą przez nie zignorowane.

robots-txt

Źródło:www.searchenginejournal.com

Brak pliku robots.txt będzie wiązało się z tym, że logi serwera będą zwracały błąd 404 za każdym razem, kiedy dany robot będzie poszukiwał pliku. Rozwiązaniem jest stworzenie pustego pliku z nazwą „robots.txt”. Wiele osób stosuje ten plik także do wskazywania mapy strony, ale jeśli strona posiada dobrą strukturę linkowania wewnętrznego nie jest to konieczne – polecam artykuł „Internal Link – Best Practices SEO„.

Przykłady zastosowania reguł w pliku robots.txt

Zablokowanie katalogu

Zablokowanie konkretnej podstrony

Zablokowanie wszystkich plików z rozszerzeniem .php (znak $ jako zakończenie)

Zablokowanie katalogów z nazwą „private” na początku

Zablokowanie wszystkich adresów zawierających „?”

Google pokazuje w SERP adresy URL wyników wyszukiwania wewnętrznej wyszukiwarki strony. Prowadzi to do strat w Pageranku oraz do znacznego duplikowania treści i jeżeli strona nie posiada dużego page authority zalecane jest zablokowanie robotów w tym obszarze. Jak to zrobić? Zależy to oczywiście od sposobu, w jaki generowane są adresy wyników wyszukiwania na naszej witrynie. Przykładowo:

Dodanie do pliku robots.txt zablokuje Googla w tej strefie

  • Dla Drupal-a analogicznie zastosujemy „/search/node/”

Dlaczego Meta robots jest lepszy od robots.txt?

Blokując konkretne adresy URL za pomocą robots.txt poprzez dodanie „Disallow: /strona.html” może spowodować, że będą one dalej pojawiać się w wynikach jako wylistowane adresy URL. Dlatego lepszym rozwiązaniem jest kompletne zablokowanie indeksowania strony poprzez zastosowanie tagu noindex. Kolejnym aspektem jest przekazywanie „mocny strony”, który świetnie opisuje poniższy obrazek:

robots-txt-blocks-link-juice

Źródło: moz.com

Stosowanie:

Meta robots noindex

lub jeśli stosujemy razem z nofollow

Meta robots nofollow

lub jeśli stosujemy razem z noindex

Strona skanowana przez Googlebot?Info blokowania wyświetlane w indeksie?Strona przekazuje PageRank?Ryzyko? Strata?
Robots.txtNIE
TAK – jeżeli linkujemy ze strony ten plik może się pojawić jego adres URL.NIE

Każdy może wejść w Twój plik robots.txt i wywnioskować, której treści nie chcesz indeksować. Bardzo trzeba uważać na składnię ponieważ wystąpić mogą nieoczekiwane rezultaty.

Meta robots noindex tagTAKNIE TAK – mimo tego, że strona nie jest w indeksie to potrafi przekazać swoją moc

Strony z tagiem noindex dalej są skanowane przez robota Googla nawet jeśli nie występują w wynikach wyszukiwania.

Strona, która stosuje noindex+nofollow używana jest do kumulowania PageRanku (nie przekazuje go innym stronom).

Meta robots nofollow tag TAK – jeśli podlinkowana jest z innej strony TAK – jeśli podlinkowana jest z innej stronyNIE

Raczej brak. Stosowany wtedy, gdy dążysz do uzyskania pewnego poziomu PageRank i nie chcesz, by strona przekazywała go dalej.

Tabela podsumowująca działanie dwóch technik blokowania robotów

Wojciech Władziński

O Wojciech Władziński

Branżą SEO zajmuję się od 2008 roku. Na co dzień starszy specjalista ds. SEO w firmie Seogroup. Tworzę i optymalizuję duże serwisy jak i mniejsze strony internetowe. Szczególnie upodobałem sobie środowisko WordPressa, który mimo powszechnej opinii nie jest tylko platformą blogową.

Czytaj również

Jak z głową wybrać szablon do WordPressa? Jedną z większych plusów Wordpressa jest dostęp do masy wtyczek oraz szablonów. Jednak tak duża ilość może przysporzyć dużo problemów z ich wyborem. D...
Zestawienie blogów o SEO i WordPressie Dziś przedstawiam zbiór według mnie najciekawszych blogów oraz serwisów ściśle związanych z tematyką WordPressa oraz SEO. Polskie blogi o SEO: Z...
Jak wdrożyć do WordPressa atrybut hreflang Jeżeli posiadacie stronę wielojęzyczną warto wiedzieć w jaki sposób oznaczyć poszczególne wersje językowe aby Google był w stanie bezbłędnie wykryć, k...
Przykład konfiguracji wtyczki SEO by YOAST Wtyczek, które mają pomóc nam zoptymalizować naszą witrynę zgodnie z wymaganiami Google, jest wiele. Niestety część z nich działa w niewłaściwy sposób...

16 komentarzy

  1. Pytanie. Co jeśli chciałbym uruchomić stronę typowo intranetową. Nie chcę żeby google bot ją indeksował ani żeby była dostępna w wynikach wyszukiwania. Mało tego „nie chcę” to trochę mało powiedziane, bardzo zależy mi na bezpieczeństwie danych, dlatego strona nie może być widoczna na zewnątrz?

    Z góry dziękuje za pomoc!

  2. Witam,

    Po jakim czasie w goolge będzie widać efekty wprowadzeni meta tagów? Po jakim czasie faktycznie obniży się ranking lub strona zniknie z listy wyników wyszukowania google?

    Z góry dzięki za poświęcony czas.
    Pozdrawiam,
    Mateusz

  3. Pytanko – podstrona zawiera opis plus linki do innych stron – jest robot.txt na niej
    Czy linki będące na niej pozycjonują stronę do których prowadzą (tzn. linki w opisie na tej w/w podstronie blokowanej przed indeksowaniem jej?)

  4. Witam,
    chyba dobrze trafiłam 🙂 Potrzebuje, aby moja strona www była wyświetlana w górnych miejscach wyszukiwarki, czyli używając profesjonalnego języka zależy mi na pozycjonowaniu strony. Ostatnio napotkałam http://mateusz-kozlowski.pl/ co myślicie na ten temat ? Czy warto skorzystać z ich usług jaka jest wasza opinia ?

Zostaw odpowiedź

Email nie będzie publikowany. Wymagane pola są oznaczone *

Możesz używać tych tagów HTML <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code class="" title="" data-url=""> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong> <pre class="" title="" data-url=""> <span class="" title="" data-url="">

Oferuję szereg usług związanych z WordpressemSPRAWDŹ OFERTĘ
Przeczytaj inne:
wilof
Zdrowy rozsądek w podejściu do SEO i nie tylko

Temat SEO nie znika, a wręcz przeciwnie. Powraca niczym bumerang po to, aby nas dręczyć. Co rusz słyszymy o kolejnych...

Zamknij