Stránky zakázané v robots.txt mohou být indexovány pokud na n? vede odkaz

404m.com, 15. června 2018 ve 01:59:38, 6x přečteno

Pom?rn? zásadní informaci prozradil John Mueller na Google Webmaster Central, kterou není dobré brát na lehkou váhu, protože m?že potenciáln? zp?sobit problémy. Aktivní odkazy ze stránek mohou donutit GoogleBota, aby procrawloval i stránky, které jsou zakázané v robots.txt. Ten však vrátí prázdnou stránku, kterou teoreticky m?že za?adit do indexu.

V podstat? GoogleBot navštíví jakýkoliv odkaz, který najde na stránce. Jeho úkolem je procházet internet a hledat informace. Jde i tam, kde to má zakázané, protože hledá další odkazy, které jej posunou k dalšímu obsahu.

Zajímavá je však situace, kdy se dostane na stránku, kterou mu zakážete procházet, nap?íklad p?es robots.txt. V ten okamžik se totiž za?ne ?ídit pravidlem v robots.txt a slušn? vrátí žádný obsah – prázdnou stránku. Cht?lo by to provést pár test?, ale kdysi jsem v Google vid?l prázdné stránky. V samotném t?le (body) nebyl žádný obsah. Google vzal jen title a meta description. Pokud by to platilo i v tomto p?ípad? m?že to být potenciální bezpe?nostní hrozba. N?jakému robotovi, který takto sbírá informace, kde jsou p?ihlašovací formulá?e pom?žete.

Otázkou samoz?ejm? je jak Google pracuje s nalezeným obsahem. Když jsou tam odkazy zapo?ítá je? Jak se dívá na problémový obsah porušující pravidla? Mohou takovéto prázdné stránky poškodit image celého webu, když to dokáže velký po?et 404?

Pokračování na: 404m.com

Související články

Je ještě rozdíl mezi follow a nofollow odkazem?

Dneska nemůžu najít nikde žádnou zajímavost o které by se dalo napsat něco užitečného a tak procházím google webmaster tools a analytics,…

Jak reaguje Google na chybu 503

Stavový kód 503 v?tšinou ukazuje na p?etížený server anebo vy?erpání p?id?lených serverových prost?edk?. Za touto chybou však nemusí stát…

8 způsobů jak vydělávat na internetu

V článku se dozvíš základní informace o různých způsobech jak vydělat peníze na internetu. Některé možnosti používají internet jen…


Komentáře

(nezobrazuje se)