Parser.cz

Pom?rn? zásadní informaci prozradil John Mueller na Google Webmaster Central, kterou není dobré brát na lehkou váhu, protože m?že potenciáln? zp?sobit problémy. Aktivní odkazy ze stránek mohou donutit GoogleBota, aby procrawloval i stránky, které jsou zakázané v robots.txt. Ten však vrátí prázdnou stránku, kterou teoreticky m?že za?adit do indexu.

V podstat? GoogleBot navštíví jakýkoliv odkaz, který najde na stránce. Jeho úkolem je procházet internet a hledat informace. Jde i tam, kde to má zakázané, protože hledá další odkazy, které jej posunou k dalšímu obsahu.

Zajímavá je však situace, kdy se dostane na stránku, kterou mu zakážete procházet, nap?íklad p?es robots.txt. V ten okamžik se totiž za?ne ?ídit pravidlem v robots.txt a slušn? vrátí žádný obsah – prázdnou stránku. Cht?lo by to provést pár test?, ale kdysi jsem v Google vid?l prázdné stránky. V samotném t?le (body) nebyl žádný obsah. Google vzal jen title a meta description. Pokud by to platilo i v tomto p?ípad? m?že to být potenciální bezpe?nostní hrozba. N?jakému robotovi, který takto sbírá informace, kde jsou p?ihlašovací formulá?e pom?žete.

Otázkou samoz?ejm? je jak Google pracuje s nalezeným obsahem. Když jsou tam odkazy zapo?ítá je? Jak se dívá na problémový obsah porušující pravidla? Mohou takovéto prázdné stránky poškodit image celého webu, když to dokáže velký po?et 404?