Stránky zakázané v robots.txt mohou být indexovány pokud na n? vede odkaz

404m.com, 15. června 2018 ve 01:59:38, 13x přečteno

Pom?rn? zásadní informaci prozradil John Mueller na Google Webmaster Central, kterou není dobré brát na lehkou váhu, protože m?že potenciáln? zp?sobit problémy. Aktivní odkazy ze stránek mohou donutit GoogleBota, aby procrawloval i stránky, které jsou zakázané v robots.txt. Ten však vrátí prázdnou stránku, kterou teoreticky m?že za?adit do indexu.

V podstat? GoogleBot navštíví jakýkoliv odkaz, který najde na stránce. Jeho úkolem je procházet internet a hledat informace. Jde i tam, kde to má zakázané, protože hledá další odkazy, které jej posunou k dalšímu obsahu.

Zajímavá je však situace, kdy se dostane na stránku, kterou mu zakážete procházet, nap?íklad p?es robots.txt. V ten okamžik se totiž za?ne ?ídit pravidlem v robots.txt a slušn? vrátí žádný obsah – prázdnou stránku. Cht?lo by to provést pár test?, ale kdysi jsem v Google vid?l prázdné stránky. V samotném t?le (body) nebyl žádný obsah. Google vzal jen title a meta description. Pokud by to platilo i v tomto p?ípad? m?že to být potenciální bezpe?nostní hrozba. N?jakému robotovi, který takto sbírá informace, kde jsou p?ihlašovací formulá?e pom?žete.

Otázkou samoz?ejm? je jak Google pracuje s nalezeným obsahem. Když jsou tam odkazy zapo?ítá je? Jak se dívá na problémový obsah porušující pravidla? Mohou takovéto prázdné stránky poškodit image celého webu, když to dokáže velký po?et 404?

Pokračování na: 404m.com

Související články

Root.cz a Lupa.cz vyhodnocení experimentu s ru?ním schvalováním komentá??

N?kdy v lednu zavedly online magazíny Root.cz a Lupa.cz povinnou registraci pro každého, kdo chce p?idat komentá?. Navíc za?aly komentá?e ru?n?…

John Mueller – Google ignoruje odkazy z profil? a to i t?ch vytvo?ených lidmi

Na posledním English Google Webmaster Central office-hours z 19. b?ezna 2019 zodpov?d?l John Mueller zajímavou otázku: „Jak se Google chová k…

Ultimátní test webhosting? – objednávka a nasm??ování domény

Máme tu první srovnání v rámci Ultimátního testu webhosting?. Jedná se o test za?azený jako subjektivní, protože vyjad?uje m?j pohled na


Komentáře

(nezobrazuje se)