Parser.cz

?ím více odkaz? na váš web vede, tím více r?zných automatických robot? jej navšt?vuje. Ve v?tšin? p?ípad? se jedná o neškodné automatické skripty, které jen sbírají data. Ovšem n?kdy se mohou splašit a nad?lat celkem dost problém?. Ostatn? b?žný web navštíví za den desítky i klidn? stovky z nich. P?ístupy jak se k nim zachovat se r?zní. N?kdo doporu?uje jít cestou whitelistování a n?kdo preferuje svobodu a blacklisty.

Nejznám?jší jsou web crawle?i jako je t?eba Googlebot anebo Seznambot. Prochází si a stahují data z vašeho webu, aby jej mohli zpracovaný uložit do databáze a za?adit do svého indexu. Pokud chcete být ve vyhledáva?ích tak jim musíte povolit návšt?vu.

Pak tu máme feed fetchery. Ti hledají na vašem webu RSS kanál. V?tšinou se jedná o roboty r?zných ?te?ek, ale ob?as p?es n? m?že n?kdo kopírovat obsah vašeho webu a vydávat jej za sv?j. Proto byste p?es RSS m?li zobrazovat maximáln? perex anebo prvních pár v?t.

Monitorovací boti pat?í nej?ast?ji službám na sledování dostupnosti webu. Cht?jí zjistit zdali je stránka dostupná, pokud ano tak jestli se na ní nenachází n?jaký chyba. Monitorovací boti se snaží být ke stránce ohleduplní a ?asto stahují jen hlavi?ku stránky. Teprve p?i nalezení problému provedou komplexní analýzu a hledají kde by mohl být problém (ping, trasování atd.). Problém je že když se na jednom fyzickém serveru nachází velké množství web?, které používají stejný monitoring, tak mohou být ochranou vyhodnoceny jako útok.