Parser.cz

Jak jsem nedávno slíbil na cn130, při výpadku hostingu, tak i plním. Projekt W8, který je zařazen pod další projekty na cybersquatting.cz byl aktualizován. Nově si můžete zkontrolovat zpětné odkazy vedoucí na více jak 260 tisíc domén. Crawler i přepočet má ještě nějaké ty mouchy, ale už má dostatek dat, aby se dal orientačně použít.

W8 je postaven na autoritě domény, tedy že body za zpětné odkazy dostává pouze ona, nikoliv jednotlivé stránky. Asi největší nepořádek to dělá u subdomén a domén .co.uk apod. Byly procházeny jen titulní stránky webů. Uvažoval jsem i o podstránkách, ale na to je myslím ještě čas.

Aby jsem se dostal dál než posledně, musel jsem pustit robota W8:crawler i na jiné TLD než .cz. Že zabloudí na Slovensko mi nevadilo. S tím jsem počítal. Ostatně weby Česko-Slovenska jsou stále provázány. Problém mi začali dělat asijské weby. Nedokážu teď říci jak se mi tam robot zatoulal, ale pořádné jej to zpomalilo. Když crawlujete velké množství stránek jeden z problémů je rychlost. Nedělají vám problém přenesená data, ale odezva. A asijské weby jsou ohledně odezvy opravdu strašné. Čekáte i několik vteřin na odpověď. Kvůli nim jsem musel stáhnout limit na 6 vteřin. Původně byl 12 a problém to nedělalo, protože jen velmi málo serverů za tuto dobu neodpoví. Jenomže před robotem najednou byla výzva v podobě stovek pomalých webů.

Další problém bylo jak rozeznat český web od nečeského. Jen málo z nich používá . Postupem času jsem se dopracoval k postupné selekci, kdy jsem testoval přítomnost jazyka, kódování a výskyt diakritiky. Jenomže různá kódování různé znaky. Tady má můj robot stále problém a čeká mě výzva v podobě jeho vylepšení.