Parser.cz

Poslední dva týdny po ve?erech, když je ?as, postupn? d?lám na poslední velké aktualizaci mého posledního projektu volnedomeny.xyz. Abychom mohli sledovat jestli a jak se uchytí nTLD na ?eském internetu, bylo pot?eba zjistit na kolika z nich jsou živé weby. To jsem vy?ešil v minulé aktualizaci p?ed dv?ma týdny. Nicmén? chyb?la ješt? jedna ?ást a to zjisti, kde jsou weby hostovány. nTLD má v nabídce a aktivn? propaguje n?kolik hostingových spole?ností, ale práv? kolik web? na nTLD u nich vzniká by nám mohlo napov?d?t jak jsou úsp?šní.

P?i návrhu databáze pro crawlera jsem s tímto po?ítal. Jeho úkolem je na aktivních webech (ty co vrátí stavový kód 200) zapsat do databáze i IPv4 adresu. IPv6 není t?eba ?ešit. Jen zanedbatelné množství web? na celém Internetu používá výhradn? IPv6 a na IPv4 neodpovídá.

Sehnal jsem si databázi ISP podle ASN a rozsahy IPv4, které používají. Jenomže s tímto jsem nikdy v databázi nepracoval. Vrtalo mi hlavou jak to vymyslet. Jak si do ?ádku z tabulky procrawlovaných web?, kde je IPv4 sáhnout do tabulky ISP a podle rozsahu zjistit kam IPv4 pat?í. Pracoval jsem s ?et?zci a to nebylo zrovna ideální.

V autobuse m? napadlo, že by nejlepším ?ešením bylo p?evést IPv4 adresy na n?jaké ?ísla. Intenzivn? jsem nad tím dumal a najednou mi za?al ten nápad dávat smysl. A.B.C.D. Každé písmeno m?že mít od 0 do 255. D tedy kon?í na 255 a C za?íná na 256. Od toho byl jen kr??ek k vzorci: