Í fyrradag tók ég eftir því að apache processarnir á servernum voru komnir með ansi háan uppsafnaðan keyrslutíma miðað við venjulega. Þegar ég skoðaði þetta betur sá ég að vélar frá þremur ip tölum [213.190.100.85, 213.190.100.86,213.190.100.87 ] voru að þræða opna Vantrúarspjallið af ansi miklu kappi. Eftir að hafa sannfært mig um að þarna væru bottar á ferð en ekki manneskjur lokaði ég fyrir aðgang þessara véla (og allra á sama neti) að vefnum með stillingum á vefþjóninum. Þrátt fyrir það streyma fyrirspurnirnar áfram þó svarið sé alltaf 403.

Ég prófaði að athuga hvort það væri vefþjónn á þessari ip tölu og svo reyndirst vera. Eftir örstutta skoðun sá ég að þessi leitarvél er með samning við leit.is og framkvæmdarstjórinn er íslendingur. Ég sendi því póst á vefstjóra leit.is í gær og bað þá um að skoða þetta en hef ekki fengið svar ennþá (til að vera sanngjarn verður að geta þess að þeir hafa ekki fengið langan tíma til að svara).

Bottarnir sem skanna vefinn gera það á fölskum forsendum, þ.e.a.s. þeir þykjast vera browserar ["Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)"] og þeir hunsa robots.txt, skoða hana ekki einu sinni. Spjallið á Vantrú er sérstaklega tiltekið í robots.txt sem svæði sem leitarvélar eiga ekki að skoða. Vel getur verið að þessi mikla traffík á Vantrúarspjallið sé mistök, en það eru augljóst að það er með vilja gert sem bottarnir hunsa robots.txt og flakka um á fölskum forsendum.

Þetta er skammarlegt og vona ég að leit.is ræði við þessa aðila og færi viðskipti sín annað ef þeir breyta ekki hegðun sinni.