Форумы портала PHP.SU :: Мир сошел с ума. Противостояние сайтов парсеру.

Привет, народ. В общем, тут такое дело...или у меня что-то уже с головой, или я чего-то тайного не знаю.

Суть такова: написал я парсер (убогонький, наверняка, зато свой- родной) , что бы забирать ссылки на нужные мне тендеры с официального сайта государственных закупок zakupki.gov.ru . Колдовал я, колдовал в итоге парсер начал приносить мне ссылочки.

Но проблема в том, что каким-то непостижимым образом ссылки ведут на заглушку "Страница не существует". Я конечно сразу подумал на тему проверки ребятами с закупок.гов.ру хоста с которого я пришел, или что-то подобное и если он не их то редирект куда-нибудь подальше..но! даже если просто скопировать ссылку мою, то есть полученную парсером и их ссылку в адресную строку, а потом пройти по ним, то родная ссылка ведет куда нужно, а моя на заглушку.

У меня осталась последняя дикая мысль... если они понимают, что пришел не человек а бот, то каким-то образом меняются некоторые латинские символы на русские...не смейтесь, но более мне предположить нечего)))

Да сами посмотрите вот две ссылки:

Их ссылка: http://zakupki[dot]gov[dot]ru/223/purcha[dot][dot][dot]435&epz=true

Моя ссылка: http://zakupki[dot]gov[dot]ru/223/purcha[dot][dot][dot]435&epz=true

Они абсолютно одинаковы.

У вас какие-нибудь предположения? Может ли такое вообще быть, или это нечто о чем я не знаю? Всем спасибо.

Решено: В общем, я лохе и параноик, никому я не нужен со своим полумертвым парсером)) видимо дело было в кодировке т.к. кое-где я приводил результат в нижний регистр таким образом

CODE (htmlphp):
скопировать код в буфер обмена

$key2=mb_strtolower($key2,'UTF-8');

(Отредактировано автором: 04 Сентября, 2014 - 02:43:44)