Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/topic.php on line 737
Форумы портала PHP.SU :: Как загрузить сайт, если он блокирует твой запрос?

 PHP.SU

Программирование на PHP, MySQL и другие веб-технологии
PHP.SU Портал     На главную страницу форума Главная     Помощь Помощь     Поиск Поиск     Поиск Яндекс Поиск Яндекс     Вакансии  Пользователи Пользователи


 Страниц (1): [1]   

> Без описания
Itan
Отправлено: 06 Октября, 2016 - 09:48:56
Post Id


Частый гость


Покинул форум
Сообщений всего: 199
Дата рег-ции: Окт. 2008  


Помог: 0 раз(а)




Здравствуйте! Есть на яндексе сервис по продаже автомобилей. У каждой марки есть модели, у каждой модели есть года выпуска. У каждого года выпуска своя средняя цена.

Задача: вытянуть среднюю цену на автомобиль с сайта auto.yandex.ru

Как делал я: через file_get_contents загружаю исходный код страницы, где есть средняя цена. С помощью регулярного выражения вырезаю цену.

Все работает, но если например, мне нужно узнать среднюю цену на 30 автомобилей, получается, что мой скрип грузит 30 страниц с яндекса, и яндекс блокирует. Если бы мы смотрели это в браузере, яндекс предложил бы нам ввести каптчу для дальнейшей работы. Я не знаю как делается эта блокировка - по IP я думаю. А как это обойти моему сценарию? Куда идти читать?
 
 Top
Fart
Отправлено: 12 Октября, 2016 - 00:45:55
Post Id



Посетитель


Покинул форум
Сообщений всего: 324
Дата рег-ции: Июль 2016  


Помог: 10 раз(а)




если ты получаешь в ответ блок ( ?!?!?! Однако ): подозреваю, что стоит некая защита от спама (dos). я не рискну что-то утверждать: как именно ты сделал запрос и верно ли, что делает яндекс в ответ и прочее, но предположу, что стоит ограничение по коилчеству запрашиваемых страниц в сек.

а вот как обойти... запрашивай только ту страницу, к которой не будет "прилеплена" другая... но это, я скажу, тебе будет крайне сложно сделать
 
 Top
Страниц (1): [1]
Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)
« Вопросы новичков »


Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.
 



Powered by PHP  Powered By MySQL  Powered by Nginx  Valid CSS  RSS

 
Powered by ExBB FM 1.0 RC1. InvisionExBB