Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/topic.php on line 737
Форумы портала PHP.SU :: Ошибка 429 при одном запросе парсера

 PHP.SU

Программирование на PHP, MySQL и другие веб-технологии
PHP.SU Портал     На главную страницу форума Главная     Помощь Помощь     Поиск Поиск     Поиск Яндекс Поиск Яндекс     Вакансии  Пользователи Пользователи


 Страниц (1): [1]   

> Описание: Вне зависимости от используемых средств ошибка Too many requests.
KOHTPOJIEP
Отправлено: 24 Августа, 2016 - 17:55:26
Post Id


Новичок


Покинул форум
Сообщений всего: 2
Дата рег-ции: Авг. 2016  


Помог: 0 раз(а)




Доброго времени суток. Я пытаюсь спарсить все ссылки со страницы, но даже при её скачивании получаю ошибку 429.
Пробовал использовать file_get_html от класса DOM, простое file_get_contents и curl. На данный момент поиски привели меня к тому, чтобы посылать сначала POST-запрос, и лишь затем, вставляя скопированное содержание заголовков GET, пытаться парсить. Я взял функцию вот отсюда.
Но это ни к чему не привело, т.к. после выполнения POST-запроса тело остаётся пустым (xdebug показал, что $post==0).
На сайте из примера функция работает. Значит, на домене, который нужно парсить мне, использованы какие-то ещё меры защиты.
Сразу оговорюсь, что флудить запросами на домен я не намерен. Можно поставить задержку между "кликами" хоть в 10 секунд.
К управлению доменом я отношения не имею, т.ч. могу использовать только сам парсер.
Подскажите, пожалуйста, что ещё можно использовать.
 
 Top
KOHTPOJIEP
Отправлено: 29 Августа, 2016 - 00:42:34
Post Id


Новичок


Покинул форум
Сообщений всего: 2
Дата рег-ции: Авг. 2016  


Помог: 0 раз(а)




Решено здесь.
 
 Top
Страниц (1): [1]
Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)
« Вопросы новичков »


Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.
 



Powered by PHP  Powered By MySQL  Powered by Nginx  Valid CSS  RSS

 
Powered by ExBB FM 1.0 RC1. InvisionExBB