Ответов: 1
Просмотров: 456
 |
Доброго времени суток. Я пытаюсь спарсить все ссылки со страницы, но даже при её скачивании получаю ошибку 429.
Пробовал использовать file_get_html от класса DOM, простое file_get_contents и curl. На данный момент поиски привели меня к тому, чтобы посылать сначала POST-запрос, и лишь затем, вставляя скопированное содержание заголовков GET, пытаться парсить. Я взял функцию вот отсюда.
Но это ни к чему не привело, т.к. после выполнения POST-запроса тело остаётся пустым (xdebug показал, что $post==0).
На сайте из примера функция работает. Значит, на домене, который нужно парсить мне, использованы какие-то ещё меры защиты.
Сразу оговорюсь, что флудить запросами на домен я не намерен. Можно поставить задержку между "кликами" хоть в 10 секунд.
К управлению доменом я отношения не имею, т.ч. могу использовать только сам парсер.
Подскажите, пожалуйста, что ещё можно использовать. |
Главная
Помощь
Поиск
Пользователи
Найдено сообщений: 2
