Всем привет!
Мне нужно вытащить базу адресов с сайта.
Сайт на https
Делаю с помощью curl все
На разовых запросах работает отлично
При многочастотном запросе сайт блокирует меня, походу навечно
Если сразу меняю сеть интернета (в данном случае на моб интернет), то все работает, при повторе многочастотного запроса опять блокировка.
Это навело меня на мысль, что если иметь возможность менять ip адреса, то можно обмануть блокировку.
Что скажете? Есть такая возможность? Кто-то сталкивался с такой проблемой?
Заранее спасибо.
1. Serhio - 26 Декабря, 2016 - 01:31:45 - перейти к сообщению
2. skiphog - 26 Декабря, 2016 - 07:38:19 - перейти к сообщению
Посмотрите здесь https://youtu[dot]be/EBfQa8NkJbA?lis[dot][dot][dot]b3s_hnJDEuYHQFBr
Как раз про подмену ip адресов при парсинге
Как раз про подмену ip адресов при парсинге
3. lamokk - 28 Декабря, 2016 - 14:14:41 - перейти к сообщению
В curl-е есть опция proxy.
Найди с десяток прокси и меняй при каждом новом запросе.
Найди с десяток прокси и меняй при каждом новом запросе.