Пытаюсь спарсить с сайта все email-адреса. Парсить пытался без CURLа, просто через file_get_content, использовал ajax, ставил рандомное время таймаута между открытием страниц, в результате - на n-ной странице (10 - 15) получал бан по IP на сутки. Сайт несколько раз лежал от DDOSа. Возможно это как то связано с анти-DDOS системой.
Слышал, что такие вещи лучше делать через CURL, только вот изменит ситуацию его использование - не знаю.
1. fofan1988 - 25 Ноября, 2013 - 14:32:05 - перейти к сообщению
2. caballero - 25 Ноября, 2013 - 14:41:59 - перейти к сообщению
не изменит
сайту все равно чем контент выкачивается
сайту все равно чем контент выкачивается
3. EuGen - 25 Ноября, 2013 - 15:02:39 - перейти к сообщению
fofan1988 пишет:
Слышал, что такие вещи лучше делать через CURL, только вот изменит ситуацию его использование - не знаю.
А я слышал, что e-mail адреса с веб-страниц собирают те, кто занимается спам-рассылками.