PHP.SU

Программирование на PHP, MySQL и другие веб-технологии

PHP.SU Портал

Главная

Помощь

Поиск

Поиск Яндекс Вакансии

Пользователи

Здравствуйте, Гость

( Вход · Регистрация · Правила форума )

Забыли пароль?

вопрос по использованию CURL

Форумы портала PHP.SU » PHP » Программирование на PHP » Вопросы новичков (Модераторы: OrmaJever, Саныч, Строитель)

Страниц (1): [1]

Без описания

Поиск в теме | Версия для печати

sum41	Отправлено: 25 Июня, 2016 - 20:55:06
Новичок Покинул форум Сообщений всего: 1 Дата рег-ции: Июнь 2016 Помог: 0 раз(а)	Доброго времени суток! Если использовать вот такой код для того чтобы взять информацию с различных сайтов, владельцы этих сайтов могут узнать что у них берут информацию с определенного IP адреса и забанить за это? (мне нужно цены с некоторых сайтов периодически брать, нечасто) PHP: скопировать код в буфер обмена $url = 'http://www.site_url.ru'; $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, $url); curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 5.1) AppleWebKit/535.6 (KHTML, like Gecko) Chrome/16.0.897.0 Safari/535.6'); curl_setopt($ch, CURLOPT_HEADER, true); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 30); curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); curl_setopt($ch, CURLOPT_REFERER, $url); curl_setopt($ch, CURLOPT_COOKIEFILE, ''); curl_setopt ($ch, CURLOPT_SSL_VERIFYPEER, 0); curl_setopt ($ch, CURLOPT_SSL_VERIFYHOST, 0); $content = curl_exec($ch); curl_close($ch); echo($content);

Prizma	Отправлено: 26 Июня, 2016 - 13:48:36
Посетитель Покинул форум Сообщений всего: 463 Дата рег-ции: Июнь 2012 Откуда: Санкт-Петербург Помог: 5 раз(а)	sum41 пишет: владельцы этих сайтов могут узнать что у них берут информацию с определенного IP адреса и забанить за это? на сайтах не разу не встречал баны за большой трафик в течении дня, а вот если ты пытаешься эту информацию получить за 1 секунду, те. множественные запросы в секунду. То часть запросов могут отсеить или даже добавить тебя в банлист на какое то время ... Парси на здоровья, но так, чтобы твой парс не приняли за DDOS, те делай не больше 1-3 запросов в секунду.

chugusov	Отправлено: 27 Июня, 2016 - 20:17:49
Новичок Покинул форум Сообщений всего: 5 Дата рег-ции: Июнь 2016 Помог: 0 раз(а)	Prizma пишет: sum41 пишет: владельцы этих сайтов могут узнать что у них берут информацию с определенного IP адреса и забанить за это? на сайтах не разу не встречал баны за большой трафик в течении дня, а вот если ты пытаешься эту информацию получить за 1 секунду, те. множественные запросы в секунду. То часть запросов могут отсеить или даже добавить тебя в банлист на какое то время ... Парси на здоровья, но так, чтобы твой парс не приняли за DDOS, те делай не больше 1-3 запросов в секунду. 3 Истину глаголит!

Поиск в теме | Версия для печати

Страниц (1): [1]

Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)

« Вопросы новичков »

Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.