PHP.SU

Программирование на PHP, MySQL и другие веб-технологии

PHP.SU Портал

Главная

Помощь

Поиск

Поиск Яндекс Вакансии

Пользователи

Здравствуйте, Гость

( Вход · Регистрация · Правила форума )

Забыли пароль?

помогите сделать парсер страниц с фильмами. kinopoisk.ru

Форумы портала PHP.SU » PHP » Программирование на PHP » HTTP и PHP (Модераторы: OrmaJever, Саныч)

Страниц (1): [1]

Описание: помогите сделать парсер страниц kinopoisk.ru с фильмами. там стоит защита от роботов

Поиск в теме | Версия для печати

ufofly	Отправлено: 05 Мая, 2013 - 00:17:51
Новичок Покинул форум Сообщений всего: 8 Дата рег-ции: Май 2013 Помог: 1 раз(а)	помогите сделать парсер страниц kinopoisk.ru с фильмами. там стоит защита от роботов. я новичок, плохо разбираюсь пока. не судите строго. задача: получить контент со страницы, например http://www[dot]kinopoisk[dot]ru/film/31963/

DelphinPRO	Отправлено: 05 Мая, 2013 - 01:31:23
Активный участник Покинул форум Сообщений всего: 7187 Дата рег-ции: Февр. 2012 Помог: 353 раз(а)	нет там никакой защиты тупо проверяется юзер агент и еще пара параметров. На днях писал грабер (правда на дельфи) - отправлял user-agent мозилловский, заголовки keep-alive, accept, acceptencoding, acceptlanguage и referer. Скачивалось на ура. В php все это легко организуется средствами cURL (Отредактировано автором: 05 Мая, 2013 - 01:31:59) ----- Чем больше узнаю, тем больше я не знаю.

ufofly	Отправлено: 05 Мая, 2013 - 23:37:14
Новичок Покинул форум Сообщений всего: 8 Дата рег-ции: Май 2013 Помог: 1 раз(а)	ну вот мой скриптик: Спойлер (Отобразить) PHP: скопировать код в буфер обмена <?PHP $curl = curl_init(); // инициализируем cURL /Дальше устанавливаем опции запроса в любом порядке/ //Здесь устанавливаем URL к которому нужно обращаться curl_setopt($curl, CURLOPT_URL, 'http://www.kinopoisk.ru/film/341/'); //Настойка опций cookie curl_setopt($curl, CURLOPT_COOKIEJAR, 'cook.txt');//сохранить куки в файл curl_setopt($curl, CURLOPT_COOKIEFILE, 'cook.txt');//считать куки из файла //устанавливаем наш вариат клиента (браузера) и вид ОС curl_setopt($curl, CURLOPT_USERAGENT, "Opera/10.00 (Windows NT 5.1; U; ru) Presto/2.2.0"); //Установите эту опцию в ненулевое значение, если вы хотите, чтобы PHP завершал работу скрыто, //если возвращаемый HTTP-код имеет значение выше 300. По умолчанию страница возвращается нормально с игнорированием кода. curl_setopt($curl, CURLOPT_FAILONERROR, 1); //Устанавливаем значение referer - адрес последней активной страницы curl_setopt($curl, CURLOPT_REFERER, 'http://www.kinopoisk.ru/film/341/'); //Максимальное время в секундах, которое вы отводите для работы CURL-функций. curl_setopt($curl, CURLOPT_TIMEOUT, 3); curl_setopt($curl, CURLOPT_POST, 1); // устанавливаем метод POST //ответственный момент здесь мы передаем наши переменные curl_setopt($curl, CURLOPT_POSTFIELDS, 'http://www.kinopoisk.ru/film/341/'); //Установите эту опцию в ненулевое значение, если вы хотите, чтобы шапка/header ответа включалась в вывод. curl_setopt($curl, CURLOPT_HEADER, 1); //Внимание, важный момент, сертификатов, естественно, у нас нет, так что все отключаем curl_setopt ($curl, CURLOPT_SSL_VERIFYPEER, 0);// не проверять SSL сертификат curl_setopt ($curl, CURLOPT_SSL_VERIFYHOST, 0);// не проверять Host SSL сертификата curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);// разрешаем редиректы curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); $html = curl_exec($curl); // выполняем запрос и записываем в переменную curl_close($curl); // заканчиваем работу curl print_r($html); ?> все время кидает на http://error[dot]kinopoisk[dot]ru/?ht=17 где написано Если вы видите эту страницу, значит с вашего IP-адреса поступило необычно много запросов. Система защиты от роботов (СЗоР) решила, что вместо вас действует программа, и ограничила доступ. и тд и тп... подскажите что убрать что добавить. пожалуйста...

DelphinPRO	Отправлено: 06 Мая, 2013 - 09:38:01
Активный участник Покинул форум Сообщений всего: 7187 Дата рег-ции: Февр. 2012 Помог: 353 раз(а)	перечисленные мной заголовки вы не отправляете, зачем-то используете ПОСТ-запрос. и в качестве реферера я использовал их главную страницу (хотя это не важно). ----- Чем больше узнаю, тем больше я не знаю.

ufofly	Отправлено: 07 Мая, 2013 - 00:19:04
Новичок Покинул форум Сообщений всего: 8 Дата рег-ции: Май 2013 Помог: 1 раз(а)	все. я разобрался. убрал строки 26-29 где пост, и все заработало и в header достаточно только User-Agent отправлять Большое спасибо за помощь! возник еще один вопрос: а как самому узнать какой хидер приходит мне на сайт, чтобы реализовать примерно такую же проверку?

LIME	Отправлено: 07 Мая, 2013 - 00:27:48
Активный участник Покинул форум Сообщений всего: 10732 Дата рег-ции: Нояб. 2010 Помог: 322 раз(а)	$_SERVER

ufofly	Отправлено: 07 Мая, 2013 - 17:59:33
Новичок Покинул форум Сообщений всего: 8 Дата рег-ции: Май 2013 Помог: 1 раз(а)	мда. чето сегодня опять на работает... вчера работал этот же код((( что происходит? поиогите разобраться Спойлер (Отобразить) работал, загружал страницу. сейчас опять Система защиты от роботов PHP: скопировать код в буфер обмена <?PHP $curl = curl_init(); curl_setopt($curl, CURLOPT_URL, 'http://www.kinopoisk.ru/film/341/'); curl_setopt($curl, CURLOPT_COOKIEJAR, 'cook.txt');//сохранить куки в файл curl_setopt($curl, CURLOPT_COOKIEFILE, 'cook.txt');//считать куки из файла curl_setopt($curl, CURLOPT_FAILONERROR, 1); curl_setopt($curl, CURLOPT_USERAGENT, "Opera/10.00 (Windows NT 5.1; U; ru) Presto/2.2.0"); curl_setopt($curl, CURLOPT_REFERER, 'http://www.kinopoisk.ru/'); curl_setopt($curl, CURLOPT_TIMEOUT, 3); curl_setopt($curl, CURLOPT_HEADER, 1); curl_setopt ($curl, CURLOPT_SSL_VERIFYPEER, 0);// не проверять SSL сертификат curl_setopt ($curl, CURLOPT_SSL_VERIFYHOST, 0);// не проверять Host SSL сертификата curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 1);// разрешаем редиректы curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1); $html = curl_exec($curl); print_r($html); ?>

newspaper	Отправлено: 16 Мая, 2013 - 17:50:37
Новичок Покинул форум Сообщений всего: 8 Дата рег-ции: Май 2013 Помог: 0 раз(а)	ufofly ответ на твой вопрос содержится в одном из твоих же постов : ...с вашего IP-адреса поступило необычно много запросов... система смотрит сколько запросов поступило с твоего IP за определенный промежуток времени и если их больше допустимого значения - банит тебя огранич количество запросов например до 10 в минуту и всё будет хорошо, но мееееедлееееееннноооо

ufofly	Отправлено: 18 Мая, 2013 - 23:29:45
Новичок Покинул форум Сообщений всего: 8 Дата рег-ции: Май 2013 Помог: 1 раз(а)	newspaper пишет: ufofly ответ на твой вопрос содержится в одном из твоих же постов : ...с вашего IP-адреса поступило необычно много запросов... система смотрит сколько запросов поступило с твоего IP за определенный промежуток времени и если их больше допустимого значения - банит тебя огранич количество запросов например до 10 в минуту и всё будет хорошо, но мееееедлееееееннноооо нет. дело не в этом. через браузер этих запросов было в десятки раз больше! я уже разобрался, нашел проблему)

Поиск в теме | Версия для печати

Страниц (1): [1]

Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)

« HTTP и PHP »

Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.