Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770
Форумы портала PHP.SU :: Версия для печати :: Сurl и яндекс
Форумы портала PHP.SU » » Работа с сетью » Сurl и яндекс

Страниц (2): [1] 2 »
 

1. Sig - 29 Января, 2012 - 14:00:34 - перейти к сообщению
Здравствуйте не подскажите как правильно настроить curl_setopt для яндекса второй день сижу постоянно страница "ЯНДЕКС ой......"

$url = 'http://yandex.ru/yandsearch?text=%D0%9C%D0%95%D0%91%D0%95%D0%9B%D0%AC&lr=213';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 6.1; ru; rv:1.9.2) Gecko/20100115 Firefox/3.6');
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_COOKIEFILE, "/.cook.txt");
curl_setopt($ch, CURLOPT_COOKIEJAR, "/.cook.txt");
curl_exec($ch);
curl_close($ch);



С куки правда я не разобрался просто в корне сайта создал файл cook.txt и всё, возможно нужно было в него вписать что-то ?

если кто-то знает пример где всё расписывается напишите что б я смог изучить подробнее, т.к. негде не могу найти
2. Мелкий - 29 Января, 2012 - 14:19:54 - перейти к сообщению
На файл кук должны быть права на запись, тогда курл сам будет туда писать и читать, что нужно. Это - всё, что можно сделать курлом.

А дальше то, на что повлиять нельзя - система защиты яндекса. За частые запросы банит ip и разрешает на некоторое количество запросов в сутки только запросы тех пользователей, что ввели капчу.
3. snikers987 - 29 Января, 2012 - 14:56:40 - перейти к сообщению
Попробуйте указать реферер http://yandex[dot]ru , должно помочь.
И путь к файлам кук нормально укажите..
4. LIME - 29 Января, 2012 - 15:02:06 - перейти к сообщению
snikers987 пишет:
И путь к файлам кук нормально укажите..
а чем этот не нормальный?)))
ну в корне ...ну с точки начинается...ну и что))
5. snikers987 - 29 Января, 2012 - 15:05:31 - перейти к сообщению
LIME пишет:
snikers987 пишет:
И путь к файлам кук нормально укажите..
а чем этот не нормальный?)))
ну в корне ...ну с точки начинается...ну и что))

Ну это на правах пророка. Я не уверен что курл сам создаст фаил для кук, если его нет, и если тс создал без точки то собственно путь не верный.

Цитата:
С куки правда я не разобрался просто в корне сайта создал файл cook.txt и всё,
6. LIME - 29 Января, 2012 - 15:09:32 - перейти к сообщению
путь может и не тот что создал тс но скрипту то это глубоко фиолетово))
он с созданым себе работать будет))
а вот если путь правильный и тс именно сам его создал то проблемы с правами мб
7. snikers987 - 29 Января, 2012 - 15:14:09 - перейти к сообщению
Ну тогда хз, я лично не пробывал создаст курл фаил или нет..Если так то хорошо, а реферер нужно точно указать.
8. LIME - 29 Января, 2012 - 15:18:30 - перейти к сообщению
snikers987 пишет:
а реферер нужно точно указать.
тогда вот ссылка
перейдете вы по ней с реферера php.su
http://yandex[dot]ru/yandsearch?text[dot][dot][dot]F0%F1&lr=213
(Добавление)
или вообще в адрес скопируйте чтоб совсем без реферера
9. snikers987 - 29 Января, 2012 - 15:20:29 - перейти к сообщению
LIME пишет:
snikers987 пишет:
а реферер нужно точно указать.
тогда вот ссылка
перейдете вы по ней с реферера php.su
http://yandex[dot]ru/yandsearch?text[dot][dot][dot]F0%F1&lr=213

И? Я речь веду к тому что если реферер пустои это подозрительно. А какой указать эоо уже другой вопрос.

У меня к примеру работает парсер кинопоиска и срабатывает защита от роботов при отсутствии реферера. А если ввести в браузер работает, так что..
10. LIME - 29 Января, 2012 - 15:21:53 - перейти к сообщению
нет
запросто можно копировать ссылку поиска и вставлять в адрес
поиск не тот случай
11. Мелкий - 29 Января, 2012 - 15:30:38 - перейти к сообщению
На реферер яндекс особого внимания не обращает. Его интересует в первую очередь валидная кука uid, интенсивность запросов на каждый подтверждённый uid и общее число запросов с ip.
12. Sig - 29 Января, 2012 - 15:36:58 - перейти к сообщению
добавил рефер получилось

$url = 'http://www.yandex.ru/yandsearch?text=%D0%9C%D0%95%D0%91%D0%95%D0%9B%D0%AC&lr=213';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_REFERER, 'http://www.yandex.ru/');
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 6.1; ru; rv:1.9.2) Gecko/20100115 Firefox/3.6');
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_COOKIEFILE, '/cook.txt');
curl_setopt($ch, CURLOPT_COOKIEJAR, '/cook.txt');
curl_exec($ch);
curl_close($ch);

работаю на денвере (pen-server)

php файл находится на главной я в начале сам создал cook.txt потом удалил, но он сам не создаётся

до сих пор пишет ошибку "ЯНДЕКС ой......" что я похож на бота

как понял проблема с куки и больше параметров яндексу передавать о себе
13. LIME - 29 Января, 2012 - 17:55:38 - перейти к сообщению
Sig может не там файл ищете
смотрите переданные заголовки в конце скрипта может что и увидите
http://ru2.php.net/manual/ru/fun...headers-list.php
14. snikers987 - 30 Января, 2012 - 14:01:27 - перейти к сообщению
LIME кстати, курл фаил кук сам не создает, он юзает только существующий.
15. LIME - 30 Января, 2012 - 19:27:41 - перейти к сообщению
snikers987 както не мог найти созданный курлом файл кукисов
прописал абсолютный путь
потом наткнулся на этот созданный файл в папке PHP а не рядом со скриптом как предполагал (указывал только имя)
возможно это только в винде

 

Powered by ExBB FM 1.0 RC1