Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/topic.php on line 737
Форумы портала PHP.SU :: Сurl и яндекс

 PHP.SU

Программирование на PHP, MySQL и другие веб-технологии
PHP.SU Портал     На главную страницу форума Главная     Помощь Помощь     Поиск Поиск     Поиск Яндекс Поиск Яндекс     Вакансии  Пользователи Пользователи


 Страниц (2): [1] 2 »   

> Без описания
Sig
Отправлено: 29 Января, 2012 - 14:00:34
Post Id


Новичок


Покинул форум
Сообщений всего: 48
Дата рег-ции: Янв. 2012  


Помог: 0 раз(а)




Здравствуйте не подскажите как правильно настроить curl_setopt для яндекса второй день сижу постоянно страница "ЯНДЕКС ой......"

$url = 'http://yandex.ru/yandsearch?text=%D0%9C%D0%95%D0%91%D0%95%D0%9B%D0%AC&lr=213';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 6.1; ru; rv:1.9.2) Gecko/20100115 Firefox/3.6');
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_COOKIEFILE, "/.cook.txt");
curl_setopt($ch, CURLOPT_COOKIEJAR, "/.cook.txt");
curl_exec($ch);
curl_close($ch);



С куки правда я не разобрался просто в корне сайта создал файл cook.txt и всё, возможно нужно было в него вписать что-то ?

если кто-то знает пример где всё расписывается напишите что б я смог изучить подробнее, т.к. негде не могу найти
 
 Top
Мелкий Супермодератор
Отправлено: 29 Января, 2012 - 14:19:54
Post Id



Активный участник


Покинул форум
Сообщений всего: 11926
Дата рег-ции: Июль 2009  
Откуда: Россия, Санкт-Петербург


Помог: 618 раз(а)




На файл кук должны быть права на запись, тогда курл сам будет туда писать и читать, что нужно. Это - всё, что можно сделать курлом.

А дальше то, на что повлиять нельзя - система защиты яндекса. За частые запросы банит ip и разрешает на некоторое количество запросов в сутки только запросы тех пользователей, что ввели капчу.


-----
PostgreSQL DBA
 
 Top
snikers987
Отправлено: 29 Января, 2012 - 14:56:40
Post Id



Участник


Покинул форум
Сообщений всего: 1239
Дата рег-ции: Сент. 2011  
Откуда: Крым


Помог: 25 раз(а)




Попробуйте указать реферер http://yandex[dot]ru , должно помочь.
И путь к файлам кук нормально укажите..

(Отредактировано автором: 29 Января, 2012 - 14:58:16)



-----
Когда всматриваешься в тёмную бездну, учти, что кто-то может смотреть на тебя из неё...
 
My status
 Top
LIME
Отправлено: 29 Января, 2012 - 15:02:06
Post Id


Активный участник


Покинул форум
Сообщений всего: 10732
Дата рег-ции: Нояб. 2010  


Помог: 322 раз(а)




snikers987 пишет:
И путь к файлам кук нормально укажите..
а чем этот не нормальный?)))
ну в корне ...ну с точки начинается...ну и что))
 
 Top
snikers987
Отправлено: 29 Января, 2012 - 15:05:31
Post Id



Участник


Покинул форум
Сообщений всего: 1239
Дата рег-ции: Сент. 2011  
Откуда: Крым


Помог: 25 раз(а)




LIME пишет:
snikers987 пишет:
И путь к файлам кук нормально укажите..
а чем этот не нормальный?)))
ну в корне ...ну с точки начинается...ну и что))

Ну это на правах пророка. Я не уверен что курл сам создаст фаил для кук, если его нет, и если тс создал без точки то собственно путь не верный.

Цитата:
С куки правда я не разобрался просто в корне сайта создал файл cook.txt и всё,

(Отредактировано автором: 29 Января, 2012 - 15:07:16)



-----
Когда всматриваешься в тёмную бездну, учти, что кто-то может смотреть на тебя из неё...
 
My status
 Top
LIME
Отправлено: 29 Января, 2012 - 15:09:32
Post Id


Активный участник


Покинул форум
Сообщений всего: 10732
Дата рег-ции: Нояб. 2010  


Помог: 322 раз(а)




путь может и не тот что создал тс но скрипту то это глубоко фиолетово))
он с созданым себе работать будет))
а вот если путь правильный и тс именно сам его создал то проблемы с правами мб
 
 Top
snikers987
Отправлено: 29 Января, 2012 - 15:14:09
Post Id



Участник


Покинул форум
Сообщений всего: 1239
Дата рег-ции: Сент. 2011  
Откуда: Крым


Помог: 25 раз(а)




Ну тогда хз, я лично не пробывал создаст курл фаил или нет..Если так то хорошо, а реферер нужно точно указать.


-----
Когда всматриваешься в тёмную бездну, учти, что кто-то может смотреть на тебя из неё...
 
My status
 Top
LIME
Отправлено: 29 Января, 2012 - 15:18:30
Post Id


Активный участник


Покинул форум
Сообщений всего: 10732
Дата рег-ции: Нояб. 2010  


Помог: 322 раз(а)




snikers987 пишет:
а реферер нужно точно указать.
тогда вот ссылка
перейдете вы по ней с реферера php.su
http://yandex[dot]ru/yandsearch?text[dot][dot][dot]F0%F1&lr=213
(Добавление)
или вообще в адрес скопируйте чтоб совсем без реферера
 
 Top
snikers987
Отправлено: 29 Января, 2012 - 15:20:29
Post Id



Участник


Покинул форум
Сообщений всего: 1239
Дата рег-ции: Сент. 2011  
Откуда: Крым


Помог: 25 раз(а)




LIME пишет:
snikers987 пишет:
а реферер нужно точно указать.
тогда вот ссылка
перейдете вы по ней с реферера php.su
http://yandex[dot]ru/yandsearch?text[dot][dot][dot]F0%F1&lr=213

И? Я речь веду к тому что если реферер пустои это подозрительно. А какой указать эоо уже другой вопрос.

У меня к примеру работает парсер кинопоиска и срабатывает защита от роботов при отсутствии реферера. А если ввести в браузер работает, так что..

(Отредактировано автором: 29 Января, 2012 - 15:22:57)



-----
Когда всматриваешься в тёмную бездну, учти, что кто-то может смотреть на тебя из неё...
 
My status
 Top
LIME
Отправлено: 29 Января, 2012 - 15:21:53
Post Id


Активный участник


Покинул форум
Сообщений всего: 10732
Дата рег-ции: Нояб. 2010  


Помог: 322 раз(а)




нет
запросто можно копировать ссылку поиска и вставлять в адрес
поиск не тот случай
 
 Top
Мелкий Супермодератор
Отправлено: 29 Января, 2012 - 15:30:38
Post Id



Активный участник


Покинул форум
Сообщений всего: 11926
Дата рег-ции: Июль 2009  
Откуда: Россия, Санкт-Петербург


Помог: 618 раз(а)




На реферер яндекс особого внимания не обращает. Его интересует в первую очередь валидная кука uid, интенсивность запросов на каждый подтверждённый uid и общее число запросов с ip.


-----
PostgreSQL DBA
 
 Top
Sig
Отправлено: 29 Января, 2012 - 15:36:58
Post Id


Новичок


Покинул форум
Сообщений всего: 48
Дата рег-ции: Янв. 2012  


Помог: 0 раз(а)




добавил рефер получилось

$url = 'http://www.yandex.ru/yandsearch?text=%D0%9C%D0%95%D0%91%D0%95%D0%9B%D0%AC&lr=213';
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_HEADER, 1);
curl_setopt($ch, CURLOPT_REFERER, 'http://www.yandex.ru/');
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 6.1; ru; rv:1.9.2) Gecko/20100115 Firefox/3.6');
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
curl_setopt($ch, CURLOPT_COOKIEFILE, '/cook.txt');
curl_setopt($ch, CURLOPT_COOKIEJAR, '/cook.txt');
curl_exec($ch);
curl_close($ch);

работаю на денвере (pen-server)

php файл находится на главной я в начале сам создал cook.txt потом удалил, но он сам не создаётся

до сих пор пишет ошибку "ЯНДЕКС ой......" что я похож на бота

как понял проблема с куки и больше параметров яндексу передавать о себе
 
 Top
LIME
Отправлено: 29 Января, 2012 - 17:55:38
Post Id


Активный участник


Покинул форум
Сообщений всего: 10732
Дата рег-ции: Нояб. 2010  


Помог: 322 раз(а)




Sig может не там файл ищете
смотрите переданные заголовки в конце скрипта может что и увидите
http://ru2.php.net/manual/ru/fun...headers-list.php
 
 Top
snikers987
Отправлено: 30 Января, 2012 - 14:01:27
Post Id



Участник


Покинул форум
Сообщений всего: 1239
Дата рег-ции: Сент. 2011  
Откуда: Крым


Помог: 25 раз(а)




LIME кстати, курл фаил кук сам не создает, он юзает только существующий.


-----
Когда всматриваешься в тёмную бездну, учти, что кто-то может смотреть на тебя из неё...
 
My status
 Top
LIME
Отправлено: 30 Января, 2012 - 19:27:41
Post Id


Активный участник


Покинул форум
Сообщений всего: 10732
Дата рег-ции: Нояб. 2010  


Помог: 322 раз(а)




snikers987 както не мог найти созданный курлом файл кукисов
прописал абсолютный путь
потом наткнулся на этот созданный файл в папке PHP а не рядом со скриптом как предполагал (указывал только имя)
возможно это только в винде
 
 Top
Страниц (2): [1] 2 »
Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)
« Работа с сетью »


Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.
 



Powered by PHP  Powered By MySQL  Powered by Nginx  Valid CSS  RSS

 
Powered by ExBB FM 1.0 RC1. InvisionExBB