Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/topic.php on line 737
Форумы портала PHP.SU :: Проблема с отправкой реффера через курл

 PHP.SU

 Программирование на PHP, MySQL и другие веб-технологии
PHP.SU Портал     На главную страницу форума Главная     Помощь Помощь     Поиск Поиск     Поиск Яндекс Поиск Яндекс     Вакансии  Пользователи Пользователи


 Страниц (1): [1]   

> Без описания
Поиск в теме | Версия для печати
seowin
Отправлено: 08 Февраля, 2016 - 16:05:37
Post Id


Новичок


Покинул форум
Сообщений всего: 16
Дата рег-ции: Апр. 2015  


Помог: 0 раз(а)
Такая проблема.
Использую следующий код для парсинга сайта:
PHP:
скопировать код в буфер обмена
  1.         <?PHP
  2.         @set_time_limit(0);
  3.  
  4.         $user_agent_array = file('proxy.txt');
  5.  
  6.         $reffer_array = array(
  7.         'http://yandex.ru',
  8.         'http://google.com'
  9.         );
  10.  
  11.         $proxy_array = file('proxy.txt');
  12.  
  13.         function arrayRand($array) {
  14.                 return $array[mt_rand(0, count($array))];
  15.         }
  16.  
  17.         function getContent($url) {
  18.         GLOBAL $user_agent_array;
  19.         GLOBAL $reffer_array;
  20.         GLOBAL $proxy_array;
  21.         $user_agent = trim(arrayRand($user_agent_array));
  22.         $reffer = arrayRand($reffer_array);
  23.         $proxy = trim(arrayRand($proxy_array));
  24.                
  25.         $ch = curl_init();
  26.         curl_setopt($ch, CURLOPT_URL, $url);
  27.         curl_setopt($ch, CURLOPT_REFERER, $reffer);
  28.         curl_setopt($ch, CURLOPT_COOKIEJAR, $_SERVER['DOCUMENT_ROOT'].'/cookie.txt'); //сохранить куки в файл    
  29.         curl_setopt ($ch, CURLOPT_COOKIEFILE, $_SERVER['DOCUMENT_ROOT'].'/cookie.txt'); //считать куки из файла                
  30.         curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 7); //тайм-аут соединения
  31.         curl_setopt($ch, CURLOPT_TIMEOUT, 7);
  32.         curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0); //возврат необработанного ответа
  33.         curl_setopt($ch, CURLOPT_USERAGENT, $user_agent);
  34.         curl_setopt($ch, CURLOPT_PROXY, $proxy);
  35.         curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1); //переходить по редиректам
  36.         curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);// не проверять SSL сертификат
  37.         curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 0);// не проверять Host SSL сертификата
  38.         $content = curl_exec($ch);
  39.         }
  40.  
  41.         echo getContent('http://gadarutym.ru/3/good.php');
  42.  
  43.  


Если подключаться напрямую, не через прокси, то реффер передается корректно - http://clip2net.com/s/3u1L9WK.

Если же работа идет через прокси, то реффер не передается и в HTTP_CONNECTION находится значения close: http://clip2net[dot]com/s/3u1Lxdf

Подскажите, в чем может быть проблема?
 
 Top
Viper
Отправлено: 08 Февраля, 2016 - 18:16:27
Post Id



Активный участник


Покинул форум
Сообщений всего: 4555
Дата рег-ции: Февр. 2007  
Откуда: Симферополь


Помог: 98 раз(а)
seowin пишет:
Подскажите, в чем может быть проблема?
в прокси. Ваш КО


-----
Список фильмов с описанием, блекджеком и... для Joomla? -> https://киноархив[dot]com
Демо нового движка для сайта php.su -> php[dot]su, проект на гитхабе
 
 Top
Поиск в теме | Версия для печати
Страниц (1): [1]
Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)
« Вопросы новичков »


Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.
  



Powered by PHP  Powered By MySQL  Powered by Nginx  Valid CSS  RSS

 
Powered by ExBB FM 1.0 RC1. InvisionExBB