Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/topic.php on line 737
Форумы портала PHP.SU :: curl и proxy

 PHP.SU

Программирование на PHP, MySQL и другие веб-технологии
PHP.SU Портал     На главную страницу форума Главная     Помощь Помощь     Поиск Поиск     Поиск Яндекс Поиск Яндекс     Вакансии  Пользователи Пользователи


 Страниц (1): [1]   

> Описание: проблема.
Arhat109
Отправлено: 01 Июля, 2014 - 16:39:46
Post Id


Новичок


Покинул форум
Сообщений всего: 7
Дата рег-ции: Март 2013  


Помог: 0 раз(а)




Есть давно писанный парсер сети, работает как надо. Через curl.
Сегодня решил попробовать запинать его через proxy. Нашел список бесплатных проксей и ... облом-с.
Curl на любой запрос висит до timeout (30сек) а потом, возвращает false и ошибку couldn't connect to host

Вот код функции чтения содержимого странички, он типовой:
PHP:
скопировать код в буфер обмена
  1.  
  2. function get_proxy($url, $proxy) {
  3.         $ch = curl_init();
  4.         curl_setopt($ch, CURLOPT_URL, $url);
  5.         curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  6.         curl_setopt($ch, CURLOPT_USERAGENT, 'test-test');
  7.         curl_setopt($ch, CURLOPT_PROXY, "$proxy");
  8. //      curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false);
  9. //      curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false);
  10. //      curl_setopt($ch, CURLOPT_HEADER, false);
  11. //      curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, true);
  12. //      curl_setopt($ch, CURLOPT_PROXYPORT, 8080);
  13.  
  14.         $ss=curl_exec($ch);
  15. // echo curl_error($ch);
  16.  
  17.         curl_close($ch);
  18.         return $ss;
  19. }
  20.  
  21. // А вот так вызываю:
  22. $proxy = '112.25.12.37:80';
  23. $content = get_proxy('http://arhat.su/',$proxy);
  24. var_dump( $content );
  25.  


Сайт, по ссылке - расположен не том же компе, с которого запускаю скрипт. Замена на любой другой ничего не меняет. Впрочем как и замена прокси...

Если убрать опцию CURLOPT_PROXY, то так было раньше и всё работает на ура.

закомментаренные строки - это то, что уже попробовал. Результат тот же самый.

Что я делаю не так?
(Добавление)
Народ, есть холть какие-нить мысли? Как-то тут чего ни спроси, а в ответ - тишина...
 
 Top
esterio
Отправлено: 01 Июля, 2014 - 17:54:10
Post Id



Активный участник


Покинул форум
Сообщений всего: 5025
Дата рег-ции: Нояб. 2012  
Откуда: Украина, Львов


Помог: 127 раз(а)




потому что большинство бесплатных прокси живы в течении 20-30 мин потом раз и навсегда умирают лишив след на сотни-тисяч сайтах со списками прокси.
П.С. Сначала проверте работает ли прокси-сервер вообще
 
 Top
Arhat109
Отправлено: 01 Июля, 2014 - 18:18:24
Post Id


Новичок


Покинул форум
Сообщений всего: 7
Дата рег-ции: Март 2013  


Помог: 0 раз(а)




А как? Сервера из списка - пингуются, а как проверить работает ли на них прокся?

у wget сколько не читал ман, так и не понял как задать проксю... через какие-то переменные ... как это сделать из консоли Линукса?
(Добавление)
Нашел как проверить. вот этот прокси 218.203.54.8:80 - явно работает. Время доступа около 1.5сек.
При его использовании получил другой вариант ошибки CURL: Couldn't resolve proxy

Такое ощущение, что где-то чего-то не включено... или у меня или у провайдера... может быть?
 
 Top
esterio
Отправлено: 02 Июля, 2014 - 10:56:57
Post Id



Активный участник


Покинул форум
Сообщений всего: 5025
Дата рег-ции: Нояб. 2012  
Откуда: Украина, Львов


Помог: 127 раз(а)




1. какой именно прокси HTTP или SOKS
2. зачем вам wget
3. смотрите не упал ли скрипт ( max execution time)
В принципе пришлось пользоваться прокси, правда списки платные были, 100% рабочие и проблем не возникало
 
 Top
Страниц (1): [1]
Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)
« Работа с сетью »


Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.
 



Powered by PHP  Powered By MySQL  Powered by Nginx  Valid CSS  RSS

 
Powered by ExBB FM 1.0 RC1. InvisionExBB