PHP.SU

Программирование на PHP, MySQL и другие веб-технологии
PHP.SU Портал     На главную страницу форума Главная     Помощь Помощь     Поиск Поиск     Поиск Яндекс Поиск Яндекс     Вакансии  Пользователи Пользователи

Страниц (1): [1]

> Найдено сообщений: 11
winex Отправлено: 03 Сентября, 2012 - 12:39:54 • Тема: Продам скрипт • Форум: Объявления

Ответов: 0
Просмотров: 1158
Представляю Вашему вниманию скрипт LinkManager Panel - уникальный инструмент для автоматизации работы со ссылками. Скрипт хорошо приспособлен для управления ссылками на главных и внутренних страницах, контекстные ссылки. Скрипт сэкономит Ваше время и избавит от рутиной работы. Удобство в управлении и хороший функционал делают его незаменимым помошником линк-менеджера.
русскоязычная версия - 150$
демо версия http://prodemo[dot]jeffpage[dot]ru/
Логин: demo
Пароль: fgdshJ54g
англоязычная версия - 199$
демо версия http://lmpanel[dot]com/demo.php
Логин: qwe
Пароль: 123
winex Отправлено: 27 Августа, 2012 - 10:27:43 • Тема: прокси при запросе в YAHOO/Bing • Форум: Работа с сетью

Ответов: 0
Просмотров: 607
При обращении на поисковики без прокси все работает как надо. А вот при использовании прокси происходит локализация (определение страны), перенаправление на страницу и обрубает гет запрос со строкой поиска. Использую CURL. Есть ли какието способы рещения этой проблемы?
winex Отправлено: 27 Августа, 2012 - 10:22:40 • Тема: cURL • Форум: Работа с сетью

Ответов: 4
Просмотров: 1669
На хостинге отключены возможность CURLOPT_FOLLOWLOCATION
http://www[dot]snippy[dot]ru/snippet/123[dot][dot][dot]lowlocation-php/
winex Отправлено: 05 Июля, 2012 - 13:21:12 • Тема: Парсинг результатов гугла • Форум: Работа с сетью

Ответов: 11
Просмотров: 6244
а не поделитесь ccurlом? Закатив глазки
winex Отправлено: 05 Июля, 2012 - 12:00:34 • Тема: Парсинг результатов гугла • Форум: Работа с сетью

Ответов: 11
Просмотров: 6244
Мелкий пишет:
Меняете action формы на свой скрипт, оттуда всё, пришедшее в $_POST, отправляете гуглу курлом с указанными куками.

Не... немного не о том. Не понимаем немного др. др.
Значит скрипт через курл делает запрос на гугл. результат заносится в переменную $res (html код сместе с кортинкой капчи - тег img и соответствующем src). получаю из $res src картинки, дополняю до полной с сылки (добавляю google.com/.......) и уже по ней пытаюсь получить нужную картинку и сохранить на сервер. далее в $res дополняю все ссылки (это и action у формы и src у капчи) до google.com/..... и вывожу через echo $res в браузер. сам браузер как таковой запросы на гугл не делает. И вот код с картинки в браузере подходит а с картинки на сервере нет...
winex Отправлено: 05 Июля, 2012 - 10:26:58 • Тема: Парсинг результатов гугла • Форум: Работа с сетью

Ответов: 11
Просмотров: 6244
Мелкий пишет:
Ну так само собой. Браузер отправляет со своими куками, которые не подходят.

а как сделать чтоб подходили? Закатив глазки
winex Отправлено: 05 Июля, 2012 - 10:14:01 • Тема: Парсинг результатов гугла • Форум: Работа с сетью

Ответов: 11
Просмотров: 6244
Мелкий пишет:
1) как проверяете, что код не подходит? Курлом с теми же куками отправляете?

вывожу то, что вернул курлом при первом запросе заменив ссылки на прямые - там поле инпут. ввожу тот код который на сохраненной картинке - не проходит. А ввожу тот что браузер выдал - подходит. Заменил интересную вещь - если щелкнуть в браузере правой кнопкой на картинке и показать изображение - картинка меняется но код все равно выдает "подходящий". про задержки вкурсе но 40 -70 сек многовато
winex Отправлено: 05 Июля, 2012 - 09:25:39 • Тема: Парсинг результатов гугла • Форум: Работа с сетью

Ответов: 11
Просмотров: 6244
Добрый день.
стоит проблема при парсинге резулультатов - гугл выдает капчу... хочу эту капчу (картинку) отправлять на спецсервис и получать строку.
Встала проблема с сохранением картинки на сервак чтобы ее потом отправить на спецсервис. Картинка сохраняется но код на ней не подходит..
С куками вроде все нормально
Помогите разобраться.
PHP:
скопировать код в буфер обмена
  1.  
  2. function google_urlindex($link, $domen, $proxy=''){
  3.  
  4.         $urlsh = urlencode('"'.strtr($link, array('www.'=>'', 'http://'=>'')).'" site:'.strtr($domen, array('www.'=>'', 'http://'=>'')) );
  5.         if($proxy!=''){
  6.                    preg_match('/^([^\:]+)\:(\d{0,5})(\|.+)?$/is', $proxy, $arr);
  7.                    $ip = $arr[1];
  8.                    $port = $arr[2];
  9.                    //print_r($arr);
  10.                    if(isset($arr[3])){
  11.                                 $arr[3] = strtr($arr[3], array("|"=>""));
  12.                                 //preg_match("/^([^\:]+)\:(.+)$/si", $arr[3], $proxylp);
  13.                    }
  14.         }  
  15.  
  16.   $host = 'www.google.com';
  17.   $documentpath = '/search?q='.$urlsh.'&hl=en&safe=off&btnG=Search';
  18.  
  19.   $ch = @curl_init();
  20.   if($ch!=false){
  21.                 if($_SERVER[HTTP_USER_AGENT]!="")
  22.                         $agent = $_SERVER[HTTP_USER_AGENT];
  23.                 else
  24.                         $agent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)";
  25.         curl_setopt($ch, CURLOPT_URL, $host.$documentpath);
  26.                 curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
  27.                 curl_setopt($ch, CURLOPT_TIMEOUT, 10);
  28.                 curl_setopt($ch, CURLOPT_COOKIEFILE, dirname(__FILE__)."/cookies/cookies.txt");
  29.                 curl_setopt($ch, CURLOPT_COOKIEJAR, dirname(__FILE__)."/cookies/cookies.txt");
  30.                 curl_setopt($ch, CURLOPT_USERAGENT, $agent);
  31.                
  32.         curl_setopt($ch, CURLOPT_HEADER, 0);
  33.                 curl_setopt($ch, CURLOPT_REFERER, $host);
  34.                
  35.                 if(isset($ip)){
  36.                         curl_setopt($ch, CURLOPT_HTTPPROXYTUNNEL, 1);
  37.                         curl_setopt($ch, CURLOPT_PROXY, "$ip:$port");
  38.  
  39.                         if(isset($arr[3])){
  40.                                 curl_setopt($ch, CURLOPT_PROXYUSERPWD, $arr[3]);
  41.                         }
  42.                 }
  43.                
  44.         curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
  45.  
  46.         $res = curl_exec($ch);//отпарвка запроса на гугл
  47.                
  48.                 $link = str_replace("http://","",$link);
  49.                 if(!empty($data))
  50.                 {
  51.                         //работа с полученной страницей
  52.                 }
  53.                        
  54.                 else // если выдал капчу
  55.                 {
  56.                
  57.                         preg_match('/<img src="(.*?)"/is', $res, $data);
  58.                         $scr = 'http://www.google.com'.$data[1];
  59.                         x($scr);
  60.                         sleep(3);
  61.                         $res = str_replace('"Captcha"','"http://www.google.com/sorry/Captcha"',$res);
  62.                         echo str_replace($data[1],$scr,$res);
  63.                 }      
  64.         curl_close($ch);
  65.  
  66.   }
  67.  
  68. }
  69.  
  70.  
  71.        
  72. function x($link){
  73.  
  74.   $ch = @curl_init();
  75.   if($ch!=false){
  76.                 if($_SERVER[HTTP_USER_AGENT]!="")
  77.                         $agent = $_SERVER[HTTP_USER_AGENT];
  78.                 else
  79.                         $agent = "Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322)";
  80.                        
  81.         curl_setopt($ch, CURLOPT_URL, $link);
  82.                 curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
  83.                 curl_setopt($ch, CURLOPT_TIMEOUT, 10);
  84.                 curl_setopt($ch, CURLOPT_COOKIEFILE, dirname(__FILE__)."/cookies/cookies.txt");
  85.                 curl_setopt($ch, CURLOPT_COOKIEJAR, dirname(__FILE__)."/cookies/cookies.txt");
  86.                 curl_setopt($ch, CURLOPT_USERAGENT, $agent);
  87.                
  88.         curl_setopt($ch, CURLOPT_HEADER, 0);
  89.                 curl_setopt($ch, CURLOPT_REFERER, "www.google.com");
  90.                 curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
  91.                 $fp = fopen('image.jpeg', 'wb');
  92.                 curl_setopt($ch, CURLOPT_FILE, $fp);
  93.                 curl_exec($ch);
  94.         //$res = curl_exec($ch);//отпарвка запроса на гугл
  95.                 fclose($fp);
  96.                 curl_close($ch);               
  97.  
  98.  
  99.   }
  100.  
  101. }
  102.  
  103.        
  104.         google_urlindex("http://lmpanel.ru/about.php", "/lmpanel.ru/about.php","");
  105.        
  106.  
winex Отправлено: 27 Июня, 2012 - 11:06:00 • Тема: парсинг страницы и одновременное сохранение картинки • Форум: Работа с сетью

Ответов: 5
Просмотров: 1835
браузе не запрашивает а я делаю echo того что получил курл

так тут проблема в том что в форме есть <input type="hidden" name="id" value="16797586111797287599"> и оно уже подставлено под 'первую' капчу а если второй раз обращаться (Выдираете урл капчи, получаете капчу, сохраняете в файл) то код то другой...
winex Отправлено: 27 Июня, 2012 - 10:31:03 • Тема: парсинг страницы и одновременное сохранение картинки • Форум: Работа с сетью

Ответов: 5
Просмотров: 1835
Мелкий пишет:
Подходит. Т.к. браузер именно так и работает.


я пробывал так
через CURl получаю содержание страницы в строковую переменную
далее вытаскиваю из нее srс
и по этому src пытаюсь сохранить на сервер картинку ($img = imagecreatefromjpeg($src);
$imagejpeg($img, "image.jpeg");)
вывожу строковюу переменную (html код) которую получил через curl в самом начале в браузер.
и картинка в браузере и на сервере разные
winex Отправлено: 27 Июня, 2012 - 10:15:10 • Тема: парсинг страницы и одновременное сохранение картинки • Форум: Работа с сетью

Ответов: 5
Просмотров: 1835
Доброе время суток. Пишу парсер. Встает проблема капчи. При первом обращении к странице curlом выдается капча. Капча естественно генерируется... и способ спарсить url картинки и потом загрузить на сервер не подходит. так как при втором обращении выдается уже другая картинка. Есть ли способ как-то вытянуть эту картинку параллельно с первым запросом?

Страниц (1): [1]
Powered by PHP  Powered By MySQL  Powered by Nginx  Valid CSS  RSS

 
Powered by ExBB FM 1.0 RC1. InvisionExBB