Форумы портала PHP.SU :: Версия для печати :: парсер yandex с решением captcha

1. RinaFolk - 13 Ноября, 2014 - 11:41:33 - перейти к сообщению

2. RinaFolk - 13 Ноября, 2014 - 12:07:44 - перейти к сообщению

Здравствуйте!
возникла проблема в парсинге яндекса.
парсер xml уже есть, теперь нужен парсер в лоб.
не получается отправить запрос на решение captcha, в ответ приходит, что страница не найдена.
буду рада помощи
листинг:

PHP:
скопировать код в буфер обмена

$query_utf8 = urlencode(iconv('windows-1251','utf-8',$query));
                $region_utf8 = urlencode(iconv('windows-1251','utf-8',$region));
                $cookiefile = dirname(__FILE__)."/_cookie_position.txt";
                $user_agent="Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.114 Safari/537.36";
                
                $sizeof_proxy_list = sizeof($this->proxy_list);
 
                $search=array("text"=>urlencode($query_utf8),
                                          "numdoc"=>$results_per_page,
                                          "lr"=>$region_utf8);
$setopt_url='http://yandex.ru/yandsearch?text='.$search['text'].'&p='.$j.'&numdoc='.$search['numdoc'].'&lr='.$search['lr'].'';
                                        
 
                                        $output=$this->get_curl_info($setopt_url);
 
 
                                        if(strpos($output,'<form action="/checkcaptcha" method="GET">')!=false)
                                        {
                                                $addur=new addurl;
                                                $key=getTag('<input type="hidden" name="key" value="','">',$output);
                                                $retpath=getTag('<input type="hidden" name="retpath" value="','">',$output);
                                                $filename=$addur->saveCaptcha(getTag('<img src="','" class="b-captcha__image">',$output));
                                                $result_key=iconv('utf-8','windows-1251',$addur->antigateRecognize($filename));
                                                $post=array("key"=>$key,
                                                                        "retpath"=>$retpath,
                                                                        "rep"=>$result_key);
                                                //print_r($post); die();
                                                $output=$this->get_curl_info('http://yandex.ru/checkcaptcha?key='.$post['key'].'&retpath='.$post['retpath'].'&rep='.$post['rep'].'');
                                                print_r($output); die();
                                        }
 
function get_curl_info($url,$post="")
        {
                $path_up = "../";
                $user_agent="Mozilla/5.0 (Windows NT 5.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/35.0.1916.114 Safari/537.36";
                $cookiefile = dirname(__FILE__)."/_cookie_position.txt";
 
                $ch = curl_init();
                curl_setopt($ch, CURLOPT_URL, $url);
                curl_setopt($ch, CURLOPT_HTTPGET, 1);
                curl_setopt($ch, CURLOPT_USERAGENT, $user_agent);
                curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
                curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
                curl_setopt($ch, CURLOPT_HEADER, 0);
                curl_setopt($ch, CURLOPT_BINARYTRANSFER,1);
                //curl_setopt($ch, CURLOPT_HTTPHEADER, array($referer_new));
                curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
                curl_setopt($ch, CURLOPT_CONNECTTIMEOUT, 120);
                curl_setopt($ch, CURLOPT_COOKIEJAR, $cookiefile);
                curl_setopt($ch, CURLOPT_COOKIEFILE, $cookiefile);
                curl_setopt($ch, CURLOPT_VERBOSE, true);
                $verbose = fopen($path_up.'modules/temp', 'w+');
                curl_setopt($ch, CURLOPT_STDERR, $verbose);
                curl_setopt($ch, CURLOPT_AUTOREFERER, 1);
                //curl_setopt($ch, CURLOPT_FRESH_CONNECT, FALSE);
                //curl_setopt($ch, CURLOPT_NOBODY,true);
                curl_setopt($ch, CURLOPT_REFERER, $url);
                if (is_array($post))
                {
                        curl_setopt($ch, CURLOPT_POST,1); //Будем отправлять POST запрос
                        $query=http_build_query($post);
                        curl_setopt($ch, CURLOPT_POSTFIELDS,$query);
                }
 
                $data = curl_exec($ch);
                return $data;
        }
 

P.S. не судите строго, программирую на php не так давно