Форумы портала PHP.SU :: Версия для печати :: curl попытка забрать страницу

1. madmarley - 20 Июля, 2014 - 17:26:28 - перейти к сообщению

Здравствуйте.
Пытаюсь забрать страничку и скрипт как бы и работает но время от времени возникает проблема
браузер показывает страничку 404 потому что ссылка в строке меняется из demo.loc/ на http://demo[dot]loc/laws/show/4651-1[dot][dot][dot]UHelIAsXU1UGu31M
/laws/show/4651-17?test=KSbMf5tHLxL.acbkZigbiM5UHelIAsXU1UGu31M это скорее всего что то присылаемое сервером для перехода.. но я по этой ссылке должен пойти относительно ихнего домена а она приписывается к адресной строке в моем браузере
у меня вопрос почему так получается?

PHP:
скопировать код в буфер обмена

 
$text = "http://zakon4.rada.gov.ua/laws/show/4651-17";
require_once 'simple_html_dom.php';
$base_url = 'http://zakon4.rada.gov.ua/laws/show/4651-17';
 
$page = get_page($base_url,1);
echo $page;
 
function get_page($url,$x){
    if ($x > 5) {
        return 0;
    }
    echo 'URL '.$url.'<br>';
    $curl = curl_init (); // инициализация
    curl_setopt($curl,CURLOPT_URL,$url);
    curl_setopt($curl,CURLOPT_RETURNTRANSFER,true);
    //curl_setopt($curl,CURLOPT_NOBODY,true);
    curl_setopt($curl,CURLOPT_HEADER,true);
    curl_setopt($curl,CURLOPT_COOKIEJAR,cook.txt);
    $out = curl_exec($curl);
    echo $out.'<br>';
    $code = curl_getinfo($curl, CURLINFO_HTTP_CODE);
    echo $code.'<br>';
    if ($code == 301 || $code == 302) {
        preg_match('/Location:(.*?)\n/', $out, $matches);
        $url_sufix = trim(array_pop($matches));
        curl_close ($curl);
        return get_page(('http://zakon4.rada.gov.ua'.$url_sufix),$x++);
    }
    curl_close($curl);
    return $content;
}
 

скрипт сотый черновой вариант поэтому уже вбиваю костыли для быстроты не обращайте внимание на выход из рекурсии..

если включить опцию перенаправления собственно тоже проскакивает такая же проблема.

помогите разобраться с проблемой.