Форумы портала PHP.SU :: Версия для печати :: Загрузка контента WEB страницы с другого сервера

1. shurik_7866 - 18 Февраля, 2016 - 09:47:46 - перейти к сообщению

Нашел в интернете способ загрузки контента с помощью библиотеки cURL. Но не все WEB страницы можно загрузить таким образом.
Контент некоторых страниц читается без проблем, как например http://php.net/
Но есть много страниц контент которых прочитать не удается, либо не полностью
Например: https://www.google.com.ua/, http://www[dot]vesti[dot]ru/

Подскажите что нужно подправить, что бы можно было читать контент любой страницы на которую можно зайти браузером. Или как сделать по другому.

Ниже привожу полный код скрипта по загрузке контента.

PHP:
скопировать код в буфер обмена

<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8;"/>
<title>get url content</title>
<style>
input[type="text"]{width: 100%;}
</style>
</head>
<body>
<h3 style="text-align: center;">Получить контент по <i>URL</i></h3>
<?PHP 
if ($_SERVER["REQUEST_METHOD"]=="GET"){
        $url = "http://php.net/";
        
        echo <<<EOD
<form action="" method="POST">
<b>url:</b><br>
<input type="text" name="url" value="{$url}"/>
<br><br>
<input type="submit" name="curl" value="загрузить контент с помощью библиотеки cURL"/>
</form>
EOD;
 
        exit;
}
 
$ch = curl_init();
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); //вернуть данные, а не выводить в браузер
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_URL, $_POST["url"]);
$page=curl_exec($ch); //получить контент
curl_close($ch);
 
$out_file = "curl.html";
//сохраняем полученый контент в файл
$dst = fopen($out_file, "w");
fputs($dst, $page);
fclose($dst);
echo "<a href='{$out_file}' target='_blank'>Открыть контент: {$out_file}</a>";
?>
</body>
</html>