Нашел в интернете способ загрузки контента с помощью библиотеки cURL. Но не все WEB страницы можно загрузить таким образом.
Контент некоторых страниц читается без проблем, как например http://php.net/
Но есть много страниц контент которых прочитать не удается, либо не полностью
Например: https://www.google.com.ua/, http://www[dot]vesti[dot]ru/
Подскажите что нужно подправить, что бы можно было читать контент любой страницы на которую можно зайти браузером. Или как сделать по другому.
Ниже привожу полный код скрипта по загрузке контента.
PHP:
скопировать код в буфер обмена
<html> <head> <meta http-equiv="Content-Type" content="text/html; charset=utf-8;"/> <title>get url content</title> <style> input[type="text"]{width: 100%;} </style> </head> <body> <h3 style="text-align: center;">Получить контент по <i>URL</i></h3> <?PHP if ($_SERVER["REQUEST_METHOD"]=="GET"){ $url = "http://php.net/"; echo <<<EOD <form action="" method="POST"> <b>url:</b><br> <input type="text" name="url" value="{$url}"/> <br><br> <input type="submit" name="curl" value="загрузить контент с помощью библиотеки cURL"/> </form> EOD; } curl_setopt($ch, CURLOPT_RETURNTRANSFER , true); //вернуть данные, а не выводить в браузер $out_file = "curl.html"; //сохраняем полученый контент в файл $dst = fopen($out_file, "w"); echo "<a href='{$out_file}' target='_blank'>Открыть контент: {$out_file}</a>"; ?> </body> </html>
|