PHP.SU

Программирование на PHP, MySQL и другие веб-технологии

PHP.SU Портал

Главная

Помощь

Поиск

Поиск Яндекс Вакансии

Пользователи

Здравствуйте, Гость

( Вход · Регистрация · Правила форума )

Забыли пароль?

как получить содержание web страницы в строку

Форумы портала PHP.SU » PHP » Напишите за меня, пожалуйста (Модератор: SAD)

Страниц (1): [1]

Описание: как получить содержание web страницы в строку

Поиск в теме | Версия для печати

Михайло	Отправлено: 20 Сентября, 2015 - 17:03:10
Новичок Покинул форум Сообщений всего: 5 Дата рег-ции: Сент. 2015 Помог: 0 раз(а)	Вот в чем вопрос. есть такой книжный интернет магазин http://my-shop[dot]ru/ как получить содержимое этой веб страницы в строку? раньше получалось это сделать с помощью $contents = file_get_contents ("http://my-shop[dot]ru/ "); сейчас почему то не получается, подскажите пожалуйста почему, и как это исправить.

DlTA	Отправлено: 20 Сентября, 2015 - 19:47:02
Постоянный участник Покинул форум Сообщений всего: 2952 Дата рег-ции: Окт. 2010 Помог: 53 раз(а)	Михайло пишет: раньше получалось это сделать с помощью $contents = file_get_contents ("http://my-shop[dot]ru/ "); сейчас почему то не получается, значит сайт стал умнее и фильтрует ботов курите маны cURL http://php.net/manual/ru/book.curl.php отправляйте нужные заголовки, эмулируйте браузер

Строитель	Отправлено: 20 Сентября, 2015 - 20:08:34
Участник Покинул форум Сообщений всего: 1581 Дата рег-ции: Февр. 2014 Откуда: Украина Помог: 74 раз(а)	Михайло пишет: Вот в чем вопрос. есть такой книжный интернет магазин http://my-shop[dot]ru/ как получить содержимое этой веб страницы в строку? раньше получалось это сделать с помощью $contents = file_get_contents ("http://my-shop[dot]ru/ "); сейчас почему то не получается, подскажите пожалуйста почему, и как это исправить. Примерно так PHP: скопировать код в буфер обмена <?PHP $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, 'http://my-shop.ru/'); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.1) Gecko/2008070208'); $data = strip_tags(iconv('CP1251', 'UTF-8', curl_exec($ch))); curl_close($ch); echo $data;

Михайло	Отправлено: 21 Сентября, 2015 - 22:08:32
Новичок Покинул форум Сообщений всего: 5 Дата рег-ции: Сент. 2015 Помог: 0 раз(а)	Да мысль я понял вроде бы все логично, но все равно не получается. Выводит 403 Forbidden nginx/0.7.65 Может можно еще как то попробовать?

Строитель	Отправлено: 21 Сентября, 2015 - 23:11:06
Участник Покинул форум Сообщений всего: 1581 Дата рег-ции: Февр. 2014 Откуда: Украина Помог: 74 раз(а)	Михайло пишет: Да мысль я понял вроде бы все логично, но все равно не получается. Выводит 403 Forbidden nginx/0.7.65 Может можно еще как то попробовать? Вы что-то не так делаете... У меня на локалке этот код работает Спойлер (Отобразить) PHP: скопировать код в буфер обмена <?PHP $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, 'http://my-shop.ru/'); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.1; ru; rv:1.9.0.1) Gecko/2008070208'); //$data = strip_tags(iconv('CP1251', 'UTF-8', curl_exec($ch))); $data = iconv('CP1251', 'UTF-8', curl_exec($ch)); curl_close($ch); $search = array ("'<script[^>]?>.?</script>'si", // Вырезает javaScript "'<[\/\!]?[^<>]?>'si", // Вырезает HTML-теги "'([\r\n])[\s]+'", // Вырезает пробельные символы "'&(quot\|#34);'i", // Заменяет HTML-сущности "'&(amp\|#38);'i", "'&(lt\|#60);'i", "'&(gt\|#62);'i", "'&(nbsp\|#160);'i", "'&(iexcl\|#161);'i", "'&(cent\|#162);'i", "'&(pound\|#163);'i", "'&(copy\|#169);'i", "'&#(\d+);'e"); // интерпретировать как php-код $replace = array ("", "", "\\1", "\"", "&", "<", ">", " ", chr(161), chr(162), chr(163), chr(169), "chr(\\1)"); $data = preg_replace($search, $replace, $data); echo $data; А на счёт ошибки 403

Михайло	Отправлено: 22 Сентября, 2015 - 21:29:00
Новичок Покинул форум Сообщений всего: 5 Дата рег-ции: Сент. 2015 Помог: 0 раз(а)	Скорее всего дело как раз в том что вы обращаетесь к my-shop с локалки и это воспринимается как обращение через браузер (Добавление) у вас есть возможность попробовать то же самое с виртуального сервера или хостинга?

Строитель	Отправлено: 23 Сентября, 2015 - 01:16:35
Участник Покинул форум Сообщений всего: 1581 Дата рег-ции: Февр. 2014 Откуда: Украина Помог: 74 раз(а)	Михайло пишет: Скорее всего дело как раз в том что вы обращаетесь к my-shop с локалки и это воспринимается как обращение через браузер (Добавление) у вас есть возможность попробовать то же самое с виртуального сервера или хостинга? Да, вот ссылка

Михайло	Отправлено: 23 Сентября, 2015 - 15:18:46
Новичок Покинул форум Сообщений всего: 5 Дата рег-ции: Сент. 2015 Помог: 0 раз(а)	Да действительно все отображается. Получается это конкретно на мой сервер блокировка. Скорее всего тогда у вас и простым file_get_contents получится спарсить страницу. Ради интереса и что бы до конца убедится сможем попробовать?

Строитель	Отправлено: 23 Сентября, 2015 - 20:00:48
Участник Покинул форум Сообщений всего: 1581 Дата рег-ции: Февр. 2014 Откуда: Украина Помог: 74 раз(а)	Михайло пишет: Да действительно все отображается. Получается это конкретно на мой сервер блокировка. Скорее всего тогда у вас и простым file_get_contents получится спарсить страницу. Ради интереса и что бы до конца убедится сможем попробовать? ... Сейчас попробую (Добавление) Вот код PHP: скопировать код в буфер обмена <?PHP $str = file_get_contents('http://my-shop.ru/'); echo iconv('CP1251', 'UTF-8', $str); А вот ссылка (Отредактировано автором: 23 Сентября, 2015 - 20:01:40)

Михайло	Отправлено: 23 Сентября, 2015 - 20:48:52
Новичок Покинул форум Сообщений всего: 5 Дата рег-ции: Сент. 2015 Помог: 0 раз(а)	спасибо, разобрались. нажать на ссылку спасибо не получается я еще не достаточное количество сообщений написал

Поиск в теме | Версия для печати

Страниц (1): [1]

Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)

« Напишите за меня, пожалуйста »

Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.