PHP.SU

Программирование на PHP, MySQL и другие веб-технологии

PHP.SU Портал

Главная

Помощь

Поиск

Поиск Яндекс Вакансии

Пользователи

Здравствуйте, Гость

( Вход · Регистрация · Правила форума )

Забыли пароль?

Curl части очень большой страницы, как спарсить часть страницы?

Форумы портала PHP.SU » PHP » Программирование на PHP » Вопросы новичков (Модераторы: OrmaJever, Саныч, Строитель)

Страниц (1): [1]

Описание: Curl части очень большой страницы, как спарсить часть страницы?

Поиск в теме | Версия для печати

GigaSSS	Отправлено: 16 Декабря, 2016 - 22:29:44
Новичок Покинул форум Сообщений всего: 3 Дата рег-ции: Дек. 2016 Помог: 0 раз(а)	Здравствуйте, уважаемые гуру. Есть задача: нужно спарсить часть страницы, которая весит почти 10 мегабайт, из-за такого размера, парсинг занимает почти 1 минуту, но мне нужно спарсить только первые 1000 символов и соответственно сэкономить время. Как можно решить эту задачу? Пробовал curl_setopt($ch, CURLOPT_RANGE, "0-1000"); Не помогает, парсит всю страницу.

andrewkard	Отправлено: 16 Декабря, 2016 - 23:10:49
Участник Покинул форум Сообщений всего: 1372 Дата рег-ции: Нояб. 2014 Помог: 30 раз(а)	cURL обязательно? Вроде пишут с командной строки можно. Можно еще так: PHP: скопировать код в буфер обмена //string file_get_contents ( string $filename [, bool $use_include_path = false [, resource $context [, int $offset = 0 [, int $maxlen ]]]] ) echo file_get_contents('http://php.net/',0,null,0,1000);

GigaSSS	Отправлено: 17 Декабря, 2016 - 09:24:02
Новичок Покинул форум Сообщений всего: 3 Дата рег-ции: Дек. 2016 Помог: 0 раз(а)	andrewkard пишет: cURL обязательно? Вроде пишут с командной строки можно. Можно еще так: PHP: скопировать код в буфер обмена //string file_get_contents ( string $filename [, bool $use_include_path = false [, resource $context [, int $offset = 0 [, int $maxlen ]]]] ) echo file_get_contents('http://php.net/',0,null,0,1000); Думаю этот вариант не пройдет, так как нужно передать POST параметры

Мелкий	Отправлено: 17 Декабря, 2016 - 09:37:14
Активный участник Покинул форум Сообщений всего: 11926 Дата рег-ции: Июль 2009 Откуда: Россия, Санкт-Петербург Помог: 618 раз(а)	Посмотрите в сторону CURLOPT_PROGRESSFUNCTION http://stackoverflow[dot]com/a/17642638 Вроде бы то что нужно. ----- PostgreSQL DBA

andrewkard	Отправлено: 17 Декабря, 2016 - 10:46:50
Участник Покинул форум Сообщений всего: 1372 Дата рег-ции: Нояб. 2014 Помог: 30 раз(а)	GigaSSS пишет: Думаю этот вариант не пройдет, так как нужно передать POST параметры Есть варианты: PHP: скопировать код в буфер обмена $context = stream_context_create(array( 'http' => array( 'method' => 'POST', 'header' => 'Content-Type: application/x-www-form-urlencoded' . PHP_EOL, 'content' => QUERY, ), )); $data = file_get_contents('http://www.php.net', false, $context); echo $data; Мелкий пишет: Вроде бы то что нужно. Похоже.

GigaSSS	Отправлено: 17 Декабря, 2016 - 12:04:29
Новичок Покинул форум Сообщений всего: 3 Дата рег-ции: Дек. 2016 Помог: 0 раз(а)	Мелкий пишет: Посмотрите в сторону CURLOPT_PROGRESSFUNCTION http://stackoverflow[dot]com/a/17642638 Вроде бы то что нужно. Спасибо, помогло, но решил с помощью CURLOPT_WRITEFUNCTION

Поиск в теме | Версия для печати

Страниц (1): [1]

Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)

« Вопросы новичков »

Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.