PHP.SU

Программирование на PHP, MySQL и другие веб-технологии

PHP.SU Портал

Главная

Помощь

Поиск

Поиск Яндекс Вакансии

Пользователи

Здравствуйте, Гость

( Вход · Регистрация · Правила форума )

Забыли пароль?

Парсинг страницы получаемой по выполнению скрипта на JS

Форумы портала PHP.SU » PHP » Программирование на PHP » Вопросы новичков (Модераторы: OrmaJever, Саныч, Строитель)

Страниц (1): [1]

Без описания

Поиск в теме | Версия для печати

DeMonyan	Отправлено: 03 Января, 2013 - 11:43:31
Новичок Покинул форум Сообщений всего: 43 Дата рег-ции: Нояб. 2011 Помог: 0 раз(а)	Здравствуйте, господа Гуру, с наступившими Вас праздниками. В общем задача у меня в следующем: CODE (htmlphp): скопировать код в буфер обмена $url ="http://virtonomica.ru/vera/main/common/main_page/game_info/salary"; $page = file_get_contents($url); Вот таким образом получаю страницу и потом уже пишу обработку чтобы выдернуть те данные, которые мне нужны. Но проблема в том, что тут данные выводятся постранично. По такой ссылке я могу получить код только первой страницы. На странице можно либо увеличить количество выводимых данных либо открыть вторую страницу, мне подойдёт любой вариант. В коде страницы посмеотрел, что увеличение количество данных выводимых происходит по вот такой ссылке: CODE (htmlphp): скопировать код в буфер обмена http://virtonomica.ru/vera/main/common/util/setpaging/geo/salaryChanges/ Если указать в конце ссылки число, то загружается страница с указанным числом записей, если указать два параметра через слеш, то откроется страница с количеством записай указанных первым числом, и номер страницы указанный вторым числом, но если её пытаться загрузить указанным выше способом, то загрузится заглавная страница сайта, а не то что мне нужно. Собственно говоря и вопрос как можно получить данные с такой страницы?

esterio	Отправлено: 03 Января, 2013 - 12:17:40
Активный участник Покинул форум Сообщений всего: 5025 Дата рег-ции: Нояб. 2012 Откуда: Украина, Львов Помог: 127 раз(а)	Посмотрите в firebug хидеры, праметры, и делайте cURL-ом так само

DeMonyan	Отправлено: 03 Января, 2013 - 12:46:30
Новичок Покинул форум Сообщений всего: 43 Дата рег-ции: Нояб. 2011 Помог: 0 раз(а)	esterio пишет: Посмотрите в firebug хидеры, праметры, и делайте cURL-ом так само Не понял, что значит смотреть хидеры? На счёт JS я не прав был. Зря его приплёл в названии темы.

Muxa	Отправлено: 03 Января, 2013 - 12:52:38
Частый гость Покинул форум Сообщений всего: 247 Дата рег-ции: Март 2012 Откуда: Россия, Тверь Помог: 5 раз(а)	передаваемые заголовки при пагинации посмотрите в консоли, а затем cURL-ом отправляйте такие заголовки и парсите

DeMonyan	Отправлено: 03 Января, 2013 - 13:01:20
Новичок Покинул форум Сообщений всего: 43 Дата рег-ции: Нояб. 2011 Помог: 0 раз(а)	Muxa пишет: передаваемые заголовки при пагинации посмотрите в консоли, а затем cURL-ом отправляйте такие заголовки и парсите Так в том и соль! Я же написал, что CODE (htmlphp): скопировать код в буфер обмена http://virtonomica.ru/vera/main/common/util/setpaging/geo/salaryChanges/ К вот такой ссылке добавляется 100, тогда откроется по 100 записей на странице, добавить 50/1/ откроется по 50 записей и первая страница. Но если к такому URL обратиться напрямую, то загрузится заглавная страница сайта, вместой той которая нужна. Т.е. получает нужно загрузить страницу: http://virtonomica[dot]ru/vera/main/[dot][dot][dot]game_info/salary там активировать ссылку и результат уже парсить. (Отредактировано автором: 03 Января, 2013 - 13:06:40)

Muxa	Отправлено: 03 Января, 2013 - 14:44:04
Частый гость Покинул форум Сообщений всего: 247 Дата рег-ции: Март 2012 Откуда: Россия, Тверь Помог: 5 раз(а)	curl-ом отправляйте запрос и получайте результат http://www.php.su/functions/?cat=curl

esterio	Отправлено: 03 Января, 2013 - 16:06:09
Активный участник Покинул форум Сообщений всего: 5025 Дата рег-ции: Нояб. 2012 Откуда: Украина, Львов Помог: 127 раз(а)	1. Какой запрос там используеться GET или POST 2. Часто бывает что следующая страница отдаеться через сесию, тогда вам нужно запоминать куки 3. Вместо file_get_contents используйте cURL(ссилку вам бросили)

DeMonyan	Отправлено: 03 Января, 2013 - 21:16:25
Новичок Покинул форум Сообщений всего: 43 Дата рег-ции: Нояб. 2011 Помог: 0 раз(а)	esterio пишет: Посмотрите в firebug хидеры, праметры, и делайте cURL-ом так само Не понимаю я честное слово, что именно надо смотреть в firebug информации там вагон и маленькая тележка, что мне из этого нужно я реально не понимаю. esterio пишет: 1. Какой запрос там используеться GET или POST 2. Часто бывает что следующая страница отдаеться через сесию, тогда вам нужно запоминать куки 3. Вместо file_get_contents используйте cURL(ссилку вам бросили) Запроса насколько я понимаю там нет никакого в явной форме. Вполне возможно, что данные передаются в сессии. сURL использовать - это конечно хорошо, но я всё ещё не понимаю какие мне ему заголовки передать и как получить страницу не на 50 записей, а на 400 или как обратиться к второй странице по 50 записей. Я технологию не могу понять этого всего дела. Допустим передаётся в сессии, но поидее это не принципиально, т.к. на странице где записываются данные в переменную сессии стоит редирект в зависимости от URL с которого к ней обратились. И вот каким образом можно подменить этот URL я не понимаю. Нужно или загрузить страницу с 50-ю записями и каким-то образом с неё выполнить ссылку для увеличения количества записей или нужно обратиться непосредственно к скрипту который меняет количество отображаемых записей подменив URL страницы с которой я к нему обращаюсь. Если я что-то не правильно в этой ситуации понимаю, то поправьте пожалуйста. (Отредактировано автором: 03 Января, 2013 - 21:24:06)

DeMonyan	Отправлено: 04 Января, 2013 - 18:32:12
Новичок Покинул форум Сообщений всего: 43 Дата рег-ции: Нояб. 2011 Помог: 0 раз(а)	PHP: скопировать код в буфер обмена <?PHP //обращаюсь сначала к странице с которой хочу получить данные $ch = curl_init("http://virtonomica.ru/vera/window/common/main_page/game_info/salary"); //Сейчас мне нужен только заголовок, чтобы передать его дальше curl_setopt($ch, CURLOPT_HEADER, 1); curl_setopt($ch, CURLOPT_NOBODY, 1); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_exec($ch); //Сохранили полученный заголосок $header=curl_multi_getcontent($ch); //Печатал чтобы проверить, что получен заголовок. echo $header."<br /><br />"; curl_close($ch); //Теперь обращаемся к странице, которая увеличивает количество выводимых строк $ch1 = curl_init("http://virtonomica.ru/vera/main/common/util/setpaging/geo/salaryChanges/200"); curl_setopt($ch1, CURLOPT_HEADER, 1); //Передаём ей хедеры полученные с предыдущей страницы curl_setopt($ch1, CURLOPT_HTTPHEADER, $header); curl_setopt($ch1, CURLOPT_RETURNTRANSFER, 0); curl_exec($ch1); curl_close($ch1); ?> В итоге выводим и видим тупо два заголовка, не понимаю я как это правильно сделать?

esterio	Отправлено: 04 Января, 2013 - 18:39:40
Активный участник Покинул форум Сообщений всего: 5025 Дата рег-ции: Нояб. 2012 Откуда: Украина, Львов Помог: 127 раз(а)	Счас найду и брошу пример (Добавление) PHP: скопировать код в буфер обмена header('Content-type: text/html; charset=utf-8'); $size_in_page = 25; $url = 'http://virtonomica.ru/vera/main/common/main_page/game_info/salary'; $cookie = dirname(__FILE__).'/cookie.txt'; $curl = curl_init($url); curl_setopt($curl, CURLOPT_RETURNTRANSFER, true); curl_setopt($curl, CURLOPT_FOLLOWLOCATION, true); curl_setopt($curl, CURLOPT_MAXREDIRS, 10); /* Max redirection to follow */ curl_setopt($curl, CURLOPT_COOKIEFILE, $cookie); //Из какого файла читать curl_setopt($curl, CURLOPT_COOKIEJAR, $cookie); $response = curl_exec($curl); for($i = 0; $i < 2; $i++) { $url = 'http://virtonomica.ru/vera/main/common/util/setpaging/geo/salaryChanges/'.$size_in_page.'/'.$i; curl_setopt($curl, CURLOPT_URL, $url); $response = curl_exec($curl); echo $response, '<br>'; } curl_close($curl); Как-то так, но постранично у меня ен получилось, времени нету ковирять, думаю далее Вы сами сделаете

DeMonyan	Отправлено: 04 Января, 2013 - 21:08:07
Новичок Покинул форум Сообщений всего: 43 Дата рег-ции: Нояб. 2011 Помог: 0 раз(а)	esterio пишет: Счас найду и брошу пример Спасибо, Огромное! Немного поковыряв заработало именно так мне нужно. На досуге почитаю ещё мануал cURL интересная штука получается. Без вашего примера с получением Куков, не мог понять как с ними работать.

esterio	Отправлено: 05 Января, 2013 - 11:42:42
Активный участник Покинул форум Сообщений всего: 5025 Дата рег-ции: Нояб. 2012 Откуда: Украина, Львов Помог: 127 раз(а)	DeMonyan пишет: Без вашего примера с получением Куков, не мог понять как с ними работать. Лично я не люблю даный пример работы с кукисамы. Мне больше нравится читть заголовки и отдуда дергать куки

Поиск в теме | Версия для печати

Страниц (1): [1]

Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)

« Вопросы новичков »

Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.