PHP.SU

Программирование на PHP, MySQL и другие веб-технологии

PHP.SU Портал

Главная

Помощь

Поиск

Поиск Яндекс Вакансии

Пользователи

Здравствуйте, Гость

( Вход · Регистрация · Правила форума )

Забыли пароль?

curl Биline

Форумы портала PHP.SU » PHP » Программирование на PHP » Работа с сетью (Модераторы: OrmaJever, Саныч)

Страниц (1): [1]

Описание: Парсинг

Поиск в теме | Версия для печати

die	Отправлено: 27 Декабря, 2012 - 20:18:07
Новичок Покинул форум Сообщений всего: 35 Дата рег-ции: Июль 2012 Помог: 0 раз(а)	Добрый день! Подскажите в чём проблема несколько дней мучаюсь! Написал скрипт который авторизуется на сайте Bилaйн, потом открывает страницу из которой мне нужно всё вытащить, но ничего не получается. Обо всем по порядку! 1 Открыть страницу ... и авторизоваться 2 Нужно перейти на страницу на которой, будут нужные мне данные (страница пустая) 3 Нажать на кнопку, чтобы отправился post запрос и на этой же странице показал мне данные 4 Спарсить данные 3 пункт не получается осуществить остальное под силу! Вот кусок кода PHP: скопировать код в буфер обмена $chek = curl_init(); curl_setopt($chek, CURLOPT_URL, 'https://uslugibееlinеruVIPPaymentHistorySwitchingActiondo'); //замените * на . curl_setopt($chek, CURLOPT_FOLLOWLOCATION, 1); curl_setopt($chek, CURLOPT_RETURNTRANSFER, 1); curl_setopt($chek, CURLOPT_CONNECTTIMEOUT, 30); curl_setopt($chek, CURLOPT_SSL_VERIFYPEER, 0); curl_setopt($chek, CURLOPT_SSL_VERIFYHOST, 0); curl_setopt($chek, CURLOPT_POST, 1); curl_setopt($chek, CURLOPT_NOBODY, 0); curl_setopt($chek, CURLOPT_HEADER, 1); curl_setopt($chek, CURLOPT_NOPROGRESS, 1); curl_setopt($chek, CURLOPT_POSTFIELDS, 'тут пишу POST запрос который обычно отсылает браузер!'); curl_setopt($chek, CURLOPT_COOKIEJAR, "/cookies.txt"); curl_setopt($chek, CURLOPT_COOKIEFILE, "/cookies.txt"); $headers = array (тут пишу обычный заголовок какой пишет браузер! ); curl_setopt($chek, CURLOPT_HTTPHEADER,$headers); $result = curl_exec($chek); echo $result; curl_close($chek); авторизируюсь прохожу на страницу нужную отправляю post и в ответ ничего не получаю

DeepVarvar	Отправлено: 27 Декабря, 2012 - 20:39:41
Активный участник Покинул форум Сообщений всего: 10377 Дата рег-ции: Дек. 2008 Откуда: Альфа Центавра Помог: 353 раз(а)	Возможно там стоит защита в виде картинки 1х1 пиксель, которая синхронизирует сессию, например, или в css работает скрипт, а не статический файл. Может быть все что угодно. А еще стоило бы пройти wget'ом и curl'ом из командной строки в дебаг-режиме, и посмотреть что там не так. И уже потом переносить это на обертку в php. ----- Шта? Репозиторий?

die	Отправлено: 27 Декабря, 2012 - 21:18:57
Новичок Покинул форум Сообщений всего: 35 Дата рег-ции: Июль 2012 Помог: 0 раз(а)	DeepVarvar можно поподробней с картинкой это как? смысл проходить wget'ом и curl'ом из командной строки когда запрос не показывает или он там может показать а в браузере нет?

DeepVarvar	Отправлено: 27 Декабря, 2012 - 21:44:43
Активный участник Покинул форум Сообщений всего: 10377 Дата рег-ции: Дек. 2008 Откуда: Альфа Центавра Помог: 353 раз(а)	die пишет: он там может показать а в браузере нет Именно: Спойлер (Отобразить) CODE (stdout): скопировать код в буфер обмена deep@wolf:~$ wget -d http://vk.com DEBUG output created by Wget 1.12 on linux-gnu. --2012-12-27 23:43:20-- http://vk.com/ Resolving vk.com... 87.240.143.245, 87.240.143.244, 87.240.143.243, ... Caching vk.com => 87.240.143.245 87.240.143.244 87.240.143.243 87.240.143.242 87.240.143.241 87.240.131.120 87.240.131.119 87.240.131.118 87.240.131.117 87.240.131.104 87.240.131.103 87.240.131.102 87.240.131.101 87.240.131.100 87.240.131.99 87.240.131.98 87.240.131.97 87.240.143.248 87.240.143.247 87.240.143.246 2a00:bdc0:3:103:1:0:403:907 2a00:bdc0:3:103:1:0:403:908 2a00:bdc0:3:103:1:0:403:909 2a00:bdc0:3:103:1:0:403:900 2a00:bdc0:3:103:1:0:403:901 2a00:bdc0:3:103:1:0:403:902 2a00:bdc0:3:103:1:0:403:903 2a00:bdc0:3:103:1:0:403:904 2a00:bdc0:3:103:1:0:403:905 2a00:bdc0:3:103:1:0:403:906 Connecting to vk.com\|87.240.143.245\|:80... connected. Created socket 3. Releasing 0x093acd28 (new refcount 1). ---request begin--- GET / HTTP/1.0 User-Agent: Wget/1.12 (linux-gnu) Accept: / Host: vk.com Connection: Keep-Alive ---request end--- HTTP request sent, awaiting response... ---response begin--- HTTP/1.1 200 OK Server: nginx/1.2.4 Date: Thu, 27 Dec 2012 19:43:21 GMT Content-Type: text/html; charset=windows-1251 Connection: close X-Powered-By: PHP/5.2.6-1+lenny9 Set-Cookie: remixlang=0; expires=Thu, 02-Jan-2014 20:22:19 GMT; path=/; domain=.vk.com Pragma: no-cache Cache-control: no-store Vary: Accept-Encoding ---response end--- 200 OK cdm: 1 2 Stored cookie vk.com -1 (ANY) / <permanent> <insecure> [expiry 2014-01-03 00:22:19] remixlang 0 Length: unspecified [text/html] Saving to: “index.html” [ <=> ] 15,528 --.-K/s in 0.01s Closed fd 3 2012-12-27 23:43:21 (1.03 MB/s) - “index.html” saved [15528] (Добавление) die пишет: можно поподробней с картинкой это как В браузер подгружается страница с html-разметкой. В разметке указано например <img src="/image.jpg" />. В .htaccess прописан реврайт на скрипт image.jpg => /image.php скрипт генерирует значение ключа сессии и jpg-картинку 1х1 пиксель. Сама картинка сути не несет, зато ключик сгенерирован. Теперь при отправке формы с пост-запросом, в обработчике ожидают не только нужные поля, но и ключик сессии, сгенерированый в image.php ----- Шта? Репозиторий?

die	Отправлено: 28 Декабря, 2012 - 21:11:52
Новичок Покинул форум Сообщений всего: 35 Дата рег-ции: Июль 2012 Помог: 0 раз(а)	DeepVarvar а если отключить картинки в браузере и сайт будет нормально работать, то эта идея с картинкой отпадает ? (Добавление) когда смотрю куки в браузере их 6 штук когда curl сохраняет их в файле их всего 3 что делать как исправить как исправить? Восможно ли посмотреть какой post запрос отправляет curl серверу ?

DeepVarvar	Отправлено: 28 Декабря, 2012 - 22:45:02
Активный участник Покинул форум Сообщений всего: 10377 Дата рег-ции: Дек. 2008 Откуда: Альфа Центавра Помог: 353 раз(а)	die пишет: Восможно ли посмотреть какой post запрос отправляет curl серверу Да, запустите его в консоли с теми же параметрами что и в скрипте, только с опцией -d (вроде маленькая d), это debug. Ну или почти везде есть опция -v (verbose), что практически тот же debug. Curl все покажет, как и мой пример с wget: DeepVarvar пишет: wget -d http://vk.com (Добавление) die пишет: а если отключить картинки в браузере и сайт будет нормально работать, то эта идея с картинкой отпадает ? Да, но есть еще стили, скрипты и прочие подключаемые файлы. ----- Шта? Репозиторий?

die	Отправлено: 29 Декабря, 2012 - 00:28:19
Новичок Покинул форум Сообщений всего: 35 Дата рег-ции: Июль 2012 Помог: 0 раз(а)	про отправляемый запрос curl имел ввиду в php пробовал verbose он там его не показывает или не там смотрю ( с wget чтото у меня не срослось картинки отключил всё норм работает щас ещё танцуюкопаю с бубнолопатой

DeepVarvar	Отправлено: 29 Декабря, 2012 - 00:43:53
Активный участник Покинул форум Сообщений всего: 10377 Дата рег-ции: Дек. 2008 Откуда: Альфа Центавра Помог: 353 раз(а)	Вобщем мне показалось что вы не понимаете чутка. Собсно curl это такая программа, бинарник, curl.exe или просто curl (без расширения для NIX систем, где он первым и появился, а уж потом был портирован под винды). А то, что вы пишете в php curl_ это пехапешная обертка для вызова этого бинарника. Вам же нужно просто открыть консоль и вызвать бинарника передав ему те параметры, которые вы передаете обертке в php, которая передает их бинарнику. ----- Шта? Репозиторий?

die	Отправлено: 29 Декабря, 2012 - 04:20:40
Новичок Покинул форум Сообщений всего: 35 Дата рег-ции: Июль 2012 Помог: 0 раз(а)	DeepVarvar lда мольца не догнал) Щас попробовал на curl (без php) авторизовался перешёл на страницу отправляю пост, сохраняю страницу и ничего в ответ! Показывает что сервис временно недоступен такой ошибки можно добиться если запрос не так отправить через браузер (Добавление) DeepVarvar пишет: только с опцией -d (вроде маленькая d), это debug это отправка post

Поиск в теме | Версия для печати

Страниц (1): [1]

Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)

« Работа с сетью »

Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.