Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/topic.php on line 737
Форумы портала PHP.SU :: Не достучаться до сайта используя Curl. Ошибка 404 not found

 PHP.SU

Программирование на PHP, MySQL и другие веб-технологии
PHP.SU Портал     На главную страницу форума Главная     Помощь Помощь     Поиск Поиск     Поиск Яндекс Поиск Яндекс     Вакансии  Пользователи Пользователи


 Страниц (1): [1]   

> Без описания
scva
Отправлено: 31 Августа, 2015 - 00:24:22
Post Id


Новичок


Покинул форум
Сообщений всего: 3
Дата рег-ции: Авг. 2015  


Помог: 0 раз(а)




Пытаюсь авторизироваться в своем кабинете на сайте pulscen.ru
Но никак не могу получить данные, все время выдает 404 not found, перепробывал все заголовки какие посылает браузер. Не достучать даже до главной страницы сайта.

PHP:
скопировать код в буфер обмена
  1. $url = "http://www.pulscen.ru";
  2. $useragent = "Mozilla/5.0 (Windows NT 10.0; WOW64; rv:39.0) Gecko/20100101 Firefox/39.0";
  3.  
  4. $cURLHeaders = array(
  5.         'Host' => "www.pulscen.ru",
  6.         'User-Agent'=>$useragent,
  7.         'Accept'=>"*/*",
  8.         'Accept-Language'=>"ru-RU,ru;q=0.8,en-US;q=0.5,en;q=0.3",
  9.         'Accept-Encoding'=>"gzip, deflate",
  10.         'X-NewRelic-ID'=>"VQUFVVRACQEEUlBS",
  11.         'X-Requested-With'=>"XMLHttpRequest",
  12.         'Referer'=>"http://www.pulscen.ru/",
  13.         'Connection'=>"keep-alive"
  14. );
  15.  
  16.  
  17. $ch = curl_init();
  18. curl_setopt($ch, CURLOPT_URL, $url);
  19. curl_setopt($ch, CURLOPT_HTTPHEADER, $cURLHeaders);
  20. curl_setopt($ch, CURLOPT_COOKIEJAR, 'cookies.txt');
  21. curl_setopt($ch, CURLOPT_COOKIEFILE, 'cookies.txt');  
  22. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  23. curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
  24. $data = curl_exec($ch);
  25.  
  26. print_r($data);

(Отредактировано автором: 31 Августа, 2015 - 00:42:50)

 
 Top
DlTA
Отправлено: 31 Августа, 2015 - 13:39:19
Post Id



Постоянный участник


Покинул форум
Сообщений всего: 2952
Дата рег-ции: Окт. 2010  


Помог: 53 раз(а)




а к другим сайтам? и к этому из браузера?
 
 Top
andrewkard
Отправлено: 31 Августа, 2015 - 14:24:22
Post Id


Участник


Покинул форум
Сообщений всего: 1372
Дата рег-ции: Нояб. 2014  


Помог: 30 раз(а)




scva
Попробуйте все заголовки прописать, у Вас не все вроде.
 
 Top
DlTA
Отправлено: 31 Августа, 2015 - 14:32:20
Post Id



Постоянный участник


Покинул форум
Сообщений всего: 2952
Дата рег-ции: Окт. 2010  


Помог: 53 раз(а)




гы, забавный сайт
в общем вас посылают, выдает 403
похоже nginx отфильтровует кривые запросы к сайту, такой се анти дос
(Добавление)
смотрите заголовки которые посылаются и какие возвращаются
(Добавление)
ааааааа, класс

объясняю: если провести анализ
то при первом запросе вас повторно кидает на этот же сайт,
первый запрос это запрос без кук,
при первом входе вам дают куки, и уже потом можете смотреть сайт

при первом входе вас кидает на
CODE (htmlphp):
скопировать код в буфер обмена
  1. http://www.pulscen.ru/?intruder_1dcca23355272056f04fe8bf20edfce0=1

от туда обратно на
CODE (htmlphp):
скопировать код в буфер обмена
  1. http://www.pulscen.ru/


в общем включите у себя куки и возможность следовать по переходам, хотя это все вроде включено, и в чем косяк надо анализировать дальше
 
 Top
scva
Отправлено: 31 Августа, 2015 - 15:40:52
Post Id


Новичок


Покинул форум
Сообщений всего: 3
Дата рег-ции: Авг. 2015  


Помог: 0 раз(а)




DlTA пишет:
гы, забавный сайт
в общем вас посылают, выдает 403
похоже nginx отфильтровует кривые запросы к сайту, такой се анти дос
(Добавление)
смотрите заголовки которые посылаются и какие возвращаются
(Добавление)
ааааааа, класс

объясняю: если провести анализ
то при первом запросе вас повторно кидает на этот же сайт,
первый запрос это запрос без кук,
при первом входе вам дают куки, и уже потом можете смотреть сайт

при первом входе вас кидает на
CODE (htmlphp):
скопировать код в буфер обмена
  1. http://www.pulscen.ru/?intruder_1dcca23355272056f04fe8bf20edfce0=1

от туда обратно на
CODE (htmlphp):
скопировать код в буфер обмена
  1. http://www.pulscen.ru/


в общем включите у себя куки и возможность следовать по переходам, хотя это все вроде включено, и в чем косяк надо анализировать дальше


Что и интересно, даже куки не получить
(Добавление)
andrewkard пишет:
scva
Попробуйте все заголовки прописать, у Вас не все вроде.


Перепробывал все заголовки. Тут дело в редиректах, НАВЕРНОЕ. Надо понять где куки получать.
(Добавление)
DlTA пишет:
а к другим сайтам? и к этому из браузера?


Указываем, к примеру, yandex.ru. Все ок
 
 Top
Ts.Saltan
Отправлено: 31 Августа, 2015 - 21:24:46
Post Id



Посетитель


Покинул форум
Сообщений всего: 384
Дата рег-ции: Дек. 2013  
Откуда: Belarus


Помог: 22 раз(а)




scva пишет:
'cookies.txt'

Создан ли этот файл и после запроса меняется ли его содержимое?
Обычно курл некорректно работает с относительными путями.
Лучше использовать realpath('cookie.txt') и создать этот файл заранее.

Для дебага установите CURLOPT_HEADER -> true
 
 Top
scva
Отправлено: 31 Августа, 2015 - 21:37:57
Post Id


Новичок


Покинул форум
Сообщений всего: 3
Дата рег-ции: Авг. 2015  


Помог: 0 раз(а)




Ts.Saltan пишет:
scva пишет:
'cookies.txt'

Создан ли этот файл и после запроса меняется ли его содержимое?
Обычно курл некорректно работает с относительными путями.
Лучше использовать realpath('cookie.txt') и создать этот файл заранее.

Для дебага установите CURLOPT_HEADER -> true


Файл создан, никаких изменений нет.

CURLOPT_HEADER -> true возвращает

HTTP/1.1 404 Not Found
Server: nginx/1.7.4
Date: Mon, 31 Aug 2015 18:38:13 GMT
Content-Type: text/html; charset=utf-8
Content-Length: 168
Connection: keep-alive
Keep-Alive: timeout=20

Для куки поставли $_SERVER['DOCUMENT_ROOT'].'cookies.txt'

(Отредактировано автором: 31 Августа, 2015 - 21:40:07)

 
 Top
Страниц (1): [1]
Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)
« Работа с сетью »


Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.
 



Powered by PHP  Powered By MySQL  Powered by Nginx  Valid CSS  RSS

 
Powered by ExBB FM 1.0 RC1. InvisionExBB