PHP.SU

Программирование на PHP, MySQL и другие веб-технологии
PHP.SU Портал     На главную страницу форума Главная     Помощь Помощь     Поиск Поиск     Поиск Яндекс Поиск Яндекс     Вакансии  Пользователи Пользователи


 Страниц (1): [1]   

> Без описания
Sice
Отправлено: 22 Сентября, 2020 - 18:30:45
Post Id


Новичок


Покинул форум
Сообщений всего: 5
Дата рег-ции: Март 2020  


Помог: 0 раз(а)




Хочу спарсить данные с сайта гибdd, отсюда: https://xn--90adear.xn--p1ai/check/driver.

Делаю вот так:
PHP:
скопировать код в буфер обмена
  1.  
  2.  ini_set('max_execution_time', 60);
  3.     $cookieFile = tempnam(sys_get_temp_dir(), 'ccf');
  4.     $timeOut = ini_get('max_execution_time') - 5;
  5.     $ch = curl_init();
  6.         $ch,
  7.         [
  8.             CURLOPT_AUTOREFERER => true,
  9.             CURLOPT_FOLLOWLOCATION => true,
  10.             CURLOPT_MAXREDIRS => 3,
  11.             CURLOPT_POST => true,
  12.             CURLOPT_RETURNTRANSFER => true,
  13.             CURLOPT_HEADER => false,
  14.             CURLOPT_CONNECTTIMEOUT => $timeOut,
  15.             CURLOPT_TIMEOUT => $timeOut,
  16.             CURLOPT_COOKIEFILE => $cookieFile,
  17.             CURLOPT_COOKIEJAR => $cookieFile,
  18.             CURLOPT_POSTFIELDS => [
  19.                 "num" => "7746468933",
  20.                 "date" => "2010-16-20",
  21.                 "captchaWord" => "",
  22.                 "reCaptchaToken" => "03........FU"
  23.             ],
  24.             CURLOPT_URL => 'https://xn--b1afk4ade.xn--90adear.xn--p1ai/proxy/check/driver',
  25.             CURLOPT_USERAGENT => 'Mozilla/5.0 (Windows NT 10.0; Win64; x64; rv:81.0) Gecko/20100101 Firefox/81.0',
  26.             CURLOPT_HTTPHEADER => [
  27.                 'Upgrade-Insecure-Requests: 1',
  28.                 'Pragma: no-cache',
  29.                 'Cache-Control: no-cache',
  30.                 'Origin: https://xn--90adear.xn--p1ai',
  31.                 'Referer: https://xn--90adear.xn--p1ai/check/driver',
  32.             ],
  33.         ]
  34.     );
  35.    
  36.     var_dump(curl_exec($ch));
  37.  
  38.     curl_close($ch);
  39.  

В итоге получаю bool(false) Failed to connect to xn--b1afk4ade.xn--90adear.xn--p1 ai port 443: Время ожидания соединения истекло странно, но почему он не коннектит ? с браузера норм.. должен получить ошибку 201 по идее, что капча не прошла. А получаю false. Подскажите пожалуйста. Заранее спасибо.

CURLOPT_SSL_VERIFYPEER => false,
CURLOPT_SSL_VERIFYHOST => false, - Не помогает.
 
 Top
teleoperator27
Отправлено: 22 Сентября, 2020 - 23:43:23
Post Id



Посетитель


Покинул форум
Сообщений всего: 265
Дата рег-ции: Янв. 2017  


Помог: 21 раз(а)




CURLOPT_URL => 'https://xn--b1afk4ade.xn--90adear.xn--p1ai/proxy/check/driver',

Прям такой адрес у них?

(Отредактировано автором: 22 Сентября, 2020 - 23:43:49)

 
My status
 Top
Sice
Отправлено: 23 Сентября, 2020 - 08:19:28
Post Id


Новичок


Покинул форум
Сообщений всего: 5
Дата рег-ции: Март 2020  


Помог: 0 раз(а)




teleoperator27 пишет:
CURLOPT_URL => 'https://xn--b1afk4ade.xn--90adear.xn--p1ai/proxy/check/driver',

Прям такой адрес у них?

да)
 
 Top
imbecile
Отправлено: 23 Сентября, 2020 - 09:49:21
Post Id


Новичок


Покинул форум
Сообщений всего: 12
Дата рег-ции: Июль 2020  


Помог: 0 раз(а)




teleoperator27 пишет:
Прям такой адрес у них?

откройте для себя punycode
 
 Top
teleoperator27
Отправлено: 23 Сентября, 2020 - 18:50:27
Post Id



Посетитель


Покинул форум
Сообщений всего: 265
Дата рег-ции: Янв. 2017  


Помог: 21 раз(а)




imbecile пишет:
откройте для себя punycode

Откройте для себя, что такое bold
 
My status
 Top
imbecile
Отправлено: 23 Сентября, 2020 - 19:17:35
Post Id


Новичок


Покинул форум
Сообщений всего: 12
Дата рег-ции: Июль 2020  


Помог: 0 раз(а)




teleoperator27 пишет:
Откройте для себя, что такое bold

ух ты!

кстати, у мну под win нормас всё:

CODE (text):
скопировать код в буфер обмена
  1. D:\tmp>php --version
  2. PHP 7.4.6 (cli) (built: May 12 2020 11:38:52) ( NTS Visual C++ 2017 x64 )
  3. Copyright (c) The PHP Group
  4. Zend Engine v3.4.0, Copyright (c) Zend Technologies
  5. with Zend OPcache v7.4.6, Copyright (c), by Zend Technologies
  6. with Xdebug v2.9.0, Copyright (c) 2002-2019, by Derick Rethans
  7.  
  8. D:\tmp\test.php:38:
  9. string(146) "{"code":201,"message":"Проверка с помощью Google reCaptcha v3 не была пройдена, повторите попытку."}"
 
 Top
Sice
Отправлено: 23 Сентября, 2020 - 20:40:25
Post Id


Новичок


Покинул форум
Сообщений всего: 5
Дата рег-ции: Март 2020  


Помог: 0 раз(а)




imbecile пишет:
teleoperator27 пишет:
Откройте для себя, что такое bold

ух ты!

кстати, у мну под win нормас всё:

CODE (text):
скопировать код в буфер обмена
  1. D:\tmp>php --version
  2. PHP 7.4.6 (cli) (built: May 12 2020 11:38:52) ( NTS Visual C++ 2017 x64 )
  3. Copyright (c) The PHP Group
  4. Zend Engine v3.4.0, Copyright (c) Zend Technologies
  5. with Zend OPcache v7.4.6, Copyright (c), by Zend Technologies
  6. with Xdebug v2.9.0, Copyright (c) 2002-2019, by Derick Rethans
  7.  
  8. D:\tmp\test.php:38:
  9. string(146) "{"code":201,"message":"Проверка с помощью Google reCaptcha v3 не была пройдена, повторите попытку."}"

странно, я использую виртуальный хостинг на Jino.. почему тогда там проблема ?

(Отредактировано автором: 23 Сентября, 2020 - 20:41:01)

 
 Top
imbecile
Отправлено: 24 Сентября, 2020 - 02:55:23
Post Id


Новичок


Покинул форум
Сообщений всего: 12
Дата рег-ции: Июль 2020  


Помог: 0 раз(а)




Sice пишет:
странно, я использую виртуальный хостинг на Jino.. почему тогда там проблема ?

кроме как

и, если есть возможность, логи глянуть, хз
можно ещё куда-нить попробовать попостить на другой ресурс с другими параметрами, может у хостера с курлом проблема
 
 Top
Vladimir Kheifets
Отправлено: 24 Сентября, 2020 - 07:53:15
Post Id



Частый посетитель


Покинул форум
Сообщений всего: 559
Дата рег-ции: Март 2017  
Откуда: Германия, Бавария


Помог: 26 раз(а)




Sice пишет:
Хочу спарсить данные с сайта гибdd, отсюда: https://xn--90adear.xn--p1ai/check/driver.

Спойлер (Отобразить)

В итоге получаю bool(false) Failed to connect to xn--b1afk4ade.xn--90adear.xn--p1 ai port 443: Время ожидания соединения истекло странно, но почему он не коннектит ? с браузера норм.. должен получить ошибку 201 по идее, что капча не прошла. А получаю false. Подскажите пожалуйста. Заранее спасибо.

CURLOPT_SSL_VERIFYPEER => false,
CURLOPT_SSL_VERIFYHOST => false, - Не помогает.

Добрый день!
Для начала, попробовал открыть в браузере Mozilla линк
https://xn--90adear[dot]xn--p1ai/check
Пишут:
Цитата:
В связи с технологическими работами возможны затруднения в доступе к сайту.
Приносим свои извинения за доставленные неудобства.

Попытался открыть Ваш линк:
https://xn--90adear[dot]xn--p1ai/check/driver
Там показывает:
Цитата:
Проверка водителя
Идет загрузка...
"крутится" gif и нечего неприсходит.

помотрел код:
CODE (html):
скопировать код в буфер обмена
  1. <h1>Проверка водителя</h1>
  2. <div id="appCheckContainer">
  3.     <div class="appCheckLoadProgress"><p>
  4.         Идет загрузка...<img src="/assets/img/wait.gif"/></p></div>
  5. </div>
  6. <script type="text/javascript" src="https://check.gibdd.ru/proxy/check/driver/app.js"></script>


Сообщения в консоле:
Цитата:
Loading failed for the <script> with the source "https://check.gibdd.ru/proxy/check/driver/app.js". driver:2751:1
Loading failed for the <script> with the source "https://stat.sputnik.ru/cnt.js"

Советую, в начале проверять в браузере контент, который Вы хотите спарсить, а также
pеспонсе в json и xml форматах.
Удачи!

(Отредактировано автором: 24 Сентября, 2020 - 07:55:07)

 
 Top
Sice
Отправлено: 24 Сентября, 2020 - 08:33:03
Post Id


Новичок


Покинул форум
Сообщений всего: 5
Дата рег-ции: Март 2020  


Помог: 0 раз(а)




Vladimir Kheifets пишет:
Sice пишет:
Хочу спарсить данные с сайта гибdd, отсюда: https://xn--90adear.xn--p1ai/check/driver.

Спойлер (Отобразить)

В итоге получаю bool(false) Failed to connect to xn--b1afk4ade.xn--90adear.xn--p1 ai port 443: Время ожидания соединения истекло странно, но почему он не коннектит ? с браузера норм.. должен получить ошибку 201 по идее, что капча не прошла. А получаю false. Подскажите пожалуйста. Заранее спасибо.

CURLOPT_SSL_VERIFYPEER => false,
CURLOPT_SSL_VERIFYHOST => false, - Не помогает.

Добрый день!
Для начала, попробовал открыть в браузере Mozilla линк
https://xn--90adear[dot]xn--p1ai/check
Пишут:
Цитата:
В связи с технологическими работами возможны затруднения в доступе к сайту.
Приносим свои извинения за доставленные неудобства.

Попытался открыть Ваш линк:
https://xn--90adear[dot]xn--p1ai/check/driver
Там показывает:
Цитата:
Проверка водителя
Идет загрузка...
"крутится" gif и нечего неприсходит.

помотрел код:
CODE (html):
скопировать код в буфер обмена
  1. <h1>Проверка водителя</h1>
  2. <div id="appCheckContainer">
  3.     <div class="appCheckLoadProgress"><p>
  4.         Идет загрузка...<img src="/assets/img/wait.gif"/></p></div>
  5. </div>
  6. <script type="text/javascript" src="https://check.gibdd.ru/proxy/check/driver/app.js"></script>


Сообщения в консоле:
Цитата:
Loading failed for the <script> with the source "https://check.gibdd.ru/proxy/check/driver/app.js". driver:2751:1
Loading failed for the <script> with the source "https://stat.sputnik.ru/cnt.js"

Советую, в начале проверять в браузере контент, который Вы хотите спарсить, а также
pеспонсе в json и xml форматах.
Удачи!

Спасибо за развернутый ответ. Да, знаю, что он временами недоступен. Ссылки все в бразуере открывал, js код смотрел и он ведёт на https://check[dot]gibdd[dot]ru/proxy/check/driver/
Пишет, что нельзя использовать метод GET.

Не пойму, причину, почему на Винде всё норм работает, а на хостинге отваливается.
Пробовал несколько разных - результат один
(Добавление)
imbecile пишет:
Sice пишет:
странно, я использую виртуальный хостинг на Jino.. почему тогда там проблема ?

кроме как

и, если есть возможность, логи глянуть, хз
можно ещё куда-нить попробовать попостить на другой ресурс с другими параметрами, может у хостера с курлом проблема

error_reporting ничего не выдаёт, два хостера попробовал, одинаковая фигня)
 
 Top
imbecile
Отправлено: 24 Сентября, 2020 - 15:40:32
Post Id


Новичок


Покинул форум
Сообщений всего: 12
Дата рег-ции: Июль 2020  


Помог: 0 раз(а)




попробуйте с хостингов хотя бы GETзапросы попосылать
 
 Top
Vladimir Kheifets
Отправлено: 25 Сентября, 2020 - 06:51:20
Post Id



Частый посетитель


Покинул форум
Сообщений всего: 559
Дата рег-ции: Март 2017  
Откуда: Германия, Бавария


Помог: 26 раз(а)




imbecile пишет:
попробуйте с хостингов хотя бы GETзапросы попосылать

Посмотрите, что написал Sice:
Sice пишет:
Ссылки все в бразуере открывал, js код смотрел и он ведёт на https://check[dot]gibdd[dot]ru/proxy/check/driver/
Пишет, что нельзя использовать метод GET.
 
 Top
Страниц (1): [1]
Сейчас эту тему просматривают: 1 (гостей: 1, зарегистрированных: 0)
« Вопросы новичков »


Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.
 



Powered by PHP  Powered By MySQL  Powered by Nginx  Valid CSS  RSS

 
Powered by ExBB FM 1.0 RC1. InvisionExBB