Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/topic.php on line 737
Форумы портала PHP.SU :: Парсинг результатов поискового запроса с двоеточием

 PHP.SU

Программирование на PHP, MySQL и другие веб-технологии
PHP.SU Портал     На главную страницу форума Главная     Помощь Помощь     Поиск Поиск     Поиск Яндекс Поиск Яндекс     Вакансии  Пользователи Пользователи


 Страниц (1): [1]   

> Без описания
Ammiak
Отправлено: 20 Ноября, 2015 - 14:15:30
Post Id


Частый гость


Покинул форум
Сообщений всего: 232
Дата рег-ции: Апр. 2011  


Помог: 0 раз(а)




Добрый день, парсинг результатов поискового запроса не работает если в запросе есть двоеточие, например так все нормально парсит:
PHP:
скопировать код в буфер обмена
  1.  
  2. $uri = 'http://nova.rambler.ru/search?query='.urlencode($_GET['text']).'&pagelen=30';
  3.  
  4. $ch = curl_init();
  5. curl_setopt($ch, CURLOPT_URL, $uri);
  6.  

а так уже нет (запрос title:значение $_GET['text']):
PHP:
скопировать код в буфер обмена
  1.  
  2. $uri = 'http://nova.rambler.ru/search?query=title%3A'.urlencode($_GET['text']).'&pagelen=30';
  3.  
  4. $ch = curl_init();
  5. curl_setopt($ch, CURLOPT_URL, $uri);
  6.  

Можно ли как-нибудь решить проблему с двоеточием?

(Отредактировано автором: 20 Ноября, 2015 - 14:16:15)

 
 Top
Ammiak
Отправлено: 24 Ноября, 2015 - 11:49:06
Post Id


Частый гость


Покинул форум
Сообщений всего: 232
Дата рег-ции: Апр. 2011  


Помог: 0 раз(а)




Удалось выяснить, что страница Рамблера, возвращаемая curl'ом, имеет неверные региональные настройка (Ваш город: Германия). В настройках рамблера в браузере регион установлен верно.
Как можно изменить регион с помощью curl либо вернуть каким-нибудь образом из своих настроек?
 
 Top
lastdays
Отправлено: 24 Ноября, 2015 - 23:45:34
Post Id



Частый гость


Покинул форум
Сообщений всего: 221
Дата рег-ции: Март 2013  


Помог: 7 раз(а)




Бо запрос идет с хоста, который очевидно в Германии.
 
 Top
Ammiak
Отправлено: 25 Ноября, 2015 - 10:17:19
Post Id


Частый гость


Покинул форум
Сообщений всего: 232
Дата рег-ции: Апр. 2011  


Помог: 0 раз(а)




Нет, в самом рамблере регион определяется и задается верно: http://joxi[dot]ru/a2XO4OMSxDKLmg
На странице, которую возвращает curl в настройках - Германия
 
 Top
Мелкий Супермодератор
Отправлено: 25 Ноября, 2015 - 12:17:54
Post Id



Активный участник


Покинул форум
Сообщений всего: 11926
Дата рег-ции: Июль 2009  
Откуда: Россия, Санкт-Петербург


Помог: 618 раз(а)




Ну и куда вы с такими знаниями полезли яндекс парсить? (почитайте повнимательнее страницу выдачи)
Вы думаете, что ваш браузер и запросы от курла имеют между собой хоть что-то общее?

Посмотрите, как меняется настройка региона, измените её аналогичными запроса от курла. Пару лет назад менять можно было гет-параметр


-----
PostgreSQL DBA
 
 Top
Ammiak
Отправлено: 25 Ноября, 2015 - 13:59:04
Post Id


Частый гость


Покинул форум
Сообщений всего: 232
Дата рег-ции: Апр. 2011  


Помог: 0 раз(а)




Цитата:
Посмотрите, как меняется настройка региона, измените её аналогичными запроса от курла.

Это понятно, знать бы куда именно смотреть. В GET-параметрах ничего относящегося к региону нет.
Цитата:
почитайте повнимательнее страницу выдачи

читал, ничего что могло бы помочь решить проблему не нашел.
И парсить я полез рамблер а не яндекс.
 
 Top
Мелкий Супермодератор
Отправлено: 25 Ноября, 2015 - 14:01:36
Post Id



Активный участник


Покинул форум
Сообщений всего: 11926
Дата рег-ции: Июль 2009  
Откуда: Россия, Санкт-Петербург


Помог: 618 раз(а)




Ammiak пишет:
И парсить я полез рамблер а не яндекс.

Вот именно об этом я и сказал "почитайте повнимательнее страницу выдачи"
У рамблера уже давным-давно нет поиска.

Ammiak пишет:
Это понятно, знать бы куда именно смотреть.

Куда-куда. В http-запросы.


-----
PostgreSQL DBA
 
 Top
Страниц (1): [1]
Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)
« Вопросы новичков »


Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.
 



Powered by PHP  Powered By MySQL  Powered by Nginx  Valid CSS  RSS

 
Powered by ExBB FM 1.0 RC1. InvisionExBB