Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/topic.php on line 737
Форумы портала PHP.SU :: эмулирование браузера на сервере для париснга данных

 PHP.SU

Программирование на PHP, MySQL и другие веб-технологии
PHP.SU Портал     На главную страницу форума Главная     Помощь Помощь     Поиск Поиск     Поиск Яндекс Поиск Яндекс     Вакансии  Пользователи Пользователи


 Страниц (1): [1]   

> Без описания
daglas1
Отправлено: 22 Июля, 2011 - 22:38:17
Post Id


Посетитель


Покинул форум
Сообщений всего: 329
Дата рег-ции: Июль 2011  


Помог: 1 раз(а)




Всем привет.
Есть парочка сайтов которые необходимо парсить.
Хотелось бы их парсить в режиме 24/7, из своего хостинг аккаунта черех пхп скрипты запущенные под кроном. Только не уверен что это возможно.
Ибо все работает под аяксом и выполняется на клиентской машине. Много ява кода доступного только через innerhtml, сайт отдает данные по https протоколу только после авторазции. Данные обновляются каждые 60 секунд. Если это не возможно средствами пхп сделать то может Н-й ява скрипт который можно будет на браузере запускать под линуксовым ВПС сервером, все равно дешевле виндошного обойдется. И можно будет там запустить для парсинга 10-20 вкладок, чтобы в фоновом режиме все парсить?
 
 Top
Мелкий Супермодератор
Отправлено: 22 Июля, 2011 - 22:52:01
Post Id



Активный участник


Покинул форум
Сообщений всего: 11926
Дата рег-ции: Июль 2009  
Откуда: Россия, Санкт-Петербург


Помог: 618 раз(а)




https с авторизацией для курла не проблема, а вот аякс - головной боли доставит.
Может быть возможным такой вариант:
авторизоваться на сервисе и курлом с заданным интервалом запрашивать url, к которому аякс обращается.

Если url динамический - то или понять, как он формируется, или погуглить интерпретатор JS на PHP - пара проектов есть, но не знаю, в каком они состоянии.


-----
PostgreSQL DBA
 
 Top
Страниц (1): [1]
Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)
« Напишите за меня, пожалуйста »


Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.
 



Powered by PHP  Powered By MySQL  Powered by Nginx  Valid CSS  RSS

 
Powered by ExBB FM 1.0 RC1. InvisionExBB