Форумы портала PHP.SU :: Версия для печати :: Мониторинг стороннего сайта с авторизацией

1. Tmin10 - 25 Мая, 2011 - 20:18:34 - перейти к сообщению

Хочу написать мониторинг стороннего сайта, на котором нужна авторизация.
Чем лучше реализовать Curl'ом или на сокетах?
Можно ли полностью модифицировать заголовки, передаваемые на сайт?

2. EuGen - 25 Мая, 2011 - 20:19:56 - перейти к сообщению

Tmin10 пишет:

Чем лучше реализовать Curl'ом или на сокетах?

Лучше curl. Если запросов много, то curl_multi

Tmin10 пишет:

Можно ли полностью модифицировать заголовки, передаваемые на сайт?

Можно.

3. Tmin10 - 25 Мая, 2011 - 20:34:49 - перейти к сообщению

А много это сколько?

4. EuGen - 25 Мая, 2011 - 20:35:39 - перейти к сообщению

Достаточно для того, чтобы задуматься об оптимизации. Я ведь не знаю заранее, как часто Вы хотите мониторить, как долго отвечает сторонний сайт и т.п.

5. Tmin10 - 25 Мая, 2011 - 20:37:33 - перейти к сообщению

Не более пары запросов в секунду, пинг до сайта небольшой (>100)

6. Tmin10 - 06 Июня, 2011 - 23:02:31 - перейти к сообщению

А как сделать параллельные запросы, сейчас уже при 5 запросах время загрузки страницы скрипта 9 секунд, мне же нужно 10-15 запросов?

7. DeepVarvar - 06 Июня, 2011 - 23:19:07 - перейти к сообщению

делать запросы заранее, а на страницу выдавать готовые на текущий момент результаты.

8. Tmin10 - 06 Июня, 2011 - 23:24:14 - перейти к сообщению

Мне все вместе надо, они друг с другом сравниваются и выдаётся заключение.
Где стоит оптимизировать скрипт?

9. Tmin10 - 07 Июня, 2011 - 21:16:13 - перейти к сообщению

Решил попробовать curl_multi и вот думаю, как мне получить код страничек после

PHP:
скопировать код в буфер обмена

do { 
    curl_multi_exec($mh,$running); 
} while ($running > 0);

Использую пример из документации:

PHP:
скопировать код в буфер обмена

<?PHP  
// create both cURL resources 
$ch1 = curl_init(); 
$ch2 = curl_init(); 
 
// set URL and other appropriate options 
curl_setopt($ch1, CURLOPT_URL, "http://www.example.com/"); 
curl_setopt($ch1, CURLOPT_HEADER, 0); 
curl_setopt($ch2, CURLOPT_URL, "http://www.php.net/"); 
curl_setopt($ch2, CURLOPT_HEADER, 0); 
 
//create the multiple cURL handle 
$mh = curl_multi_init(); 
 
//add the two handles 
curl_multi_add_handle($mh,$ch1); 
curl_multi_add_handle($mh,$ch2); 
 
$running=null; 
//execute the handles 
do { 
    curl_multi_exec($mh,$running); 
} while ($running > 0); 
 
//close the handles 
curl_multi_remove_handle($ch1); 
curl_multi_remove_handle($ch2); 
curl_multi_close($mh); 
 
?>