PHP.SU

Программирование на PHP, MySQL и другие веб-технологии

PHP.SU Портал

Главная

Помощь

Поиск

Поиск Яндекс Вакансии

Пользователи

Здравствуйте, Гость

( Вход · Регистрация · Правила форума )

Забыли пароль?

Мониторинг стороннего сайта с авторизацией

Форумы портала PHP.SU » PHP » Программирование на PHP » HTTP и PHP (Модераторы: OrmaJever, Саныч)

Страниц (1): [1]

Без описания

Поиск в теме | Версия для печати

Tmin10	Отправлено: 25 Мая, 2011 - 20:18:34
Частый гость Покинул форум Сообщений всего: 239 Дата рег-ции: Дек. 2009 Помог: 0 раз(а)	Хочу написать мониторинг стороннего сайта, на котором нужна авторизация. Чем лучше реализовать Curl'ом или на сокетах? Можно ли полностью модифицировать заголовки, передаваемые на сайт?

EuGen	Отправлено: 25 Мая, 2011 - 20:19:56
Профессионал Покинул форум Сообщений всего: 9095 Дата рег-ции: Июнь 2007 Откуда: Berlin Помог: 707 раз(а)	Tmin10 пишет: Чем лучше реализовать Curl'ом или на сокетах? Лучше curl. Если запросов много, то curl_multi Tmin10 пишет: Можно ли полностью модифицировать заголовки, передаваемые на сайт? Можно. ----- Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.

Tmin10	Отправлено: 25 Мая, 2011 - 20:34:49
Частый гость Покинул форум Сообщений всего: 239 Дата рег-ции: Дек. 2009 Помог: 0 раз(а)	А много это сколько?

EuGen	Отправлено: 25 Мая, 2011 - 20:35:39
Профессионал Покинул форум Сообщений всего: 9095 Дата рег-ции: Июнь 2007 Откуда: Berlin Помог: 707 раз(а)	Достаточно для того, чтобы задуматься об оптимизации. Я ведь не знаю заранее, как часто Вы хотите мониторить, как долго отвечает сторонний сайт и т.п. ----- Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.

Tmin10	Отправлено: 25 Мая, 2011 - 20:37:33
Частый гость Покинул форум Сообщений всего: 239 Дата рег-ции: Дек. 2009 Помог: 0 раз(а)	Не более пары запросов в секунду, пинг до сайта небольшой (>100)

Tmin10	Отправлено: 06 Июня, 2011 - 23:02:31
Частый гость Покинул форум Сообщений всего: 239 Дата рег-ции: Дек. 2009 Помог: 0 раз(а)	А как сделать параллельные запросы, сейчас уже при 5 запросах время загрузки страницы скрипта 9 секунд, мне же нужно 10-15 запросов?

DeepVarvar	Отправлено: 06 Июня, 2011 - 23:19:07
Активный участник Покинул форум Сообщений всего: 10377 Дата рег-ции: Дек. 2008 Откуда: Альфа Центавра Помог: 353 раз(а)	делать запросы заранее, а на страницу выдавать готовые на текущий момент результаты. ----- Шта? Репозиторий?

Tmin10	Отправлено: 06 Июня, 2011 - 23:24:14
Частый гость Покинул форум Сообщений всего: 239 Дата рег-ции: Дек. 2009 Помог: 0 раз(а)	Мне все вместе надо, они друг с другом сравниваются и выдаётся заключение. Где стоит оптимизировать скрипт?

Tmin10	Отправлено: 07 Июня, 2011 - 21:16:13
Частый гость Покинул форум Сообщений всего: 239 Дата рег-ции: Дек. 2009 Помог: 0 раз(а)	Решил попробовать curl_multi и вот думаю, как мне получить код страничек после PHP: скопировать код в буфер обмена do { curl_multi_exec($mh,$running); } while ($running > 0); Использую пример из документации: PHP: скопировать код в буфер обмена <?PHP // create both cURL resources $ch1 = curl_init(); $ch2 = curl_init(); // set URL and other appropriate options curl_setopt($ch1, CURLOPT_URL, "http://www.example.com/"); curl_setopt($ch1, CURLOPT_HEADER, 0); curl_setopt($ch2, CURLOPT_URL, "http://www.php.net/"); curl_setopt($ch2, CURLOPT_HEADER, 0); //create the multiple cURL handle $mh = curl_multi_init(); //add the two handles curl_multi_add_handle($mh,$ch1); curl_multi_add_handle($mh,$ch2); $running=null; //execute the handles do { curl_multi_exec($mh,$running); } while ($running > 0); //close the handles curl_multi_remove_handle($ch1); curl_multi_remove_handle($ch2); curl_multi_close($mh); ?> (Отредактировано автором: 07 Июня, 2011 - 22:20:24)

Tmin10	Отправлено: 08 Июня, 2011 - 18:03:25
Частый гость Покинул форум Сообщений всего: 239 Дата рег-ции: Дек. 2009 Помог: 0 раз(а)	Никто не работал с multi?

Мелкий	Отправлено: 08 Июня, 2011 - 20:08:35
Активный участник Покинул форум Сообщений всего: 11926 Дата рег-ции: Июль 2009 Откуда: Россия, Санкт-Петербург Помог: 618 раз(а)	Функция curl_multi_getcontent Смотрите комментарии к функциям, много чего полезного можно найти: http://php.net/manual/ru/functio...l-multi-exec.php ----- PostgreSQL DBA

Tmin10	Отправлено: 19 Июня, 2011 - 11:22:21
Частый гость Покинул форум Сообщений всего: 239 Дата рег-ции: Дек. 2009 Помог: 0 раз(а)	Что то не получается: PHP: скопировать код в буфер обмена $mh = curl_multi_init(); for ($qfood=1; $qfood<6; $qfood++) { $ch[$qfood] = curl_init("http://сайтик.com/en/$qfood"); curl_setopt($ch[$qfood], CURLOPT_RETURNTRANSFER, 1); //curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch[$qfood], CURLOPT_COOKIE, "тут куки"); curl_multi_add_handle($mh,$ch[$qfood]); } //дальше что то непонятное $active = null; do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); while ($active && $mrc == CURLM_OK) { if (curl_multi_select($mh) != -1) { do { $mrc = curl_multi_exec($mh, $active); } while ($mrc == CURLM_CALL_MULTI_PERFORM); } } //тут пытаюсь получить что-то $picsArr[1] = curl_multi_getcontent($mh); $picsArr[2] = curl_multi_getcontent($mh); $picsArr[3] = curl_multi_getcontent($mh); $picsArr[4] = curl_multi_getcontent($mh); $picsArr[5] = curl_multi_getcontent($mh); //но ничего(( print_r($picsArr); получаю ошибки для 25-29 строк: CODE (htmlphp): скопировать код в буфер обмена Warning: curl_multi_getcontent(): supplied resource is not a valid cURL handle resource in ... Кстати, если всё-таки код страничек получается, то выгода в скорости есть в 3-4 раза. (Отредактировано автором: 19 Июня, 2011 - 11:43:27)

Slavenin	Отправлено: 19 Июня, 2011 - 13:50:22
Посетитель Покинул форум Сообщений всего: 285 Дата рег-ции: Май 2010 Откуда: Тверь Помог: 4 раз(а)	мультипоточность php ----- http://www[dot]i2p2[dot]de/index_ru[dot]html

Tmin10	Отправлено: 19 Июня, 2011 - 13:59:19
Частый гость Покинул форум Сообщений всего: 239 Дата рег-ции: Дек. 2009 Помог: 0 раз(а)	Спасибо, попробую разобраться. Отлично получилось, получаю 3.23277 секунды с мульти против 7.83426 секунд последовательно. 10 запросов даже за 4.03198 секунды! (Отредактировано автором: 19 Июня, 2011 - 14:22:33)

Поиск в теме | Версия для печати

Страниц (1): [1]

Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)

« HTTP и PHP »

Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.