PHP.SU

Программирование на PHP, MySQL и другие веб-технологии

PHP.SU Портал

Главная

Помощь

Поиск

Поиск Яндекс Вакансии

Пользователи

Здравствуйте, Гость

( Вход · Регистрация · Правила форума )

Забыли пароль?

параметры для сеанса CURL

Форумы портала PHP.SU » PHP » Программирование на PHP » Работа с сетью (Модераторы: OrmaJever, Саныч)

Страниц (2): [1] 2 »

Без описания

Поиск в теме | Версия для печати

vsll	Отправлено: 25 Апреля, 2011 - 14:41:53
Частый посетитель Покинул форум Сообщений всего: 530 Дата рег-ции: Февр. 2011 Помог: 10 раз(а)	Возможно, в документации и есть ответ на мой вопрос, но если кто обращал на это внимание, то пожалуйста подскажите: 1. имеет ли значение очерёдность параметров для сеанса CURL (влияет ли на скорость)? и второй вопрос 2. существует ли параметр для ограничения величины получаемого пакета? скорей всего нет и здесь по-другому надо крутиться, ну а вдруг...))) то было бы очень удобно устранить ошибку "MySQL server has gone away", когда при проверке большого количества прокси на анонимность, вдруг натыкаешься на какое-нибудь сообщение от администрации длиной (8500, например)

Мелкий	Отправлено: 25 Апреля, 2011 - 15:12:15
Активный участник Покинул форум Сообщений всего: 11900 Дата рег-ции: Июль 2009 Откуда: Россия, Санкт-Петербург Помог: 615 раз(а)	1) нет, не имеет. Всё равно до вызова curl_exec ничего не происходит. 2) немного не понял, как длина ответа курлу зависит от "MySQL server has gone away" ----- PostgreSQL DBA

vsll	Отправлено: 25 Апреля, 2011 - 15:23:06
Частый посетитель Покинул форум Сообщений всего: 530 Дата рег-ции: Февр. 2011 Помог: 10 раз(а)	я не умею задавать вопросы, вечно тороплюсь... у меня есть такой скрипт: Спойлер (Отобразить) PHP: скопировать код в буфер обмена if (isset($_POST['check_res_proxies']) && (isset($_POST['timeout']) && isnum($_POST['timeout']))) { $proxy_res_ids = ""; if (isset($_POST['check_mark']) && is_array($_POST['check_mark'])) { foreach ($_POST['check_mark'] as $thisnum) { if (isnum($thisnum)) { $proxy_res_ids .= ($proxy_res_ids ? "," : "").$thisnum; } } $timeout = $_POST['timeout']; $list = dbquery("SELECT proxy_res_id, proxy_res_bad FROM ".DB_PROXY_RES." WHERE proxy_res_id IN (".$proxy_res_ids.") ORDER BY proxy_res_id"); if (dbrows($list)) { $i = 0; echo "<p> </p>\n"; echo "<table class='base'>\n"; while ($check = dbarray($list)) { $cell_color = ($i % 2 == 0 ? "confidence" : "delicacy"); echo "<tr class='$cell_color'>\n<td>".$check['proxy_res_id'].") ".$locale['614']." <strong>".$check['proxy_res_bad']."</strong>....... "; $server = explode(":", $check['proxy_res_bad']); $fp = @fsockopen($server[0], $server[1], $errno, $errstr, $timeout); if($fp) { echo "(".$_POST['timeout']."s.) ".$locale['610'].".......\n"; $result = explode("\|\|\|", get_contents($check['proxy_res_bad'])); echo var_dump ($result); if (!preg_match("/^((25[0-5]\|2[0-4]\d\|1\d{2}\|\d{1,2})\.){3}(25[0-5]\|2[0-4]\d\|1\d{2}\|\d{1,2})/", trim($result[0]), $m)) { echo "....... ".$locale['617']."</td>\n</tr>\n"; } elseif (trim($result[1]) == "") { echo "....... ".$locale['613']."</td>\n</tr>\n"; $match3 = dbquery("SELECT proxy_good FROM ".DB_PROXY." WHERE proxy_good = '".$check['proxy_res_bad']."'"); if (dbrows($match3) == 0) { dbquery("INSERT INTO ".DB_PROXY." (proxy_good) SELECT proxy_res_bad FROM ".DB_PROXY_RES." WHERE proxy_res_id = '".$check['proxy_res_id']."'"); dbquery("DELETE FROM ".DB_PROXY_RES." WHERE proxy_res_id = '".$check['proxy_res_id']."'"); } else { echo "<tr>\n<td>".$check['proxy_res_bad']." ".$locale['624']."</td>\n</tr>\n"; dbquery("DELETE FROM ".DB_PROXY_RES." WHERE proxy_res_id = '".$check['proxy_res_id']."'"); } } } else { echo "<strong>(".$errno.")</strong> ".$errstr."....... (".$_POST['timeout']."s.) ".$locale['618']."</td>\n</tr>\n"; } $i++; } echo "</table>\n"; } } echo "<form name='exit' method='post'>\n"; echo "<p class='center'>".$locale['605']."<br />\n"; echo "<input type='submit' name='exit' value='".$locale['606']."' class='button' /></p>\n"; echo "</form>\n"; } PHP: скопировать код в буфер обмена function get_contents($proxy) { $ch = curl_init(); curl_setopt($ch, CURLOPT_URL, "http://www.domen.ru/check.php"); curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); curl_setopt($ch, CURLOPT_USERAGENT, "Mozilla/5.0 (Windows; U; Windows NT 6.0; ru; rv:1.9.2.16) Gecko/20110319"); curl_setopt($ch, CURLOPT_TIMEOUT, 5); curl_setopt($ch, CURLOPT_PROXY, $proxy); $ss=curl_exec($ch); curl_close($ch); return $ss; } те в зависимости от проверки на анонимность, прокси либо перемещается в другую таблицу (с условием, что там такого уже нет), либо остаётся на месте если он плохой и при Цитата: при посылке серверу неверного или слишком длинного запроса. Если mysqld получает неправильный или слишком большой пакет, то сервер предполагает, что с клиентом что-то не так, и закрывает соединение отсюда http://www[dot]mysql[dot]ru/docs/man/Gone_away[dot]html такое происходит, если при проверке большого количества прокси попадается живой, но возможно требующий платной авторизации и тд, он расценивается правильно как bad, но mysqld видимо уже закрывает соединение и выдаёт ошибку (Добавление) ладно, спасибо Мелкий, видимо через курл нельзя так указать придёться вот здесь переписывать PHP: скопировать код в буфер обмена if (!preg_match("/^((25[0-5]\|2[0-4]\d\|1\d{2}\|\d{1,2})\.){3}(25[0-5]\|2[0-4]\d\|1\d{2}\|\d{1,2})/", trim($result[0]), $m)) (Отредактировано автором: 25 Апреля, 2011 - 15:23:46)

EuGen	Отправлено: 25 Апреля, 2011 - 16:16:58
Профессионал Покинул форум Сообщений всего: 9095 Дата рег-ции: Июнь 2007 Откуда: Berlin Помог: 707 раз(а)	До конца не дочитали. Справляться с проблемой помогает: Цитата: Если необходимо выполнять объемные запросы (например, при работе с большими столбцами типа BLOB), можно увеличить предельный размер запроса, запустив mysqld с опцией -O max_allowed_packet=# (по умолчанию 1 Mб). Интересно, какое именно поле в Вашей таблице столь велико. И еще, не очевидно при чем здесь приведенное Вами регулярное выражение. ----- Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.

vsll	Отправлено: 25 Апреля, 2011 - 16:23:15
Частый посетитель Покинул форум Сообщений всего: 530 Дата рег-ции: Февр. 2011 Помог: 10 раз(а)	EuGen спасибо, тут не объёмный запрос тут дело в обработке моим регулярным выражением (которое требует чтобы первым значением массива был обязательно ip, а не пустота или административное сообщение), короче неправильное условие надо другое думать

EuGen	Отправлено: 25 Апреля, 2011 - 16:24:46
Профессионал Покинул форум Сообщений всего: 9095 Дата рег-ции: Июнь 2007 Откуда: Berlin Помог: 707 раз(а)	Ну так а большой размер пакета для mysqld тогда при чем?. Делайте все вычисления заранее. ----- Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.

vsll	Отправлено: 25 Апреля, 2011 - 16:27:22
Частый посетитель Покинул форум Сообщений всего: 530 Дата рег-ции: Февр. 2011 Помог: 10 раз(а)	да, поняла уже, спасибо EuGen

vsll	Отправлено: 26 Апреля, 2011 - 17:44:35
Частый посетитель Покинул форум Сообщений всего: 530 Дата рег-ции: Февр. 2011 Помог: 10 раз(а)	В общем тупик... если я проверяю много прокси с таймаутом 5сек - проблем нет если 10сек - MySQL server has gone away НО если я проверяю один прокси с интервалом 10сек, то всё нормально самое оптимальное и быстрое условие как оказалось (кроме !empty, оно не все проблемы устраняет): if (!preg_match("/^[\d](\d\|\.)+/", trim($result[0]))) { см. код Спойлер (Отобразить) PHP: скопировать код в буфер обмена if (isset($_POST['check_res_proxies']) && (isset($_POST['timeout']) && isnum($_POST['timeout']))) { $proxy_res_ids = ""; if (isset($_POST['check_mark']) && is_array($_POST['check_mark'])) { foreach ($_POST['check_mark'] as $thisnum) { if (isnum($thisnum)) { $proxy_res_ids .= ($proxy_res_ids ? "," : "").$thisnum; } } $timeout = $_POST['timeout']; $list = dbquery("SELECT proxy_res_id, proxy_res_bad FROM ".DB_PROXY_RES." WHERE proxy_res_id IN (".$proxy_res_ids.") ORDER BY proxy_res_id"); if (dbrows($list)) { $i = 0; echo "<p> </p>\n"; echo "<table class='base'>\n"; while ($check = dbarray($list)) { $cell_color = ($i % 2 == 0 ? "confidence" : "delicacy"); echo "<tr class='$cell_color'>\n<td>".$check['proxy_res_id'].") ".$locale['614']." <strong>".$check['proxy_res_bad']."</strong>....... "; $server = explode(":", $check['proxy_res_bad']); $fp = @fsockopen($server[0], $server[1], $errno, $errstr, $timeout); if(!$fp) { echo "<strong>(".$errno.")</strong> ".$errstr."....... (".$_POST['timeout']."s.) ".$locale['618']."</td>\n</tr>\n"; } else { echo "(".$_POST['timeout']."s.) ".$locale['610'].".......\n"; $result = explode("\|\|\|", get_contents($check['proxy_res_bad'])); echo var_dump ($result); if (!preg_match("/^[\d](\d\|\.)+/", trim($result[0]))) { echo ".......".$locale['617']."</td>\n</tr>\n"; } elseif (trim($result[1]) == "") { echo "....... ".$locale['613']."</td>\n</tr>\n"; $match3 = dbquery("SELECT proxy_good FROM ".DB_PROXY." WHERE proxy_good = '".$check['proxy_res_bad']."'"); if (dbrows($match3) == 0) { dbquery("INSERT INTO ".DB_PROXY." (proxy_good) SELECT proxy_res_bad FROM ".DB_PROXY_RES." WHERE proxy_res_id = '".$check['proxy_res_id']."'"); dbquery("DELETE FROM ".DB_PROXY_RES." WHERE proxy_res_id = '".$check['proxy_res_id']."'"); } else { echo "<tr>\n<td>".$check['proxy_res_bad']." ".$locale['624']."</td>\n</tr>\n"; dbquery("DELETE FROM ".DB_PROXY_RES." WHERE proxy_res_id = '".$check['proxy_res_id']."'"); } } } $i++; } echo "</table>\n"; } } echo "<form name='exit' method='post'>\n"; echo "<p class='center'>".$locale['605']."<br />\n"; echo "<input type='submit' name='exit' value='".$locale['606']."' class='button' /></p>\n"; echo "</form>\n"; } можно ли както решить эту проблему, кроме запрета проверки нескольких прокси за раз, при заказном таймауте (по умолчанию 5с)

Champion	Отправлено: 26 Апреля, 2011 - 17:55:10
Активный участник Покинул форум Сообщений всего: 4350 Дата рег-ции: Авг. 2008 Откуда: Москва Помог: 57 раз(а)	Если дело в том, что mysql рвет коннект при длительной неактивности, то можно коннектиться заново перед выполнением запроса.

vsll	Отправлено: 26 Апреля, 2011 - 17:57:09
Частый посетитель Покинул форум Сообщений всего: 530 Дата рег-ции: Февр. 2011 Помог: 10 раз(а)	Champion пишет: Если дело в том, что mysql рвет коннект при длительной неактивности да походу дело в этом, Champion если не сложно, pls надоело уже ... куда реконнект лучше вклинить, я уже ничего не соображаю на сегодня (Отредактировано автором: 26 Апреля, 2011 - 18:08:54)

Champion	Отправлено: 26 Апреля, 2011 - 18:07:55
Активный участник Покинул форум Сообщений всего: 4350 Дата рег-ции: Авг. 2008 Откуда: Москва Помог: 57 раз(а)	Vasiliya пишет: Champion если не сложно, pls надоело уже Ну я же написал Champion пишет: то можно коннектиться заново перед выполнением запроса. , то бишь mysql_connect перед mysql_query вставить (Добавление) А можно поставить тайм-аут и 5, и даже 3 секунды. Нафига медленные прокси нужны? За 3 секунды не получилось - всё, значит не получилось.

vsll	Отправлено: 26 Апреля, 2011 - 18:12:35
Частый посетитель Покинул форум Сообщений всего: 530 Дата рег-ции: Февр. 2011 Помог: 10 раз(а)	Champion пишет: А можно поставить тайм-аут и 5, и даже 3 секунды. Нафига медленные прокси нужны? За 3 секунды не получилось - всё, значит не получилось. это из таблицы bad_proxy только, для опытов ))) это понятно что реконнект перед запросом, но нужно же наверное какое-то условие ещё чтобы абы зря не реконнектиться? или я ошибаюсь? (Отредактировано автором: 26 Апреля, 2011 - 18:13:15)

Champion	Отправлено: 26 Апреля, 2011 - 18:21:53
Активный участник Покинул форум Сообщений всего: 4350 Дата рег-ции: Авг. 2008 Откуда: Москва Помог: 57 раз(а)	Да не, не нужно. Можно конечно засекать время между предыдущим и текущим mysql_query с пом. microtime() или time, но можно и не заморачиваться. А еще можно mysql рестартануть с wait_timeout побольше. Или попробовать поменять ее запросом сразу после коннекта: set wait_timeout=2345.

Мелкий	Отправлено: 26 Апреля, 2011 - 21:43:01
Активный участник Покинул форум Сообщений всего: 11900 Дата рег-ции: Июль 2009 Откуда: Россия, Санкт-Петербург Помог: 615 раз(а)	Vasiliya, возможно, имеет смысл сохранять результат проверки в массив и скидывать его в базу через каждые n проверок (штук 15-30). Т.е. сделали 20 проверок, подключились к БД, сохранили, отключились, делаем следующие. Или, если set_time_limit можно в ноль выставить - то вообще сделать всю работу, а результат в самом конце сохранить. (Отредактировано автором: 26 Апреля, 2011 - 21:44:22) ----- PostgreSQL DBA

vsll	Отправлено: 27 Апреля, 2011 - 10:22:34
Частый посетитель Покинул форум Сообщений всего: 530 Дата рег-ции: Февр. 2011 Помог: 10 раз(а)	Мелкий пишет: Или, если set_time_limit можно в ноль выставить - то вообще сделать всю работу, а результат в самом конце сохранить. Снять ограничение времени выполнения скрипта set_time_limit(0) не удалось, так так см скрин. Я действительно, попробовала, как мёртвому припарка... Где-то 8-9 проксей пропускает, если больше, то закрывает соединение (если таймаут > 5с), кстати такое подозрение, что соединение исчерпывает лимит времени, если натыкается на живой прокси, но с какой-нибудь бурдой первым значением массива вместо ip адреса, может preg_match не самое лучшее решение в такой ситуации? Вот это CODE (htmlphp): скопировать код в буфер обмена возможно, имеет смысл сохранять результат проверки в массив и скидывать его в базу через каждые n проверок (штук 15-30) мне кажется мудрое решение, но какие функции здесь нужно задействовать, если можно пример, не обязательно с расшифровкой или писать под мой код Прикреплено изображение (Нажмите для увеличения) (Отредактировано автором: 27 Апреля, 2011 - 10:26:46)

Поиск в теме | Версия для печати

Страниц (2): [1] 2 »

Сейчас эту тему просматривают: 1 (гостей: 1, зарегистрированных: 0)

« Работа с сетью »

Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.