PHP.SU

Программирование на PHP, MySQL и другие веб-технологии

PHP.SU Портал

Главная

Помощь

Поиск

Поиск Яндекс Вакансии

Пользователи

Здравствуйте, Гость

( Вход · Регистрация · Правила форума )

Забыли пароль?

Парсинг более 30 тысяч страниц.

Форумы портала PHP.SU » PHP » Программирование на PHP » Работа с сетью (Модераторы: OrmaJever, Саныч)

Страниц (1): [1]

Без описания

Поиск в теме | Версия для печати

DeMonyan	Отправлено: 07 Марта, 2015 - 18:11:49
Новичок Покинул форум Сообщений всего: 43 Дата рег-ции: Нояб. 2011 Помог: 0 раз(а)	Есть скрипт который формирует задание для парсинга. и записывает его в БД. После окончания своей работы он через сокеты запускает 4 экземпляра парсера, ПОСТом передав с какой записи в базе необходимо начать парсинг. Парсер выбирает 30 записей в базе и их обрабатывает, по завершению опять же через сокет запускает себя снова увеличив параметр на 120. Вот процедура для запуска скрипта и отправки ему ПОСТом данных: CODE (htmlphp): скопировать код в буфер обмена function exec_script($url, $params = array()) { $parts = parse_url($url); if (!$fp = fsockopen($parts['host'], isset($parts['port']) ? $parts['port'] : 80)) { return false; } $data = http_build_query($params, '', '&'); fwrite($fp, "POST " . (!empty($parts['path']) ? $parts['path'] : '/') . " HTTP/1.1\r\n"); fwrite($fp, "Host: " . $parts['host'] . "\r\n"); fwrite($fp, "Content-Type: application/x-www-form-urlencoded\r\n"); fwrite($fp, "Content-Length: " . strlen($data) . "\r\n"); fwrite($fp, "Connection: Close\r\n\r\n"); fwrite($fp, $data); fclose($fp); return true; } Вот по такому условию происходит запуск после парсинга очередной порции: CODE (htmlphp): скопировать код в буфер обмена $limit=$limit+30; //значение из массива пост увеличиваем на 30 $query="Select * FROM parcers where script='trade' LIMIT $limit,30"; $result=ExecuteQuery($query); if (mysql_num_rows($result)<=0) { $qt="INSERT INTO parcers_logs SET script='parcer_trade', data='".$realm."_just_finish'"; ExecuteQuery($qt); } else { $limit=$limit+90; $query="Select * FROM parcers where script='trade' LIMIT $limit,30"; $result=ExecuteQuery($query); if (mysql_num_rows($result)>0) { $url='http://'.$_SERVER['HTTP_HOST'].'/parcers/parcer_trade.php'; $params['limit'] = $limit; exec_script($url, $params); } } Запускаю скрипт формирующий ссылки, всё хорошо, он заканчивает нормально работу, и вроде даже запускает 4 экземпляра парсера. Но ни разу парсинг не дошёл до конца. Останавливается совершенно разных местах, причину понять не могу. Собственно зачем таки грабли? На хостинге ограничение на выполнение скрипта минута. Изменить её в настройках нельзя, в скрипте задать нельзя. Потому приходится делить на части парсинг и запускать рекурсивно. Подскажите, может есть вариант решения попроще, или в чём причина обрыва выполнения скрипта может быть?

zloy dyx	Отправлено: 07 Марта, 2015 - 21:08:13
Гость Покинул форум Сообщений всего: 103 Дата рег-ции: Авг. 2014 Откуда: Германия Помог: 0 раз(а) [+]	хост скрипт который сильно грузит систему отрубать может. неуже взять вдс и настроить самому так тяжело? (гугли вдс разминка, 60 рублей месяц 225 озу)

DeMonyan	Отправлено: 08 Марта, 2015 - 13:26:23
Новичок Покинул форум Сообщений всего: 43 Дата рег-ции: Нояб. 2011 Помог: 0 раз(а)	Русские не ищут лёгких путей! Решил проблему мониторингом выполнения предыдущего шага, и плевать я хотел что у хостера там ошибки сыпятся при этом и что-то нагружается. Главное моя задача выполняется правильно, пусть и немного дольше.

Поиск в теме | Версия для печати

Страниц (1): [1]

Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)

« Работа с сетью »

Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.