Форумы портала PHP.SU :: Версия для печати :: Парсинг более 30 тысяч страниц.

1. DeMonyan - 07 Марта, 2015 - 18:11:49 - перейти к сообщению

Есть скрипт который формирует задание для парсинга. и записывает его в БД. После окончания своей работы он через сокеты запускает 4 экземпляра парсера, ПОСТом передав с какой записи в базе необходимо начать парсинг.

Парсер выбирает 30 записей в базе и их обрабатывает, по завершению опять же через сокет запускает себя снова увеличив параметр на 120.

Вот процедура для запуска скрипта и отправки ему ПОСТом данных:

CODE (htmlphp):
скопировать код в буфер обмена

function exec_script($url, $params = array())
{
    $parts = parse_url($url);
 
    if (!$fp = fsockopen($parts['host'], isset($parts['port']) ? $parts['port'] : 80))
    {
        return false;
    }
 
    $data = http_build_query($params, '', '&');
 
    fwrite($fp, "POST " . (!empty($parts['path']) ? $parts['path'] : '/') . " HTTP/1.1\r\n");
    fwrite($fp, "Host: " . $parts['host'] . "\r\n");
    fwrite($fp, "Content-Type: application/x-www-form-urlencoded\r\n");
    fwrite($fp, "Content-Length: " . strlen($data) . "\r\n");
    fwrite($fp, "Connection: Close\r\n\r\n");
    fwrite($fp, $data);
    fclose($fp);
 
    return true;
}
 

Вот по такому условию происходит запуск после парсинга очередной порции:

CODE (htmlphp):
скопировать код в буфер обмена

 
$limit=$limit+30; //значение из массива пост увеличиваем на 30
$query="Select * FROM parcers where script='trade' LIMIT $limit,30";
$result=ExecuteQuery($query);
if (mysql_num_rows($result)<=0) {
        $qt="INSERT INTO parcers_logs SET script='parcer_trade', data='".$realm."_just_finish'";
        ExecuteQuery($qt);
}
else {
        $limit=$limit+90;
        $query="Select * FROM parcers where script='trade' LIMIT $limit,30";
        $result=ExecuteQuery($query);
        if (mysql_num_rows($result)>0) {
                $url='http://'.$_SERVER['HTTP_HOST'].'/parcers/parcer_trade.php';
                $params['limit'] = $limit;
                exec_script($url, $params);
        }
}
 

Запускаю скрипт формирующий ссылки, всё хорошо, он заканчивает нормально работу, и вроде даже запускает 4 экземпляра парсера. Но ни разу парсинг не дошёл до конца. Останавливается совершенно разных местах, причину понять не могу.

Собственно зачем таки грабли? На хостинге ограничение на выполнение скрипта минута. Изменить её в настройках нельзя, в скрипте задать нельзя. Потому приходится делить на части парсинг и запускать рекурсивно.

Подскажите, может есть вариант решения попроще, или в чём причина обрыва выполнения скрипта может быть?