Форумы портала PHP.SU :: Версия для печати :: Парсер цен большого сайта?

1. Koc - 06 Апреля, 2018 - 22:42:07 - перейти к сообщению

Доброго времени,

Нужно переодически парсить цены на сайте поставщика, написал простой код (добавил его ниже).

Запускаю на обычном хостинге, все работает нормально, НО есть небольшая проблема, если в файле больше 500 товаров, то скрипт уходит в 504 ошибку. Я так понимаю не хватает ресурсов хостинга (точнее времени выполнения скрипта), а там товаров более 5000. Приходится запускать по несколько раз скрипт руками, чтобы спарсить все.

Вопрос: Есть какие-то решения, чтобы запустить скрипт один раз и пусть он там потихоньку парсит все цены сразу?

Я уже думал на хостинге настроить cron, который будет каждые 10 сек в течении 5 минут запускать мои парсер, а в сам скрипт добавить сохранение позиции на которой остановились прошлый раз и при новом запуке начинать уже с нее. Но может есть какие-то другие решения?

Заранее спасибо за помощь!

PHP:
скопировать код в буфер обмена

 
$csv = fopen('price.csv', 'r'); // Файл в котором хранятся названия и артикул товаров
while (($row = fgetcsv($csv, 1000, ';')) !== FALSE) {
    $html = file_get_contents('http://site.ru/catalog/'.$row[1]);
    preg_match('|<div class="price">(.*?)</div>|i', $html, $price);
    if($price[1]){
        // Тут код обработки новой цены
    }
}
fclose($csv);
 