Доброго времени,
Нужно переодически парсить цены на сайте поставщика, написал простой код (добавил его ниже).
Запускаю на обычном хостинге, все работает нормально, НО есть небольшая проблема, если в файле больше 500 товаров, то скрипт уходит в 504 ошибку. Я так понимаю не хватает ресурсов хостинга (точнее времени выполнения скрипта), а там товаров более 5000. Приходится запускать по несколько раз скрипт руками, чтобы спарсить все.
Вопрос: Есть какие-то решения, чтобы запустить скрипт один раз и пусть он там потихоньку парсит все цены сразу?
Я уже думал на хостинге настроить cron, который будет каждые 10 сек в течении 5 минут запускать мои парсер, а в сам скрипт добавить сохранение позиции на которой остановились прошлый раз и при новом запуке начинать уже с нее. Но может есть какие-то другие решения?
Заранее спасибо за помощь!
PHP:
скопировать код в буфер обмена
$csv = fopen('price.csv', 'r'); // Файл в котором хранятся названия и артикул товаров while (($row = fgetcsv($csv, 1000, ';')) !== FALSE) { preg_match('|<div class="price">(.*?)</div>|i', $html, $price); if($price[1]){ // Тут код обработки новой цены } }
(Отредактировано автором: 07 Апреля, 2018 - 02:53:53)
|