Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757
Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770
Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/topic.php on line 737 Форумы портала PHP.SU :: Парсинг более 30 тысяч страниц.
Покинул форум
Сообщений всего: 43
Дата рег-ции: Нояб. 2011
Помог: 0 раз(а)
Есть скрипт который формирует задание для парсинга. и записывает его в БД. После окончания своей работы он через сокеты запускает 4 экземпляра парсера, ПОСТом передав с какой записи в базе необходимо начать парсинг.
Парсер выбирает 30 записей в базе и их обрабатывает, по завершению опять же через сокет запускает себя снова увеличив параметр на 120.
Вот процедура для запуска скрипта и отправки ему ПОСТом данных:
Запускаю скрипт формирующий ссылки, всё хорошо, он заканчивает нормально работу, и вроде даже запускает 4 экземпляра парсера. Но ни разу парсинг не дошёл до конца. Останавливается совершенно разных местах, причину понять не могу.
Собственно зачем таки грабли? На хостинге ограничение на выполнение скрипта минута. Изменить её в настройках нельзя, в скрипте задать нельзя. Потому приходится делить на части парсинг и запускать рекурсивно.
Подскажите, может есть вариант решения попроще, или в чём причина обрыва выполнения скрипта может быть?
zloy dyx
Отправлено: 07 Марта, 2015 - 21:08:13
Гость
Покинул форум
Сообщений всего: 103
Дата рег-ции: Авг. 2014 Откуда: Германия
Помог: 0 раз(а)
[+]
хост скрипт который сильно грузит систему отрубать может. неуже взять вдс и настроить самому так тяжело? (гугли вдс разминка, 60 рублей месяц 225 озу)
DeMonyan
Отправлено: 08 Марта, 2015 - 13:26:23
Новичок
Покинул форум
Сообщений всего: 43
Дата рег-ции: Нояб. 2011
Помог: 0 раз(а)
Русские не ищут лёгких путей!
Решил проблему мониторингом выполнения предыдущего шага, и плевать я хотел что у хостера там ошибки сыпятся при этом и что-то нагружается. Главное моя задача выполняется правильно, пусть и немного дольше.
Все гости форума могут просматривать этот раздел. Только зарегистрированные пользователи могут создавать новые темы в этом разделе. Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.