Обработка и отправка большого кол-ва данных

Добрый день,

Подскажите пожалуйста. У нас есть локальная база.
И глобальная база на удаленном сервере.
На локальной базе в таблице клиентов, находится грубо говоря более 1000 клиентов.
Нам нужно отправить информацию о каждом клиенте в глобальную базу из локальной.
На сервере локальной базы, кроном запускается скрипт, делает запрос к локальной базе, получаем нужные ID этих 1000 клиентов и информацию по ним, дальше в цикле while ($result = mysql_fetch_array($query)) идём по клиентам и отправляем информацию к глобальной базе по всем 1000 клиентам. С этим всё ок, когда клиентов мало.
Но когда их большое кол-во, то скрипт просто не успеет отработать всех 1000 клиентов. Наткнемся на максимальное время работы скрипта.

Каким образом можно это правильно реализовать? Нужно использовать многопоточность/многопроцессорно сть или надо делать какой-нибудь Крон менеджер или еще как-то?

Изменить максимальное время выполнения скрипта в php.ini max_execution_time = N (sec)

Или в скрипте, который запускает крон :

sKaa помечать это интересно, а можно по подробнее немного как бы это сделали?

Как вариант, еще пришел в голову, отправляем по 100, а в новую таблицу просто пишем/апдейтим айди клиента, при успшеной его отправке. И каждые 3 минуты запускаем скрипт отсылки клиентов, но который сначала читает последнее айди отправленного клиента из таблицы мониторинга, и после из основной таблицы берёт клиентов с айди => чем то которое указно в таблице мониторинга. Да?)

Только как бы второй запуск скрипта не наложился на первый.

Да никак. Если в локальной таблице они уже больше не нужны после отправки в "глобальную" базу, я бы их просто удалял.

(или)
При первом запуске скрипта, пусть он создаст копию таблицы в вашей локальной базе, а при последующих просто удаляет оттуда по 50 или сколько вам нужно. Вот и всё.

(Отредактировано автором: 02 Декабря, 2012 - 04:35:20)

sKaa ну хотя если после каждой отправки клиента, дёргать запросом базу для апдейта или удаления, а клиентов много, то задёргаем ведь базу-то :-\

Всего 2 запроса.
В начале :
SELECT .. FROM `users` ORDER BY `id` DESC LIMIT 0, 50;
В конце :
DELETE FROM `users` ORDER BY `id` DESC LIMIT 0, 50;

Что вы там задергаете?

А если клиентов будет 10 000 или 100 000? Как рабочий временный вариант можно использовать ini_set('max_execution_time', 0);

Но я бы серьезно взглянул на оптимизацию базы данных ну и запросов к ней прежде всего

P.S. В данный момент обслуживаю трекер с 2 лимонами пользователей и со 100К униками день - хватает значений по умолчанию для выполнения всех скриптов, а все дело в оптимизации поисковых запросов и самой базы данных

-----
В помощь web-мастеру: библиотека, обсуждения

sKaa ну если по Вашему примеру, то да, так ок.
Но если какой-то клиент не передастся из-за какого-либо таймаута при соединении с глобальной базой, или еще чего-либо, то по такой технологии мы его удалим, а он не передался.
Поэтому рассматривал удаление после удачной передачи каждого клиента, но это не верно имхо.

isvetlichniy ну а какая оптимизация? там просто берутся все клиенты select * и по обходу массива отправляются в глобальную базу с обновлениями.



ну это трекер, там вроде бы иные задачи, а тут надо чтоб скрипт работал долго, да еще и sleep небольшой сделать видимо, чтобы не задёргать глобальную базу, хотя может и не нужно.