Обработка больших файлов

Здравствуйте,
я пишу скрипт, который позволяет обрабатывать серверные логи и выполнять различные виды поиска и выборки по ним через sql.
Проблема в том, что один файл лога весит 100мб, а таких файлов может быть гораздо больше.
Задала set_time_limit(0), это позволило файлу пропарситься и записаться в БД, но выскочила ошибка при переименовывании. Когда тестировала на маленьких файликах, ошибки не было.
Собственно вопрос таков, как оптимизировать или может как-то разбить скрипт, чтобы он мог обрабатывать большие файлы?

*на пхп совсем недолго, поэтому могу невнятно формулировать вопросы, но с готовностью прислушаюсь, расскажу-покажу*

Может косвенная проблема в параметре php.ini:

Если я повышаю эти параметры, надежность работы моего скрипта не падает?

Что бы помочь вам оптимизировать скрипт, этот скрипт нужно, как минимум, увидеть ...

Не падает, это установка ограничений для самого PHP, а не для вашего скрипта, но эти параметры имеет смысл менять, если их значения меньше тех, что порекомендовал я.

Перефразирую тогда вопрос свой)))))

Можно ли как-то сделать так, чтобы скрипт прерывался, а потом дальше выполнялся? Но человек бы ничего не кликал для этого.. А то не хочется ставить всякие set_time_limit(0)...

Дело в том, что каждый лог весит по 100мб, а этих файлов может быть больше десятка точно.
Когда на своем компьютере тестировала, то один файл 10минут записывался и никак не поймешь - то ли оно подвисло, то ли пишет.
А если бы с прерываниями, то можно было бы выводить какие-то надписи, что всё хорошо, всё работает.

А зачем прерывать?
Пусть себе работает в паралельном "потоке" или "канале", правда это несколько сложно, но прочитать можно об этом тут или тут или даже тут.

Другой вопрос.
При обработке больших файлов возникает ошибка переименования: [function.rename]: Permission denied
Если файлы маленькие - всё отлично переименовывается, но как работать с большим файлом - ошибка.

Нельзя стандартными средствами

Прелдполагаю что вы парсите какмито громоздкими методами

попробуйте файл лога сначала прогнать через какой нибудь быстрый фильтр
например повыкидывать строки явно не интересные и записать остальное во временный файл
уверен его размер будет гораздо меьше
а потом парсить его уже детально

вот и будет типа поэтапная обраьотка

-----
Бесплатная система складского учета с открытым кодом https://zippy[dot]com[dot]ua/zstore

Повторю еще раз: что бы что-то оптимизировать, нужно видеть, что оптимизировать. С большими файлами нужно работать на лету, без хранения его больших частей в памяти и прочем.
Чем вариант с множеством стартов и прерываний выполнения скрипта лучше, чем постоянно работающий скрипт (если в этом скрипте не течет память)?

тем что на чужом хосте когда нет возможности редактировать лимит времени и объем памяти
как минимум не влезишь во временной лимит


KvitkaLavi, я делал слудующим образом
подгружал максимально возможный объем (чтоб влезть и в память и во время)
и делал редирект на страницу обработки указав гет запросом следующую точку отсчета

в итоге скрипт мог свободно выполняться любое (необходимое) время без посторонних кликов, все само в браузере перегружалось

если все сделать правильно, объем памяти изменять не придется при любом времени исполнения кода. По поводу временных лимитов - такое обычно решается организацией очереди и запуском скриптов через крон. Алгоритм такой: запускается скрипт, который в бд кладет задачи (имена фалов для обработки и их текущий статус ready. Далее он отрубается. По крону запускаются раз в 30 секунд (или какое там время жизни у ваших скриптов) воркеры, которые смотрят в базу данных и выбирают файлы со статусом ready. После обработки скрипта файлу ставится статус finished. Остается подобрать время между стартами для крона и внедрить механизм блокировок.