Как лучше делать выборку?

Задача следующая - нужно максимально быстро и безопасно в плане нагрузки генерировать большое количество (около 1 млн.) html файлов на лету и сохранять их на диск.

Файлы генерируются на основе шаблона и строк текста. По 30-50 строк на файл.

Вопрос: откуда лучше делать выборку этих строк (можно подряд идущих) из БД или же из txt файла, чтобы скорость выборки и генерации была наиболее высокой и от нагрузки не падал сервер?

При генерации каждого файла - идет новая выборка этих 30-50 строк.

Ты что-то делаешь не так.
Подкинь еще информации.

-----
Шта? Репозиторий?

А что конкретно интересует?

Что дальше происходит с этим мильеном статических файлов и как часто их надо обновлять?

-----
Шта? Репозиторий?

В общем, задача сейчас больше свелась к тому, как ускорить процесс генерации.

Понял, что создавать 100500 html файлов на сервере не очень хорошая затея, решил, что лучше помещать все в SQLLite базу. И потом уже генерировать страницу на лету на основе шаблона.

Вообще, цель всего этого - генерация страниц для сайтов. Т.е. каждый сайт будет иметь 250к - 1кк страниц.

Встает вопрос, как ускорить процесс записи в SQLLite базу (для каждого сайта база своя) и не положить сервер, если за раз мы генерим, скажем, 50 сайтов.

Как я предполагаю, поочередно производить запись в лайт-базу для каждого сайта будет очень долго.

Т.е. получается такая схема:
Есть SQL база под управлением MySQL. В ней несколько таблиц. В каждой таблице 1кк-3кк строк.

Необходимо сгенерировать 50 сайтов за раз, в каждом сайте по 250к - 1 кк страниц.

Для каждой страницы идет выборка из нескольких таблиц SQL базы, текст обрабатывается и записывается в SQlLite базу каждого сайта.

Как лучше оптимизировать все это дело, чтобы и скорость была максимально возможной, и в тоже время сервер не падал?

Попробуйте описать задачу ещё раз.
Без своих костылей, а так, какая она есть в действительности. А то вы уже sqlite приплели.

Мой хрустальный шар утверждает, что у вас:
большая куча статических по своему поведению страниц и хочется их раздавать без заметного оверхеда.
Решение такой задачи адекватное и широко распространённое: ставите nginx, memcache, какой-нибудь бекенд. nginx при получении запроса идёт в мемкеш, читает и отдаёт страницу оттуда. Если же в кеше страницы нет - обращается к бекенду, который генерирует эту страницу и кладёт в мемкеш.

-----
PostgreSQL DBA