Импорт текстовых файлов в БД

Нужно импортировать 36 мегабайт текста в БД из нескольких текстовых файлов, каждая строка- отдельная запись в БД, всего около 300 тысяч строк.
Как сделать это оптимальнее, чем просто в цикле читать файлы построчно, парсить их, составлять запрос на добавление одной строки и повторять это?


Также стоит задача вывести пользователю цифры, показывающие текущий прогресс. Есть идея, что после запуска скрипта, он будет писать в сессию цифру, которая после каждой строки будет возрастать, а для пользователя, запрашивая каждую секунду AJAXом будет демонстрироваться это число. Есть ли более эффективные решения?

http://dev[dot]mysql[dot]com/doc/refman/[dot][dot][dot]n/load-data[dot]html

?

-----
Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.

Дык файл то ещё распарсить надо, там же не всё просто так, там есть и нужные поля и не ненужные, часть данных в одну таблицу и в другой только ссылку на неё.


Спасибо за ссылку, довольно интересная возможность.

(Отредактировано автором: 31 Января, 2012 - 18:03:14)

Все же оптимальнее преобразовать файл к тому виду, из которого его можно импортировать тем же LOAD DATA (например, преобразовать с помощью некоторого скрипта) - или же сразу к формату SQL

-----
Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.

Можно нагрузить локальную машину не заморачиваясь оптимальностью, можно не выполнять запрос при каждой итерации цикла, а подготовить строку запроса к примеру из 100 строк. потом выполнить..

-----
Когда всматриваешься в тёмную бездну, учти, что кто-то может смотреть на тебя из неё...

ок, спасибо, попробую, проведу замеры времени, сейчас это расчитано для локальных машин, но если всё получится, то и на хостинге должно работать