Форумы портала PHP.SU :: Версия для печати

Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770
Форумы портала PHP.SU :: Версия для печати :: Оптимизация экспорта

Форумы портала PHP.SU » » Работа с СУБД » Оптимизация экспорта

Страниц (1): [1]

1. snikers987 - 07 Марта, 2012 - 11:10:15 - перейти к сообщению

В общем такая задача:
Имеется база данных(пока не большая, но с перспективой) . В бд 3 таблицы : users, orders, subscribers.
нужно организовать экспорт в excel.
в виде

PHP:
скопировать код в буфер обмена

 
Строка юзер
    Подписки юзера
        Заказы юзера
 

Сейчас это все выгружается в массив, а потом обрабатывается.
Но уже сейчас этот массив весит порядка 200 MB! + прожорливый PHPExcel = 5 минут работы, 550MB оперативки = excel 2007 фаил с 30 000 строк, а что будет когда строк будет 100 000 ?
Стоит ли забить на оптимизацию запросов к бд, и не выгружать данные в массив, а делать запросы в цикле, тем самым экономя память, данная процедура происходит 1 раз в неделю.
как быть?

2. snikers987 - 08 Марта, 2012 - 16:55:00 - перейти к сообщению

Хорошо поставлю вопрос по другому, сильно ли нагрузит mysql сервер приблизительно 20 000 не сложных запросов(без join, union и т.п)?

3. EuGen - 08 Марта, 2012 - 17:11:25 - перейти к сообщению

"Не сложный запрос" - понятие очень нечеткое. Запрос

CODE (SQL):
скопировать код в буфер обмена

SELECT * FROM `table`

- прост с синтаксической точки зрения (нет ни JOIN ни подзапросов, ни сортировок и т.п.) - но исполняться он может долго (собственно, прямая зависимость от размера)

Вопрос в том, обязательно ли выгружать это все в массив? Вероятно, можно создать ресурс, по которому построчно проходить - то есть вариация

PHP:
скопировать код в буфер обмена

$rSelect=mysql_query('SELECT * FROM `table`');
while($rgRow=mysql_fetch_array($rSelect))
{
  //..
}

4. snikers987 - 08 Марта, 2012 - 17:27:00 - перейти к сообщению

EuGen пишет:

"Не сложный запрос" - понятие очень нечеткое. Запрос

CODE (SQL):
скопировать код в буфер обмена

SELECT * FROM `table`

PHP:
скопировать код в буфер обмена

$rSelect=mysql_query('SELECT * FROM `table`');
while($rgRow=mysql_fetch_array($rSelect))
{
  //..
}

Каждый запрос будет получать до 20 строк.

Цитата:

Вопрос в том, обязательно ли выгружать это все в массив?

Как организовать? Вот я получаю 3 строки из бд:

Цитата:

надо это вывести так:

PHP:
скопировать код в буфер обмена

 
root@dm.ru | datetime
    subscribe_id | subscribe_name
    subscribe_id_2|subscribe_name_2
        order_id | order_name
        order_id_2 | order_name_2
other@dm.ru | datetime
    subscribe_id | subscribe_name
        order_id | order_name
 
 

использовать *_data_seek() ?

сейчас запрос такой:

CODE (SQL):
скопировать код в буфер обмена

 
SELECT users.*, subscribers.*, orders.* FROM users
        LEFT JOIN `subscribers` ON users.id = subscribers.pid
        LEFT JOIN `orders` ON users.id = orders.o_pid
        ORDER BY users.id DESC
 

И выполняется он 22 секунды уже сейчас(((

5. EuGen - 08 Марта, 2012 - 17:31:45 - перейти к сообщению

В этом случае оптимальнее создать индекс по соответствующим полям и использовать JOIN

А 22 секунды - подозреваю оттого, что нет индексов на полях, по которым идет JOIN

6. snikers987 - 08 Марта, 2012 - 17:35:51 - перейти к сообщению

EuGen пишет:

В этом случае оптимальнее создать индекс по соответствующим полям и использовать JOIN

Можно поподробнее?

7. EuGen - 08 Марта, 2012 - 17:36:53 - перейти к сообщению

Можно. Сделайте EXPLAIN Вашего запроса с той структурой таблиц, что есть сейчас.
Затем создайте индексы по полям, которые используются для присоединения (JOIN) - и снова сделайте EXPLAIN

8. caballero - 08 Марта, 2012 - 17:43:56 - перейти к сообщению

поцепи на крон и пусть молотит
ну и индексы на полях id pid

9. snikers987 - 08 Марта, 2012 - 17:57:48 - перейти к сообщению

caballero пишет:

поцепи на крон и пусть молотит
ну и индексы на полях id pid

Я то подцеплю, но заказчику нужно "нажал на ссылочку, подождал и победил"
(Добавление)

CODE (SQL):
скопировать код в буфер обмена

 
CREATE INDEX users_index ON users (id) USING BTREE;
CREATE INDEX subscrb_index ON subscribers (pid) USING BTREE;
CREATE INDEX orders_index ON orders (o_pid) USING BTREE;
 

Сделал так - запрос стал работать приблизительно на 5-7 секунд быстрее..надеюсь под индексами это имелось ввиду?

10. snikers987 - 12 Марта, 2012 - 22:41:39 - перейти к сообщению

Запрос выполнялся долго из-за сортировки.
Можно пример вывода без формировки массива?
буду очень признателен.

Спойлер (Отобразить)