Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/topic.php on line 737
Форумы портала PHP.SU :: Оптимизация экспорта

 PHP.SU

 Программирование на PHP, MySQL и другие веб-технологии
PHP.SU Портал     На главную страницу форума Главная     Помощь Помощь     Поиск Поиск     Поиск Яндекс Поиск Яндекс     Вакансии  Пользователи Пользователи


 Страниц (1): [1]   

> Описание: память или запросы?
Поиск в теме | Версия для печати
snikers987
Отправлено: 07 Марта, 2012 - 11:10:15
Post Id



Участник


Покинул форум
Сообщений всего: 1239
Дата рег-ции: Сент. 2011  
Откуда: Крым


Помог: 25 раз(а)
В общем такая задача:
Имеется база данных(пока не большая, но с перспективой) . В бд 3 таблицы : users, orders, subscribers.
нужно организовать экспорт в excel.
в виде
PHP:
скопировать код в буфер обмена
  1.  
  2. Строка юзер
  3.     Подписки юзера
  4.         Заказы юзера
  5.  


Сейчас это все выгружается в массив, а потом обрабатывается.
Но уже сейчас этот массив весит порядка 200 MB! + прожорливый PHPExcel = 5 минут работы, 550MB оперативки = excel 2007 фаил с 30 000 строк, а что будет когда строк будет 100 000 ?
Стоит ли забить на оптимизацию запросов к бд, и не выгружать данные в массив, а делать запросы в цикле, тем самым экономя память, данная процедура происходит 1 раз в неделю.
как быть?


-----
Когда всматриваешься в тёмную бездну, учти, что кто-то может смотреть на тебя из неё...
 
My status
 Top
snikers987
Отправлено: 08 Марта, 2012 - 16:55:00
Post Id



Участник


Покинул форум
Сообщений всего: 1239
Дата рег-ции: Сент. 2011  
Откуда: Крым


Помог: 25 раз(а)
Хорошо поставлю вопрос по другому, сильно ли нагрузит mysql сервер приблизительно 20 000 не сложных запросов(без join, union и т.п)?

(Отредактировано автором: 08 Марта, 2012 - 16:55:52)



-----
Когда всматриваешься в тёмную бездну, учти, что кто-то может смотреть на тебя из неё...
 
My status
 Top
EuGen Администратор
Отправлено: 08 Марта, 2012 - 17:11:25
Post Id


Профессионал


Покинул форум
Сообщений всего: 9095
Дата рег-ции: Июнь 2007  
Откуда: Berlin


Помог: 707 раз(а)
"Не сложный запрос" - понятие очень нечеткое. Запрос
CODE (SQL):
скопировать код в буфер обмена
  1. SELECT * FROM `table`

- прост с синтаксической точки зрения (нет ни JOIN ни подзапросов, ни сортировок и т.п.) - но исполняться он может долго (собственно, прямая зависимость от размера)

Вопрос в том, обязательно ли выгружать это все в массив? Вероятно, можно создать ресурс, по которому построчно проходить - то есть вариация
PHP:
скопировать код в буфер обмена
  1. $rSelect=mysql_query('SELECT * FROM `table`');
  2. while($rgRow=mysql_fetch_array($rSelect))
  3. {
  4.   //..
  5. }


-----
Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.
 
 Top
snikers987
Отправлено: 08 Марта, 2012 - 17:27:00
Post Id



Участник


Покинул форум
Сообщений всего: 1239
Дата рег-ции: Сент. 2011  
Откуда: Крым


Помог: 25 раз(а)
EuGen пишет:
"Не сложный запрос" - понятие очень нечеткое. Запрос
CODE (SQL):
скопировать код в буфер обмена
  1. SELECT * FROM `table`

- прост с синтаксической точки зрения (нет ни JOIN ни подзапросов, ни сортировок и т.п.) - но исполняться он может долго (собственно, прямая зависимость от размера)

Вопрос в том, обязательно ли выгружать это все в массив? Вероятно, можно создать ресурс, по которому построчно проходить - то есть вариация
PHP:
скопировать код в буфер обмена
  1. $rSelect=mysql_query('SELECT * FROM `table`');
  2. while($rgRow=mysql_fetch_array($rSelect))
  3. {
  4.   //..
  5. }


Каждый запрос будет получать до 20 строк.
Цитата:
Вопрос в том, обязательно ли выгружать это все в массив?

Как организовать? Вот я получаю 3 строки из бд:
Цитата:
root@dm.ru|datetime|subscribe_id|subscribe_name|ordrer_id|order_name
root@dm.ru|datetime|subscribe_id_2|subscribe_name_2|ordrer_id_2|order_name_2
other@dm.ru|datetime|subscribe_id|subscribe_name|ordrer_id|order_name


надо это вывести так:
PHP:
скопировать код в буфер обмена
  1.  
  2. root@dm.ru | datetime
  3.     subscribe_id | subscribe_name
  4.     subscribe_id_2|subscribe_name_2
  5.         order_id | order_name
  6.         order_id_2 | order_name_2
  7. other@dm.ru | datetime
  8.     subscribe_id | subscribe_name
  9.         order_id | order_name
  10.  
  11.  


использовать *_data_seek() ?

сейчас запрос такой:
CODE (SQL):
скопировать код в буфер обмена
  1.  
  2. SELECT users.*, subscribers.*, orders.* FROM users
  3.         LEFT JOIN `subscribers` ON users.id = subscribers.pid
  4.         LEFT JOIN `orders` ON users.id = orders.o_pid
  5.         ORDER BY users.id DESC
  6.  

И выполняется он 22 секунды уже сейчас(((

(Отредактировано автором: 08 Марта, 2012 - 18:12:05)



-----
Когда всматриваешься в тёмную бездну, учти, что кто-то может смотреть на тебя из неё...
 
My status
 Top
EuGen Администратор
Отправлено: 08 Марта, 2012 - 17:31:45
Post Id


Профессионал


Покинул форум
Сообщений всего: 9095
Дата рег-ции: Июнь 2007  
Откуда: Berlin


Помог: 707 раз(а)
В этом случае оптимальнее создать индекс по соответствующим полям и использовать JOIN

А 22 секунды - подозреваю оттого, что нет индексов на полях, по которым идет JOIN


-----
Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.
 
 Top
snikers987
Отправлено: 08 Марта, 2012 - 17:35:51
Post Id



Участник


Покинул форум
Сообщений всего: 1239
Дата рег-ции: Сент. 2011  
Откуда: Крым


Помог: 25 раз(а)
EuGen пишет:
В этом случае оптимальнее создать индекс по соответствующим полям и использовать JOIN


Можно поподробнее?


-----
Когда всматриваешься в тёмную бездну, учти, что кто-то может смотреть на тебя из неё...
 
My status
 Top
EuGen Администратор
Отправлено: 08 Марта, 2012 - 17:36:53
Post Id


Профессионал


Покинул форум
Сообщений всего: 9095
Дата рег-ции: Июнь 2007  
Откуда: Berlin


Помог: 707 раз(а)
Можно. Сделайте EXPLAIN Вашего запроса с той структурой таблиц, что есть сейчас.
Затем создайте индексы по полям, которые используются для присоединения (JOIN) - и снова сделайте EXPLAIN


-----
Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.
 
 Top
caballero
Отправлено: 08 Марта, 2012 - 17:43:56
Post Id


Активный участник


Покинул форум
Сообщений всего: 5998
Дата рег-ции: Сент. 2011  
Откуда: Харьков


Помог: 126 раз(а)
поцепи на крон и пусть молотит
ну и индексы на полях id pid


-----
Бесплатная система складского учета с открытым кодом https://zippy[dot]com[dot]ua/zstore
 
 Top
snikers987
Отправлено: 08 Марта, 2012 - 17:57:48
Post Id



Участник


Покинул форум
Сообщений всего: 1239
Дата рег-ции: Сент. 2011  
Откуда: Крым


Помог: 25 раз(а)
caballero пишет:
поцепи на крон и пусть молотит
ну и индексы на полях id pid

Я то подцеплю, но заказчику нужно "нажал на ссылочку, подождал и победил"
(Добавление)
CODE (SQL):
скопировать код в буфер обмена
  1.  
  2. CREATE INDEX users_index ON users (id) USING BTREE;
  3. CREATE INDEX subscrb_index ON subscribers (pid) USING BTREE;
  4. CREATE INDEX orders_index ON orders (o_pid) USING BTREE;
  5.  


Сделал так - запрос стал работать приблизительно на 5-7 секунд быстрее..надеюсь под индексами это имелось ввиду?


-----
Когда всматриваешься в тёмную бездну, учти, что кто-то может смотреть на тебя из неё...
 
My status
 Top
snikers987
Отправлено: 12 Марта, 2012 - 22:41:39
Post Id



Участник


Покинул форум
Сообщений всего: 1239
Дата рег-ции: Сент. 2011  
Откуда: Крым


Помог: 25 раз(а)
Запрос выполнялся долго из-за сортировки.
Можно пример вывода без формировки массива?
буду очень признателен.


Спойлер (Отобразить)


-----
Когда всматриваешься в тёмную бездну, учти, что кто-то может смотреть на тебя из неё...
 
My status
 Top
Поиск в теме | Версия для печати
Страниц (1): [1]
Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)
« Работа с СУБД »


Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.
  



Powered by PHP  Powered By MySQL  Powered by Nginx  Valid CSS  RSS

 
Powered by ExBB FM 1.0 RC1. InvisionExBB