Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/topic.php on line 737
Форумы портала PHP.SU :: ускорение запроса

PHP.SU

Программирование на PHP, MySQL и другие веб-технологии

PHP.SU Портал

Главная

Помощь

Поиск

Поиск Яндекс Вакансии

Пользователи

Здравствуйте, Гость

( Вход · Регистрация · Правила форума )

Забыли пароль?

ускорение запроса

Форумы портала PHP.SU » PHP » Программирование на PHP » Работа с СУБД (Модераторы: OrmaJever, Саныч)

Страниц (1): [1]

Без описания

Поиск в теме | Версия для печати

DelphinPRO	Отправлено: 09 Декабря, 2013 - 09:36:28
Активный участник Покинул форум Сообщений всего: 7187 Дата рег-ции: Февр. 2012 Помог: 353 раз(а)	Есть таблица innodb составной primary key на два поля и три простых ключа (INT, DATE) Вставка 30-40 тысяч строк занимает около минуты, и это время растет по мере увеличения данных в таблице. Все запросы объединены в одну транзакцию. Таблица (Отобразить) CODE (SQL): скопировать код в буфер обмена CREATE TABLE `st` ( `Id1` INT(11) UNSIGNED NOT NULL, `Id2` INT(11) UNSIGNED NOT NULL, `Title` VARCHAR(50) NULL DEFAULT NULL, `Id` INT(11) UNSIGNED NOT NULL, `Pop` INT(10) NOT NULL DEFAULT '0', `create` DATE NOT NULL, `delete` DATE NOT NULL, PRIMARY KEY (`Id1`, `Id2`), INDEX `Id` (`Id`), INDEX `Pop` (`Pop`), INDEX `deleted` (`delete`) ) COLLATE='utf8_general_ci' ENGINE=InnoDB; Есть возможность как-то ускорить процесс, и уменьшить нагрузку на сервер БД? (Отредактировано автором: 09 Декабря, 2013 - 09:38:15) ----- Чем больше узнаю, тем больше я не знаю.

EuGen	Отправлено: 09 Декабря, 2013 - 09:45:16
Профессионал Покинул форум Сообщений всего: 9095 Дата рег-ции: Июнь 2007 Откуда: Berlin Помог: 707 раз(а)	Разумеется, так и будет. Чем сильнее индексирована таблица, тем дольше будут происходить опрерации вставки. Следует оценить, нужны ли все индексы? Какие запросы выборки проводятся? И часто ли вообще происходят выборки? Как часто происходст вставки? Если и выборки и вставки критичны и оба процесса происходят часто, вероятно, имеет смысл создать репликацию по типу OLAP-OLTP. Но тогда, разумеется, возникнет оверхед при репликации. ----- Есть в мире две бесконечные вещи - это Вселенная и человеческая глупость. Но насчет первой .. я не уверен.

DelphinPRO	Отправлено: 09 Декабря, 2013 - 09:49:46
Активный участник Покинул форум Сообщений всего: 7187 Дата рег-ции: Февр. 2012 Помог: 353 раз(а)	Это статистическая таблица. Вставки раз в сутки, по ключам - выборка статистики. ----- Чем больше узнаю, тем больше я не знаю.

caballero	Отправлено: 09 Декабря, 2013 - 09:51:45
Активный участник Покинул форум Сообщений всего: 5998 Дата рег-ции: Сент. 2011 Откуда: Харьков Помог: 126 раз(а)	если статистическая то зачем вставлять все а не выполнять предварительную обработку (в частности агрегацию) данных ----- Бесплатная система складского учета с открытым кодом https://zippy[dot]com[dot]ua/zstore

DelphinPRO	Отправлено: 09 Декабря, 2013 - 09:54:50
Активный участник Покинул форум Сообщений всего: 7187 Дата рег-ции: Февр. 2012 Помог: 353 раз(а)	чтобы например можно было отобразить график изменения значений в поле Pop за любой прошедший период ----- Чем больше узнаю, тем больше я не знаю.

caballero	Отправлено: 09 Декабря, 2013 - 09:57:48
Активный участник Покинул форум Сообщений всего: 5998 Дата рег-ции: Сент. 2011 Откуда: Харьков Помог: 126 раз(а)	тогда убери все индексы кроме первичного ключа пусть потом молотит для графиков (Добавление) Цитата: все запросы объединены в одну транзакцию. вот это точно будет тормозить. ----- Бесплатная система складского учета с открытым кодом https://zippy[dot]com[dot]ua/zstore

DelphinPRO	Отправлено: 09 Декабря, 2013 - 10:03:39
Активный участник Покинул форум Сообщений всего: 7187 Дата рег-ции: Февр. 2012 Помог: 353 раз(а)	хорошо, на поле Pop допустим можно убрать индекс. Оно используется в предложении ORDER BY. (для запроса ТОП-10) Это не замедлит выборку? Поле ID используется для связки с другой таблицей. Видимо не стоит убирать. Кроме того это не единственная таблица с подобной проблемой. Поэтому поинтересовался, есть ли способы усконения, в принципе. Нагуглил, что можно отключить ключи на всемя вставки, потом включить. Это ускорит? и как делается? (Добавление) caballero пишет: все запросы объединены в одну транзакцию. вот это точно будет тормозить. А как быть. На шаред хостинге стоит ограничение на количество вставок\апдейтов в час (30000) и без транзакций сервер плюется отказами. (Отредактировано автором: 09 Декабря, 2013 - 10:07:10) ----- Чем больше узнаю, тем больше я не знаю.

teddy	Отправлено: 09 Декабря, 2013 - 10:56:28
Участник Покинул форум Сообщений всего: 1462 Дата рег-ции: Апр. 2013 Помог: 91 раз(а)	DelphinPRO пишет: Оно используется в предложении ORDER BY. (для запроса ТОП-10) Это не замедлит выборку? WHERE GROUP и ORDER как правило нуждаются в наличии индекса для более быстрой выборки/группиковки/сортировки. Тоесть WHERE `name`=... уже нужен индекс `name` DelphinPRO пишет: Нагуглил, что можно отключить ключи на всемя вставки, потом включить. Это ускорит? и как делается? Насчет ускорения совру, но "нашпигованная индексация таблиц" явно пользы не приносит и возможно даже вредит. А делается это очень просто(отключение/включение ключей для таблицы) CODE (SQL): скопировать код в буфер обмена ALTER TABLE `tablename` DISABLE KEYS;--отключаем ключи CODE (SQL): скопировать код в буфер обмена ALTER TABLE `tablename` ENABLE KEYS;--включаем ключи Здесь можно попробовать использовать хранимую процедуру, где в начале будут вырублены ключи, вставка, затем врублены ключи заново и таким образом измерить время исполнения. DelphinPRO пишет: Вставка 30-40 тысяч строк занимает около минуты, Время исполнения операций сервером БД так же зависит от мощности процессора. (Отредактировано автором: 09 Декабря, 2013 - 10:57:44)

DelphinPRO	Отправлено: 09 Декабря, 2013 - 11:07:59
Активный участник Покинул форум Сообщений всего: 7187 Дата рег-ции: Февр. 2012 Помог: 353 раз(а)	Видимо придется подумать над структурой. Может как-то по другому спроектировать таблички. Буду думать... ----- Чем больше узнаю, тем больше я не знаю.

DeepVarvar	Отправлено: 09 Декабря, 2013 - 11:29:08
Активный участник Покинул форум Сообщений всего: 10377 Дата рег-ции: Дек. 2008 Откуда: Альфа Центавра Помог: 353 раз(а)	DelphinPRO пишет: Видимо придется подумать над структурой А мне кажется что уже пора подумать о переезде с шареда. И на новом месте уже мутить все красиво, чем вот эти костыли изобретать на шареде. В любом случае, не думаю что смертельно сложно направить нужную информацию вышестоящим. ----- Шта? Репозиторий?

DelphinPRO	Отправлено: 09 Декабря, 2013 - 11:32:58
Активный участник Покинул форум Сообщений всего: 7187 Дата рег-ции: Февр. 2012 Помог: 353 раз(а)	Вышестоящих нет. личный хобби-проект только вот с администрированием у меня еще хуже Боюсь не смогу VPS настроить (Отредактировано автором: 09 Декабря, 2013 - 11:34:09) ----- Чем больше узнаю, тем больше я не знаю.

caballero	Отправлено: 09 Декабря, 2013 - 11:52:51
Активный участник Покинул форум Сообщений всего: 5998 Дата рег-ции: Сент. 2011 Откуда: Харьков Помог: 126 раз(а)	ну так бери VPS с Windows Server правда будет нмного дороже. да и с линухом нормльные хостеры предлаают уже преднастроеную системму или услуги админа по настройке. а дальше можешь работать точно так же как и с шаред. ----- Бесплатная система складского учета с открытым кодом https://zippy[dot]com[dot]ua/zstore

Поиск в теме | Версия для печати

Страниц (1): [1]

Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)

« Работа с СУБД »

Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.