Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770
Форумы портала PHP.SU :: Версия для печати :: MySQL Как снизить нагрузку на базу
Форумы портала PHP.SU » » Работа с СУБД » MySQL Как снизить нагрузку на базу

Страниц (1): [1]
 

1. kuzmit4 - 30 Июня, 2015 - 05:17:16 - перейти к сообщению
Опишу проблему:
Есть база в миллион записей, и скрипт который с ней работает.
Скрипт делает следующее - берет строку из базы проверяет данные на другом сайте, и записывает в базу результат, Плюс в ячейку active добавляет "1" - означает что строка уже обработана, и ее проверять ненужно.
После чего переходит к следующей строке в базе с active=0. Т.е. на каждую строку по 2 запроса.

Т.к. база большая - то сильно нагружается сервер. По этому пришлось задуматься как это все дело оптимизировать.
Есть вопрос. Можно ли проверять строки не по очереди, а например по сто штук за раз. Например взяли 100 строк с значением active=0 проверили это дело скриптом, и записали все данные обратно.

Т.е. чтобы не было по 2 обращения к каждой строке (чтение/запись) данных.
А записывать и читать данные кусками (по 100 строк за раз)

Не кидайте камнями, если так сделать нельзя. Говорю сразу - я в танке.
Так же будет неплохо если предложите варианты как можно снизить нагрузку на такую большую базу.
Как сократить кол-во запросов и что вообще в таком случае делать.
2. DeepVarvar - 30 Июня, 2015 - 09:58:02 - перейти к сообщению
Ну так это не на базу нагрузка. Он же на другой сайт идет. Это ж 1-3 секунды. От этого частота обращений к БД очень маленькая.
3. Мелкий - 30 Июня, 2015 - 10:38:11 - перейти к сообщению
Лям записей - это копейки, а не большая база. Даже для MySQL.
Индекс хоть стоит под запрос чтения?
4. esterio - 30 Июня, 2015 - 12:53:15 - перейти к сообщению
multi_curl если я верно понял о чем речь
5. M-A-X - 03 Июля, 2015 - 17:57:52 - перейти к сообщению
Размер базы
Индексы
EXPLAIN
Сколько времени занимают запросы

 

Powered by ExBB FM 1.0 RC1