У меня есть база на несколько миллионов записей. Мне нужно в цикле сделать select а затем update. Но замерив с помощью microtime() запрос SELECT count(filed), я увидел что он занимает 1.5-2 секунды, что очень долго. Update, кстати тоже тормознутый. База на движке myisam, хотя innodb я тоже пробовал - те же грабли. Почему так медленно выполняются запросы и как мне улучшить ситуацию, потому что мне необходимо в цикле пройти все записи? Заранее спасибо.
У меня есть большой массив на несколько миллионов записей. Нужно взять одно строку, выделить регекспом часть, потом проверить весь этот массив на количество вхождений этой части. Для быстроты работы массив я загружаю в память через file(), файл весит около 70мб. Но проблема в том что однократный обход массива занимает около 10 секунд, что катастрофически много. А таких записей, как я говорил несколько миллионов. Как быть в такой ситуации, возможно есть вариант ускорить обработку? Как вообще процессят такие объемы данных.
Хотя, наверное, это противоречит приниципу работы браузера и http.
Да.
Вам же сказали - ресурсоемкий процесс запускается отдельно. Он работает сам по себе и время от времени пишет в базу (например) процент своего выполнения.
Ваша страница читает аяксом эти данные, и показывает пользователю.
>> Я так понимаю что это нужно оформить в функцию и пускать в цикле с setTimeout?
Разумеется, нужно периодически опрашивать сервер. Запрос каждую секунду\минуту\час - самый простой вариант. Альтернатива - long polling, websockets
Понятно. Кстати, нормальный рабочий пример с аяксом так и не нашел. Остановился пока на текстовом выводе.
Аяксом раз Х секунд делаете запрос на сервер, который читает отчет их базы, который туда пишет ресурсоемкий процесс. Запрос возвращает процент состояния, вы выводите на страницу это процент.
Спасибо за подробный ответ. Странно, но у меня не работает. Поместил код на страницу, но информация не обновилась. Я так понимаю что это нужно оформить в функцию и пускать в цикле с setTimeout? Еще, видимо, тут закралась ошибка, вместо responce должно быть r.responseText. Но почему-то элемент все-равно не обновляется. Странно. (Добавление)
Вот, кстати в продолжении темы, что я имел в виду:
Но скрипт выводит подряд 10 20 30 и тд. А мне нужно чтобы сначала одно число появлялось, затем другое. Хотя, наверное, это противоречит приниципу работы браузера и http.
Вы мне предлагаете процитировать собственное сообщение?
Как это будет выглядеть на морде зависит только того, что вы сделаете вместо этапа "рисует красивый прогресс-бар"
Лол, ну так я конкретно и спрашиваю как мне это сделать вместо этапа "рисует красивый прогресс-бар" =)
Ресурсоёмкий процесс запускаете только в консоли. Если надо его запускать из веба - exec в помощь. Или, как более взрослое и контролируемое решение - сервер очередей.
Этот процесс время от времени пишет в какое-то хранилище отчёт о своём выполнении.
Веб-морда тем временем периодически опрашивает сервер, читает это состояние скрипта и рисует красивый прогресс-бар. Можно каким-нибудь веб-сокетом, если есть желание.
А если без красивого прогресс бара, текстом просто выводить в цикле какую-то информацию. Просто хотелось бы чтобы вывод не шел браузер каждый раз новой строкой, а чтобы все было одной записью.
Вот на как на рисунке второй вариант. Так понятнее будет. Мне нагрузка на апач не суть важна, можно и из веба запускать.
У меня есть некий ресурсоемкий процес. Хотелсь бы выводить в браузер его состояние, как на консоли примерно. То есть показал что какой-то процент обработался, стер эту запись, потом показал новый процентаж. Я надеюсь, что ясно выразился. Я так понял что нужно ob_clean() и flush() использовать? Или как лучше этого достичь?
Вот, кому пригодится, решение, которое можно использовать, если не требуется избыточный функционал http://stackoverflow[dot]com/questio[dot][dot][dot]s-bar-percentage
те же яйца только в профиль.
Мб, я на всякий случай скинул, может кому come in handy.
Главная
Помощь
Поиск
Пользователи
Найдено сообщений: 108
