Warning: Cannot use a scalar value as an array in /home/admin/public_html/forum/include/fm.class.php on line 757

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/include/fm.class.php on line 770

Warning: Invalid argument supplied for foreach() in /home/admin/public_html/forum/topic.php on line 737
Форумы портала PHP.SU :: Многократный обход огромного массива данных

PHP.SU

Программирование на PHP, MySQL и другие веб-технологии

PHP.SU Портал

Главная

Помощь

Поиск

Поиск Яндекс Вакансии

Пользователи

Здравствуйте, Гость

( Вход · Регистрация · Правила форума )

Забыли пароль?

Многократный обход огромного массива данных

Форумы портала PHP.SU » PHP » Программирование на PHP » Вопросы новичков (Модераторы: OrmaJever, Саныч, Строитель)

Страниц (1): [1]

Без описания

Поиск в теме | Версия для печати

freelsd	Отправлено: 16 Октября, 2015 - 12:23:12
Гость Покинул форум Сообщений всего: 108 Дата рег-ции: Февр. 2015 Помог: 1 раз(а)	У меня есть большой массив на несколько миллионов записей. Нужно взять одно строку, выделить регекспом часть, потом проверить весь этот массив на количество вхождений этой части. Для быстроты работы массив я загружаю в память через file(), файл весит около 70мб. Но проблема в том что однократный обход массива занимает около 10 секунд, что катастрофически много. А таких записей, как я говорил несколько миллионов. Как быть в такой ситуации, возможно есть вариант ускорить обработку? Как вообще процессят такие объемы данных.

DeepVarvar	Отправлено: 16 Октября, 2015 - 17:16:00
Активный участник Покинул форум Сообщений всего: 10377 Дата рег-ции: Дек. 2008 Откуда: Альфа Центавра Помог: 353 раз(а)	Записать данные в БД и уже работать запросами. ----- Шта? Репозиторий?

freelsd	Отправлено: 16 Октября, 2015 - 18:00:05
Гость Покинул форум Сообщений всего: 108 Дата рег-ции: Февр. 2015 Помог: 1 раз(а)	DeepVarvar, в общем-то да, как вариант. А еще какие методы есть?

DeepVarvar	Отправлено: 16 Октября, 2015 - 21:00:27
Активный участник Покинул форум Сообщений всего: 10377 Дата рег-ции: Дек. 2008 Откуда: Альфа Центавра Помог: 353 раз(а)	Написать свою узкопрофильную БД/обертку над данными из файлов и работать через неё. ----- Шта? Репозиторий?

Поиск в теме | Версия для печати

Страниц (1): [1]

Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)

« Вопросы новичков »

Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.