PHP.SU

Программирование на PHP, MySQL и другие веб-технологии

PHP.SU Портал

Главная

Помощь

Поиск

Поиск Яндекс Вакансии

Пользователи

Здравствуйте, Гость

( Вход · Регистрация · Правила форума )

Забыли пароль?

Оптимизация перекодировки в UTF8

Форумы портала PHP.SU » PHP » Программирование на PHP (Модераторы: valenok, OrmaJever, Саныч)

Страниц (1): [1]

Без описания

Поиск в теме | Версия для печати

dron817	Отправлено: 03 Декабря, 2018 - 12:50:18
Новичок Покинул форум Сообщений всего: 3 Дата рег-ции: Дек. 2018 Помог: 0 раз(а)	PHP: скопировать код в буфер обмена <?PHP /* У заказчика имеется база данных, в которой есть таблица с текстами технических документов, вида: create table documents ( id int(11) not null auto_increment, title varchar(255) not null, document_text text not null, PRIMARY KEY(id) ) CHARACTER SET cp1251; Примерный размер базы составляет около 1 000 000 записей. Необходимо было убрать из содержимого все html теги и перекодировать в utf-8. Для решения этой задачи был составлен скрипт: / //устанавливаем соединение с базой данных $dbh = new PDO('mysql:host=localhost;dbname=test;charset=UTF8', 'root', ''); //создаем новую таблицу, в которой разместим измененные данные $newTableName = 'documents_encoded'; $newTableSql = <<<EOL create table if not exists {$newTableName} ( id int(11) not null auto_increment, title varchar(255) not null, document_text text not null, PRIMARY KEY(id) ) CHARACTER SET utf8 COLLATE utf8_general_ci; EOL; if ($dbh->exec($newTableSql) === false) { throw new Exception('Не удалось создать новую таблицу'); } //собираем данные из старой таблицы, обрабатываем и вносим в новую $oldTableName = 'documents'; $selectOldData = "SELECT FROM {$oldTableName}"; foreach ($dbh->query($selectOldData) as $row) { $insertRowToNewTable = "INSERT INTO `{$newTableName}` SET"; $insertRowToNewTable .= " `id`='{$row['id']}',"; $insertRowToNewTable .= " `title`='".strip_tags(iconv('CP1251', 'UTF8', $row['title']))."',"; $insertRowToNewTable .= " `document_text`='".strip_tags(iconv('CP1251', 'UTF8', $row['document_text']))."'"; $dbh->exec($insertRowToNewTable); } /* Проанализируйте данный скрипт и предложите изменения по улучшению его работы. Улучшения должны быть предоставлены в качестве новой версии данного скрипта. */

Мелкий	Отправлено: 03 Декабря, 2018 - 13:04:59
Активный участник Покинул форум Сообщений всего: 11926 Дата рег-ции: Июль 2009 Откуда: Россия, Санкт-Петербург Помог: 618 раз(а)	Ну и что вы сами думаете по поводу этого вопроса с очевидно собеседования? ----- PostgreSQL DBA

dron817	Отправлено: 03 Декабря, 2018 - 13:21:56
Новичок Покинул форум Сообщений всего: 3 Дата рег-ции: Дек. 2018 Помог: 0 раз(а)	Мелкий пишет: Ну и что вы сами думаете по поводу этого вопроса с очевидно собеседования? Ну во-первых, возможно стоит использовать mb_convert_encoding, вместо iconv (говорят надёжней и может немного быстрей) 2-е, по-любому нужно ускорить выборку из БД, из решений, нашёл установку флага у обработанных записей и выборке по 10-100 записей

Мелкий	Отправлено: 03 Декабря, 2018 - 13:45:27
Активный участник Покинул форум Сообщений всего: 11926 Дата рег-ции: Июль 2009 Откуда: Россия, Санкт-Петербург Помог: 618 раз(а)	dron817 пишет: возможно стоит использовать mb_convert_encoding, вместо iconv Проверили? Что вышло? Статистически-значимую разницу удалось заметить? dron817 пишет: установку флага у обработанных записей Замедлите кратно с использованием индекса, на порядки - без него. Для получения значимой разницы по работе с СУБД: https://dev[dot]mysql[dot]com/doc/refman[dot][dot][dot]ata-loading[dot]html Использование prepared statements для этой задачи весьма оправдано Хотя вовсе формирование csv и загрузка обратно через LOAD DATA INFILE напрямую базой должно быть сильно быстрее. На полях стоит отметить вопрос, требуется ли от миграции корректная обработка конкурентного доступа к исходной табличке либо система на время миграции выключена (либо переведена в read-only) ----- PostgreSQL DBA

dron817	Отправлено: 03 Декабря, 2018 - 13:50:06
Новичок Покинул форум Сообщений всего: 3 Дата рег-ции: Дек. 2018 Помог: 0 раз(а)	Мелкий пишет: dron817 пишет: возможно стоит использовать mb_convert_encoding, вместо iconv Проверили? Что вышло? Статистически-значимую разницу удалось заметить? dron817 пишет: установку флага у обработанных записей Замедлите кратно с использованием индекса, на порядки - без него. Для получения значимой разницы по работе с СУБД: https://dev[dot]mysql[dot]com/doc/refman[dot][dot][dot]ata-loading[dot]html Использование prepared statements для этой задачи весьма оправдано Хотя вовсе формирование csv и загрузка обратно через LOAD DATA INFILE напрямую базой должно быть сильно быстрее. На полях стоит отметить вопрос, требуется ли от миграции корректная обработка конкурентного доступа к исходной табличке либо система на время миграции выключена (либо переведена в read-only) Спасибо, попробую, потестирую

Поиск в теме | Версия для печати

Страниц (1): [1]

Сейчас эту тему просматривают: 0 (гостей: 0, зарегистрированных: 0)

« Программирование на PHP »

Все гости форума могут просматривать этот раздел.
Только зарегистрированные пользователи могут создавать новые темы в этом разделе.
Только зарегистрированные пользователи могут отвечать на сообщения в этом разделе.