PHP.SU

 Программирование на PHP, MySQL и другие веб-технологии
PHP.SU Портал     На главную страницу форума Главная     Помощь Помощь     Поиск Поиск     Поиск Яндекс Поиск Яндекс     Вакансии  Пользователи Пользователи

Страниц (1): [1]

> Найдено сообщений: 5
Гагигегабо Отправлено: 02 Декабря, 2012 - 19:40:03 • Тема: Кириллица, мульбитайтовые символы и preg_replace • Форум: Кодировки и все смежное

Ответов: 18
Просмотров: 12596
sKaa пишет:
Гагигегабо, пробел в шаблоне можно обозначить как :
PHP:
скопировать код в буфер обмена
  1.     echo preg_replace('/[^\sa-zA-Z0-9А-Яа-яЁё]/iu', '', $search);


Спасибо за совет, но мне нужен просто пробел.

\s - соответствует любому из "пробельных символов" (пробел, вертикальная , или горизонтальная табуляция, символ новой строки и т. д.),
Гагигегабо Отправлено: 02 Декабря, 2012 - 19:31:33 • Тема: Кириллица, мульбитайтовые символы и preg_replace • Форум: Кодировки и все смежное

Ответов: 18
Просмотров: 12596
sKaa пишет:
PHP:
скопировать код в буфер обмена
  1. echo preg_replace('/[a-zA-Z0-9А-Яа-я]/iu', '', "Проверка работы кодировки ¦ UTF-8 ¦");

(Добавление)
[^ ... Ваш шаблон исключает обработку указанных далее символов.


Супер, спасибо =))) Вот, что значит свежий взгляд.

Даже не верится, надо потестировать.

Так корректнее:

CODE (htmlphp):
скопировать код в буфер обмена
  1. echo preg_replace('/[^ a-zA-Z0-9А-Яа-яЁё]/iu', '', $search);
Гагигегабо Отправлено: 02 Декабря, 2012 - 19:19:15 • Тема: Кириллица, мульбитайтовые символы и preg_replace • Форум: Кодировки и все смежное

Ответов: 18
Просмотров: 12596
NoPaper пишет:
Сейчас у себя запустил скрипт:
PHP:
скопировать код в буфер обмена
  1. <?
  2. header('Content-Type: text/html; charset=utf-8');
  3. echo mb_ereg_replace('/[^ a-zA-Z0-9\+абвгдеёжзийклмнопрстуфчхцшщъьыэюяАБВГДЕЁЖЗИЧЙКЛМНОПРСТУФХЦШЩЬЪЫЭЮЯ\-]*/i', "", "Проверка работы кодировки ¦ UTF-8 ¦");


Все работает отлично!

Файл в кодировке UTF-8 + в корне лежит htaccess с прописанной кодировкой utf-8


Этот код ничего не фильтрует, я думаю имелось ввиду следующее:

PHP:
скопировать код в буфер обмена
  2.         '[^ a-zA-Z0-9\+абвгдеёжзийклмнопрстуфчхцшщъьыэюяАБВГДЕЁЖЗИЧЙКЛМНОПРСТУФХЦШЩЬЪЫЭЮЯ\-]*',
  3.         "",
  4.         "Проверка работы кодировки ¦ UTF-8 ¦"
  5.  );

Работает также, как и я писал выше.
Гагигегабо Отправлено: 02 Декабря, 2012 - 19:09:37 • Тема: Кириллица, мульбитайтовые символы и preg_replace • Форум: Кодировки и все смежное

Ответов: 18
Просмотров: 12596
NoPaper пишет:
Попробуй с mb_ereg_replace
PHP:
скопировать код в буфер обмена
  1.  
  2. echo '<p>На вход подается паттерн в utf8 и строка поиска в utf8 </p>';
  3. echo  '<br /> '.mb_ereg_replace($pattern_utf8, "", $search);  
  4.  


Результат аналогичен использованию preg_replace с модификатором /u

PHP:
скопировать код в буфер обмена
  1. echo  '<br />6) '.preg_replace($pattern_utf8_u, "", $search);
Гагигегабо Отправлено: 02 Декабря, 2012 - 17:46:30 • Тема: Кириллица, мульбитайтовые символы и preg_replace • Форум: Кодировки и все смежное

Ответов: 18
Просмотров: 12596
 В общем не получается отфильтровать строку с символами вроде ¦, ¦ и кириллицей.

Где ¦ - это, например, мнемоники:

http://goo[dot]gl/UBRmQ

тут они не отображаются, так как форум на cp-1251.

Паттерн:

PHP:
скопировать код в буфер обмена
  1. /[^ a-zA-Z0-9\+абвгдеёжзийклмнопрстуфчхцшщъьыэюяАБВГДЕЁЖЗИЧЙКЛМНОПРСТУФХЦШЩЬЪЫЭЮЯ\-]*/i


успешно фильтрует все ненужные символы, сохраняя кириллицу, но не удаляет мультибайтовые символы, выводя их в виде значка неизвестного символа.

Паттерн:

PHP:
скопировать код в буфер обмена
  1. /[^ a-zA-Z0-9\+абвгдеёжзийклмнопрстуфчхцшщъьыэюяАБВГДЕЁЖЗИЧЙКЛМНОПРСТУФХЦШЩЬЪЫЭЮЯ\-]*/iu


удаляет мультибайтовые символы, а кириллицу, которую надо было бы исключить из фильтра выводит
в виде неизвестных символов.

Паттерны c \w выводят какую-то херь (:

Если смениль локаль на
PHP:
скопировать код в буфер обмена
  1. setlocale(LC_ALL, 'ru_RU.UTF-8');


Паттерн:
PHP:
скопировать код в буфер обмена
  1.  
  2. /[^ \w\-]*/i


отфильтрует и кириллицу и мультибайтовые символы.

PHP:
скопировать код в буфер обмена
  1. /[^ \w\-]*/iu


также выведет херь.

Собственно, это не всё.
iconv обрезает при перекодирование в 'utf-8' -> 'windows-1251' по мультибайтовому символу, что ещё трагичней, так как перевести строку в windows-1251 и провести её очистку а затем перегнать обратно в
utf-8 не получиться.


Вот извратный скрипт, который я написал для проверки (кодировка скрипта в utf-8):
PHP:
скопировать код в буфер обмена
  1.  
  2. header('Content-Type: text/html; charset=utf-8');
  4. //setlocale(LC_ALL, 'ru_RU.UTF-8');
  5. setlocale(LC_ALL, 'ru_RU.CP1251');
  6.  
  7. echo '<p>Cтрока поиска в UTF-8</p>';
  8. echo $search = "Проверка работы кодировки ¦ UTF-8 ¦";
  9. echo '<p>Cтрока поиска в windows-1251</p>';
  10. echo $search_ansi = iconv('utf-8'  ,  'windows-1251', $search);
  11. echo '<br /><br />';
  12.  
  13. $pattern_ansi = iconv('utf-8'  ,  'windows-1251', "/[^ a-zA-Z0-9\+абвгдеёжзийклмнопрстуфчхцшщъьыэюяАБВГДЕЁЖЗИЧЙКЛМНОПРСТУФХЦШЩЬЪЫЭЮЯ\-]*/i");
  14. $pattern_ansi_u = iconv('utf-8'  ,  'windows-1251', "/[^ a-zA-Z0-9\+абвгдеёжзийклмнопрстуфчхцшщъьыэюяАБВГДЕЁЖЗИЧЙКЛМНОПРСТУФХЦШЩЬЪЫЭЮЯ\-]*/iu");
  15. $pattern_utf8 = "/[^ a-zA-Z0-9\+абвгдеёжзийклмнопрстуфчхцшщъьыэюяАБВГДЕЁЖЗИЧЙКЛМНОПРСТУФХЦШЩЬЪЫЭЮЯ\-]*/i";
  16. $pattern_utf8_u = "/[^ a-zA-Z0-9\+абвгдеёжзийклмнопрстуфчхцшщъьыэюяАБВГДЕЁЖЗИЧЙКЛМНОПРСТУФХЦШЩЬЪЫЭЮЯ\-]*/iu";
  17. $pattern = "/[^ \w\-]*/i";
  18. $pattern_u = "/[^ \w\-]*/iu";
  19.  
  20. echo '<p>На вход подается паттерн в windows-1251 и строка поиска в UTF-8</p>';
  21. echo  '<br />1) '.preg_replace($pattern_ansi, "",  $search);
  22. echo '<p>На вход подается паттерн в windows-1251 и строка поиска в UTF-8 (модификатор /u)</p>';  
  23. echo  '<br />2) '.preg_replace($pattern_ansi_u, "",  $search);  
  24.  
  25. echo '<p>На вход подается паттерн в windows-1251 и строка поиска в windows-1251</p>';
  26. echo  '<br />3) '.preg_replace($pattern_ansi, "",  $search_ansi);  
  27. echo '<p>На вход подается паттерн в windows-1251 и строка поиска в windows-1251 (модификатор /u)</p>';
  28. echo  '<br />4) '.preg_replace($pattern_ansi_u, "",  $search_ansi);  
  29.  
  30.  
  31. echo '<p>На вход подается паттерн в utf8 и строка поиска в utf8 </p>';
  32. echo  '<br />5) '.preg_replace($pattern_utf8, "", $search);  
  33. echo '<p>На вход подается паттерн в utf8 и строка поиска в utf8 (модификатор /u)</p>';
  34. echo  '<br />6) '.preg_replace($pattern_utf8_u, "", $search);
  35.  
  36. echo '<p>На вход подается паттерн в utf8 и строка поиска в windows-1251 </p>';
  37. echo  '<br />7) '.preg_replace($pattern_utf8, "", $search_ansi);
  38. echo '<p>На вход подается паттерн в utf8 и строка поиска в windows-1251 (модификатор /u)</p>';  
  39. echo  '<br />8) '.preg_replace($pattern_utf8_u, "", $search_ansi);
  40.  
  41.  
  42. echo '<p>На вход подается паттерн и строка поиска в utf-8 </p>';
  43. echo  '<br />9) '.preg_replace($pattern, "",   $search);
  44. echo '<p>На вход подается паттерн и строка поиска в utf-8 (модификатор /u)</p>';
  45. echo  '<br />10) '.preg_replace($pattern_u, "",  $search);
  46.  
  47. echo '<p>На вход подается паттерн и строка поиска в windows-1251 </p>';  
  48. echo  '<br />11) '.preg_replace($pattern, "",  $search_ansi);
  49. echo '<p>На вход подается паттерн и строка поиска в windows-1251 (модификатор /u)</p>';  
  50. echo  '<br />12) '.preg_replace($pattern_u, "",  $search_ansi);


То, что выводится сразу в utf8:
https://dl[dot]dropbox[dot]com/u/18352137/temp/utf8[dot]png

Если сменить кодировку в браузере на windows-1251:
https://dl[dot]dropbox[dot]com/u/18352137/temp/ansi[dot]png

PHP Version 5.3.13
Multibyte regex (oniguruma) version 4.7.1
Не на винде

Страниц (1): [1]
Powered by PHP  Powered By MySQL  Powered by Nginx  Valid CSS  RSS

 
Powered by ExBB FM 1.0 RC1. InvisionExBB