Форумы портала PHP.SU :: Версия для печати

1. Haron - 02 Января, 2012 - 06:36:33 - перейти к сообщению

Всем привет! С новым годом, счастья Вам, и всего того что вам уже нажелали Улыбка

. Ну ладно...

Столкнулся с проблемой:

function detect_enc($str)
{
        $awe = mb_list_encodings();
        unset($awe[0], $awe[1], $awe[2]);
        foreach ($awe as $enctype)
        {
                if (mb_check_encoding($str, $enctype) === true) return $enctype;
        }
        return false;
}
 
echo detect_enc('Строка_в_кодировке_Windows-1251'); // Напечатало 'byte2be'

И пошёл я сюда, нашёл похожую проблему и кучу незакрытых аж с 2008 года багов. Отписался в камментах к багу на всякий случай...

Однако возникает вопрос, так как же быть-то? Конкренто - интересует способ надёжного определения текста в произвольной кодировке на входе. Я встречал разной степени костылистости решения, встречал способы на паттернах, на основе подсчёта частот символов и их биграмм, и т. д.

А есть-ли какой-то универсальный способ, или какая-то библиотека? Возможно что-то есть в существующих фреймворках? Ребята, это достаточно актуальная проблема, давайте её решим вместе, и выложим это в "уроках"?