UTF-8到Unicode的编码转换.docVIP

UTF-8就是Unicode Transformation Format-8，是Unicode的一种变换编码格式。 ? ? UTF-8?有以下特性: ? UCS?字符?U+0000?到?U+007F (ASCII)?被编码为字节?0x00?到?0x7F (ASCII?兼容).?这意味着只包含?7?位?ASCII?字符的文件在?ASCII?和?UTF-8?两种编码方式下是一样的. ? 所有?U+007F?的?UCS?字符被编码为一个多个字节的串,?每个字节都有标记位集.?因此, ASCII?字节?(0x00-0x7F)?不可能作为任何其他字符的一部分. ? 表示非?ASCII?字符的多字节串的第一个字节总是在?0xC0?到?0xFD?的范围里,?并指出这个字符包含多少个字节.?多字节串的其余字节都在?0x80?到?0xBF?范围里.?这使得重新同步非常容易,?并使编码无国界,?且很少受丢失字节的影响. ? 可以编入所有可能的?231个?UCS?代码 ? UTF-8?编码字符理论上可以最多到?6?个字节长,?然而?16?位?BMP?字符最多只用到?3?字节长. ? Bigendian UCS-4?字节串的排列顺序是预定的. ? 字节?0xFE?和?0xFF?在?UTF-8?编码中从未用到. ? 下列字节串用来表示一个字符.?用到哪个串取决于该字符在?Unicode?中的序号. ? U- U-0000007F: ? ? 0xxxxxxx ? ? U- U-000007FF: ? ? 110xxxxx?10xxxxxx ? ? U- U-0000FFFF: ? ? 1110xxxx?10xxxxxx?10xxxxxx ? ? U- U-001FFFFF: ? ? 11110xxx?10xxxxxx?10xxxxxx?10xxxxxx ? ? U- U-03FFFFFF: ? ? 111110xx?10xxxxxx?10xxxxxx?10xxxxxx?10xxxxxx ? ? U- U-7FFFFFFF: ? ? 1111110x?10xxxxxx?10xxxxxx?10xxxxxx?10xxxxxx10xxxxxx ? ? 从上表还可以看出，UTF-8每个编码字符都不可能以“10”开头，“10”是以连接符的形式出现在后面的编码字节开头。因此UTF-8编码在存储和传输时是不容易出错的。 ? 下面是UTF-8到Unicode的编码转换代码(J2ME环境下的实现)：UTFC2UniC方法包含了编码转换逻辑。 ? /** ? ?????*?将UTF-8字节数据转化为Unicode字符串 ? ?????* @param utf_data byte[] - UTF-8编码字节数组 ? ?????* @param len int -?字节数组长度 ? ?????* @return String -?变换后的Unicode编码字符串 ? ?????*/ ? ????public static String UTF2Uni(byte[] utf_data, int len) ????{ ????????StringBuffer unis = new StringBuffer(); ????????char unic = 0; ????????int ptr = 0; ????????int cntBits = 0; ????????for(;ptr len;) ????????{ ????????????cntBits = getCntBits(utf_data[ptr]); ????????????if(cntBits == -1) ????????????{ ????????????????++ptr; ????????????????continue; ????????????} ????????????else ????????????if(cntBits == 0) ????????????{ ????????????????unic = UTFC2UniC(utf_data, ptr, cntBits); ????????????????++ptr; ????????????} ????????????else ????????????{ ????????????????unic = UTFC2UniC(utf_data, ptr, cntBits); ????????????????ptr += cntBits; ????????????} ? ????????????unis.append(unic);