资源区对特殊字的处理.docVIP

一. 对于url中可能出现的字符，要严格限制。 例如：相册，专辑 限制为：汉字，字母，数字，下划线。 字母，数字，下划线只限半角的。 汉字的范围限制为GBK标准的GBK/2 GBK/3 GBK/4中的所有汉字。不允许GBK中的非汉字字符（GBK/1）。GBK的码表见附件 二. 对于其它用户提交的内容，用户可以提交任意的内容 . 例如: 名人描述，图片库描述等等。 对于正常的ASCII字符和所有GBK范围内的汉字都正常存储。 对于所有GBK外的字符，由于没有合适的GBK表示，一律以实体的形式表示，例如 #xxxxx; 实体可以正常浏览，但是如果编辑的话，就会看到实体的本来面目。 对于超长的实体，可能会出现截断的情况，出现#xxx 的形式，可以容忍（如果用户反馈较多，则进行除里）。这类字符比较典型的情况是韩文. 三. 对于某些特殊字符（157个），这些字符的utf8编码与某些汉字的gbk编码重复，当这些符合单独出现时，会优先判断为对应的gbk汉字，导致判断失败，最常见的是 · , 例如，maria·sharapova，会被认为是 “maria路sharapova” 这种情况的解决是由ts保证都以utf8提交［资源区］，这样后端不进行编码的判断，用户提交,后台也能正常判断。 附：utf8编码与gbk编码重复的特殊字符。 1, /* 0xc2a4, gbk: 陇 utf8: ¤ */ 1, /* 0xc2a7, gbk: 搂 utf8: § */ 1, /* 0xc2a8, gbk: 篓 utf8: ¨ */ 1, /* 0xc2b0, gbk: 掳 utf8: ° */ 1, /* 0xc2b1, gbk: 卤 utf8: ± */ 1, /* 0xc2b7, gbk: 路 utf8: · */ 1, /* 0xc397, gbk: ?? utf8: × */ 1, /* 0xc3a0, gbk: null utf8: */ 1, /* 0xc3a1, gbk: 谩 utf8: á */ 1, /* 0xc3a8, gbk: 猫 utf8: è */ 1, /* 0xc3a9, gbk: 茅 utf8: é */ 1, /* 0xc3aa, gbk: 锚 utf8: ê */ 1, /* 0xc3ac, gbk: 矛 utf8: ì */ 1, /* 0xc3ad, gbk: 铆 utf8: í */ 1, /* 0xc3b2, gbk: 貌 utf8: ò */ 1, /* 0xc3b3, gbk: 贸 utf8: ó */ 1, /* 0xc3b7, gbk: 梅 utf8: ÷ */ 1, /* 0xc3b9, gbk: 霉 utf8: ù */ 1, /* 0xc3ba, gbk: 煤 utf8: ú */ 1, /* 0xc3bc, gbk: 眉 utf8: ü */ 1, /* 0xc481, gbk: ?? utf8: ā */ 1, /* 0xc493, gbk: ?? utf8: ē */ 1, /* 0xc49b, gbk: ?? utf8: ě */ 1, /* 0xc4ab, gbk: 墨 utf8: ī */ 1, /* 0xc584, gbk: ?? utf8: ¨? */ 1, /* 0xc588, gbk: ?? utf8: ¨? */ 1, /* 0xc58d, gbk: ?? utf8: ō */ 1, /* 0xc5ab, gbk: 奴 utf8: ū */ 1, /* 0xc78e, gbk: ?utf8: ǎ */ 1, /* 0xc790, gbk: ?? utf8: ǐ */ 1, /* 0xc792, gbk: ?? utf8: ǒ */ 1, /* 0xc794, gbk: ?? utf8: ǔ */ 1, /* 0xc796, gbk: ?? utf8: ǖ */ 1, /* 0xc798, gbk: ?? utf8: ǘ */ 1, /* 0xc79a, gbk: ?? utf8: ǚ */ 1, /* 0xc79c, gbk: ?? utf8: ǜ */ 1, /* 0xc991, gbk: ?? utf8: ¨? */ 1, /* 0xc9a1, gbk: 伞 utf8: ¨? */ 1, /* 0xcb87, gbk: ?? utf8: ˇ */ 1, /* 0xcb89, gbk: ?? utf8: ˉ */ 1, /* 0xcb8a, gbk: ?? utf8: ¨@ */ 1, /* 0xcb8b, gbk: ??