藏文网页的编码识别与转换.pdfVIP

藏文网页的编码识别与转换 刘汇丹“2，芮建武1，吴健1 1．中国科学院软件研究所开放系统与中文信息处理中心．北京100080 2．中国科学院研究生院．北京100080 huidan@iSCaSac 摘要：藏文字符集标准发布较晚，导致目前使用的藏文编码多种多样．本文按编码所属体系分类介绍了 26种藏文编码．讨论了藏文编码转换中的关键问题，介绍了藏文结构特点和统计学特征．介绍了各种可 能的识别准则并进行分析比较。确定了使用以藏文的音节点间距规律为特征的识别准则识别15种藏文编 码：使用以藏文高频音节为特征的识别准则识别其余11种藏文编码；使用以藏文句子结构特点为特征的 识别准则发现未知藏文编码的方案。设计了藏文网页的编码识别与转换系统．测试结果表明．系统能够 正确地识别藏文网页和区分非藏文网页，并能够正确地转换为Unicode字符集UTF-1fEE编码。 关键词：计算机应用；中文信息处理；藏文；编码；编码识别#编码转换 DetectionandConversionofTibetanWeb Encoding Pages LIUHui—danl一．RUIJian—wul．WUJianl I．Institute Abstract：TherealevariousTibetan usedinthe world．26differentTibetan are encodings encodingssimply todetect introducedandsomerules their schemesare onstructuredandstatistical encoding analyzed．Based featuresofTibetan asolutionis encodings tothedistanceof scripL proposed：15 a”distinguishedaccording 1 afe tothe whichhavea syllabicdots；Iencodingsdistinguishedaccordingsyllables high otherunknownTibetan Callbe thestmctoralfeaturesofTibetansentences．The encodingsdistinguishedbyusing toconveaeachofabove Unicode showsthat issues encoding#to wealso key encodingdiscussed．Implementation allweb arc detectedandconveaedtoUTF-16LE pagessuccessfully correetly information detection； Keywords：computerapplication；Chinese conversion encoding l引言 信息技术的发展使得网络成为人们日常生活中一种重要的信息来源，使用搜索引擎在 海量的数据中找到用户最需要的信息是信息检索的目标。搜索引擎通常是使用网络爬虫将 基盘项目；电子信息产业发