HitIct：中文无损压缩算法性能评估测试集.docVIP

HitIct：中文无损压缩算法性能评估测试集 第3O卷第3期 2009年3月 通信 JournalonCommunications ,,01.3ONo.3 March2o09 HitIct.中文无损压缩算法性能评估测试集 常为领I,云晓春,方滨兴.一,王树鹏 (1.哈尔滨工业大学计算机网络与信息安全技术研究中心,黑龙江哈尔滨150001 2.中国科学院计算技术研究所信息智能与信息安全研究中心,北京100190) 摘要:提出了一个基于ANSI编码的中文无损压缩算法性能评估测试集HitIct.按照应用代表性,对现有ASCII 编码测试集的补充性,样本公开性的原则从互联网上获取候选样本集,采用平均压缩率,标准差,平均相关系数, 压缩率相关系数等技术指标对样本集中的样本进行筛选,并剔除影响压缩率的非文本因素等方法确定的最佳样本 组成HitlctCorpus.实验结果表明,该测试集具有良好的代表性及稳定性,可以作为当前主流ASCII编码测试集 的补充. 关键词:数据压缩;测试集;无损压缩 中图分类号:TP309.3文献标识码:A文章编号:1000.436X(2009)03.0042—06 HitIct:Chinesecorpusfortheevaluation0f 10sslessC0mDresslonal20rltnmS_●●●J1 CHANGWei.1ing,YUNXiao—chun2 , FANGBin.xing,,WANGShu—peng2 (1.ResearchCenterofComputerNetworkandInformationSecurityTechnology,HarbinInstituteofTechnology,Harbin150001,China; 2.ResearchCenterforInformationIntelligenceandInformationSecurity,Instituteof ComputingTechnology,ChineseAcademyofSciences,Beijing100190,China) Abstract:Hitlct,aChinesecorpusfortheevaluationoflosslesscompressionalgorithmsbasedonANSIcode,waspro— posed.Inaccordancewiththeprincipleofapplicationrepresentativeness,Complementaryprincipleandopennessprinci- ple,alargenumberofcandidatefileswereobtainedfromtheInternet,andthenaveragecompressionratio,averagecor— relationcoefficient,compressionratiocorrelationcoefficientandstandarddeviationwereusedtoselectthefilesthatgive themostaccurateindicationoftheoverallperformanceofcompressionalgorithms.Experimentalresultsshowthatthis collectionhasagoodrepresentativenessandstability,andCanbeusedasthesupplementarytestsetofthemainbench— markforcomparingcompressionmethods. Keywords:datacompression;corpus;losslesscompression 收稿日期:2008—08—12;修回日期:2008—12—29 基金项目:国家重点基础研究发展计划(973计划)基金资助项目(2007cB3l1l00);国家自然科学基金资助项目: 国家高技术研究发展计划(863计划)基金资助项目(2007AA0tZ406,2007AA01Z442,2007AA01Z444,2007AA01Z467, 2007AA01Z474,2007AA010501) FoundationItems:TheNationalBasicResearchProgramofChina(973Program)(2007CB311100);TheNationalNaturalScience FoundationofChina;TheNationalHighTechnologyResearchandDevelopmentProgramo