基于PPM方法的中文文本压缩.pdfVIP

第十七届全国数据库学术会议论文集(技术报告篇) 基于PPM方法的中文文本压缩 草 ‘周水庚2周傲英“ (复旦大学计算机系 1，911624@263.net;2{卿 卜以.，ayzl长阅J}@卜d曰、.曰u.二) 剐比打傲tnl如sp耳犯r快 曰 1征t拢日ppl画tnolofthel阳rt回pr日ict巧Ie皿ct场1190】npres- j即tf℃hl创que(Pl水1)10“的不牙已弱Cl“。裂 lxetwel〕峨林能义v阴1111唾川爪1巴1】曰ltsmPpMotll笼山〔 ti~ fefceti、1〔rofC肠~ t以t，n坦山lym倔 a斗死(tsoftherog毛日1幽t切 ofadtastrl，ct峨，hte n团让堪曰nelltofll旧lx玛lalldt址环司icati以loft阮，引〔，】pe。刻e.Ac戊企di昭ott址士巴d侣of叮 exp三rl- ~ ts，t址幻r泪1方曰1呼伙心胡~ hte”蓝，猖ea期lpres，口」门石。JOI五1嘿 士xetot~ dg.98悦ts 叉【rc卜丑旧ctrenadthe 卜万1仪习1，prl王资imrati。仍659bll.B招idl笼。t阮司9〕ht恤，n氏吐弓旧p代tre￡tI- ~ t习111」咖 悦.蟹1怕如 pr巴洛xtet团已nil〕1llerl.1堪IJ昭1拐 K”俐，山 CI云~ t以tO1刀1万已里迈。1】FPM 」刀〔找词 叮「曰Cti，macl枯ng)勘旧}e 1 概 述 文本压缩是文本存储和传输中普遍使用的技术。目前的压缩技术大多是针对英文文本的。本文将适 合于英文压结的PPM方法进行改进，使之应用于中文文本压缩时也能取得良好的效果。 2 基于PPM方法的中文文本压缩 21救据结构 采用类似rtie树的结构TRIE(如下所示)来存储可能出现的上下文组合，工NFO结构用来存储上下文 所接的后续字母。 t刃刘己ts川」Ct晰e t”曰己sln职比niof { 1 wl〕Rl〕 t石e_笼叮a『、【{〕EF]; int 吟t_c阮; int i而_日rl，a、11【犯 「〕; im 日pp_nnnt; W张《】】 爬p田n有时; inl next_p二‘; ，..t囚9”司d〕‘ruP_cl从比; cl阳r il巧址氏_valid_fl超; tnt ues _mun ; }1卜R); 卜lr valdi_ 几ag; }TREI; TREI结构中有两个数组，其中trie_array数组存放下一级T卫EI节点的序号，1而_TaaIy数组存放 指向后续字符的指针(详见下面的NIR〕结构)。另外还有一些附加信息:玛阳mt二存放上一级TREI节点 的序号.uP_Ch庄记录前一个字符，*_二 记录该节点在压缩过程中被访问的次数，诫d_月昭标识 该TRIE节点是否为有效节点(0-无效，1一有效)。内存管理时要用到这些信息。 140 
、弃阵 第十七届全国数据库学术会议论文集(技术报告篇) INFO结构中，next_char存放后续字母+app-n}存放该字母在当前上下文后出现过的次数.next -P}存放下一个后续字母的INFO)节点的序号。INF(〕节点通过next_P-的连接，形成一个对应于该 上下文的后续字母的链表(next-PCs二一1表示链表的末尾)。另外，分量inforec-valid-(lag标识该 INFI)节点是否为有效节点(0-一无效，1一有效)。这些同样是用于内存管理的信息。 下面是一个简单的例子如〔图1)，可以更清楚地看到数据结构的情况。