中文文本过滤的信息分流机制-中国科技论文在线.PDF

中国科技论文在线 第 37 卷 第 4 期 计 算 机 研 究 与 发 展 V o l37,N o 4 2000 年 4 月 JOU RN A L O F COM PU T ER R E SEA R CH D EV EL O PM EN T A p r. 2000 中文文本过滤的信息分流机制 林鸿飞　李业丽　姚天顺 ( 东北大学计算机科学系　沈阳　110006) 摘　要　在文本过滤中信息分流是提高过滤效率的强有力的手段, 为此, 提出了一种新的中文文本过滤的信息分 流机制. 其基本思想是在概念扩充基础上, 将不同用户的信息需求组织为树状结构, 使其共同的部分成为共享分 支, 依据提出的侧面相似度和侧面匹配率来实现文本与模板的定量匹配, 减弱传统的布尔模型对文本与模板匹配 的严格限制, 也弥补向量空间模型单纯数量化的不足, 更加全面地反映用户的信息需求. 试验表明该机制能够明显 地提高过滤效率. 关键词　文本过滤, 向量空间模型, 概念扩充, 用户模板, 信息分流, 判定树 中图法分类号　T P 39 1 A N INFO RM A T IO N D IFFL UENCE M ECHA N ISM FO R CH INESE TEXT F IL TER ING , , L IN H on g F ei L I Y e L i an d YA O T ian Shun ( , , 110006) D ep a r tm en t of Comp u ter S cience N or theas tern U n iv ers ity S heny ang A bstract　T h e in fo rm at ion d iff lu en ce h a s an im p o r tan t ro le in im p rov in g th e eff icien cy o f tex t f ilter in g , so a n ew m ech an ism fo r in fo rm at ion d iff lu en ce is p re sen ted in th is p ap er. T h e m a in idea o f th e m ech an ism is show n a s fo llow s: B a sed on th e con cep t exp an sion fo r th e k eyw o rd s g iven by , ( u ser s u ser p ro f ile s are au tom at ica lly con st ru cted in to th e st ru ctu re o f CD T con cep t b a sed decision t ree) , an d th e m ech an