基于改进TF-IDF的中文网页关键词抽取——以新闻网页为例.pdfVIP

ITA # 信息系统 ! 1 2 ●钱爱兵 , 江 　岚 ( 11南京 中医药大学 　经贸管理学院 , 江苏 　南京 　2 10 046; 2 1南京大学 　信息管理系 , 江苏 　南京 2 10 093) 基 于 改 进 TF2IDF的 中 文 网 页 关 键 词 抽 取 　 　 ——— 以 新 闻 网 页 为 例 　　摘 　要 : 结合新闻网页的内容特征对中文网页关键 词的构成特点进 行阐述 ; 对 经典的 TF2ID F加权 公 式进 行改进 , 构建 一个综合考虑多种影响因素的候选关键 词评分加权公式 ; 对 Sha rp ICTCLA S分词进行 改 进 , 增加位置标注 ; 选择评 分较 高的词作为候选关键词 , 利用词的位置标注进行关键词抽取优化操 作 , 将 “切碎 ”的候选关键词进行组配 , 形成正式抽取的关键词 。实验 结果表明 : 该方法明显优 于基准方法 , 能 够抽 取到令人满意的关键词 。 关键 词 : 词频 ; 逆 文档频率 ; 新 闻网页; 关键词抽取 Ab str a ct : Th is p ape r gi e s a d esc rip t ion of th e ch arac teristics of the keyword s o f Ch in ese W eb p ages in com b i2 naton w ith the ch arac teristic s of the con ten t of W eb new s, an d ba sed on the mi p ro ed c lassic TF2DI F w eigh ting for2 m u la, p ropo se s a can didate k eyword grading and we igh ting formu la w h ich take s ariet ies o f imp act factors into ac2 coun t. M oreo er, th e p ape r imp ro e s the Sha rp ICTCLAS, and add s th e po sition tag. Th e m ethod select s the key2 wo rd s w ith h igh scores a s the candida te k eywords, an d tries to link them toge ther according to th eir p o sit ion s in W eb new s. F inally, the form al k eywords a re extrac ted. Th e exp erim en ta l resu lt s show th at the p ropo sed m ethod can sig2 n if ican tly ou tpe rform th e ba selin e m ethod , an d the quality of th e extracted k eyword s are sat isfac tory. K eywor d s: term frequency; in e rse documen t frequen cy; W eb n ew s; keyword extract ion 　　目前 , 国内外的许多学者已经在关键词抽取领域做了 接影响关键词抽取的结果 。综上所述 , 与英文关键词抽取 大量研究工作 , 并且提出诸多有代表性的方法 。简立 峰采 研究相比 , 中文关键词抽取研