一种通用论坛信息提取方法-ShandongNormalUniversity.PDFVIP

2018 7 7 小 型 微 型 计 算 机 系 统 年 月 第 期 Journal of Chinese Computer Systems Vol． 39 No ． 7 2018 一种通用论坛信息提取方法 1，2 1，2 1，2 1，2 ，3 ， ， ， 刘 锐 谭文韬 付园斌 王 红 1 ( ， 2500 14 ) 山东师范大学信息科学与工程学院 济南 2 ( ， 2500 14 ) 山东省分布式计算机软件新技术重点实验室 济南 3 ( ， 2500 14 ) 山东师范大学生命科学研究院 济南 E-mail :w anghong 106@ 163 ． com : ． ， 摘 要 网络论坛的分类和正文提取是网络数据挖掘的一项重要技术 传统的网页分类方法没有考虑到论坛网址的结构特性 ， ， ， ． ， 以内容特征为根据 易受噪声影响 效率较低 难以满足通用性的需求 传统的正文提取方法以文本密度和布局结构为依据 忽 ， ． (Universal Resource Loca- 视了论坛内容的语义信息 难以从多样化的论坛中有效提取正文 本文提出基于网址结构的聚类方法 tors Structure Clustering ，USC)以及基于词汇关键程度的关键词打分筛选方法(Keyw ord Scoring Filter ，KSF)． 两种方法仅需要 ， ， ． ， ，USC F 对数据集中的少量样本进行解析 提取出通用规则 便可满足大规模提取的需要 实验验证 在相同测试集下 方法的 值 18． 99% ，KSF 18． 46% ， ． 较传统分类方法高 方法的准确率较传统正文提取方法高 适合大规模论坛提取作业 : ; ; ; 关键词 信息提取 网址结构 内容关键度 聚类分析 中图分类号:TP301 文献标识码:A 文章编号:1000-1220 (2018)07-1398-07 General Method of Forum Information Extraction LIU Rui1，2 ，TAN Wen-tao 1，2 ，FU Yuan-bin1，2 ，WANG Hong 1，2 ，3 1 (School of Information Science and Engineering ，Shandong Normal University ，Jinan 2500 14 ，China) 2 (Shandong