《基于文本内容的敏感词决策树信息过滤算法》.pdfVIP

第 40卷 第 9期 计 算 机 工 程 2014年 9月 Vo1．40 No．9 ComputerEngineering September2014 · 开发研究与工程应用 · 文章编号：1000-3428(2014)09-0300-05 文献标识码：A 中图分类号：TP393 基于文本 内容的敏感词决策树信息过滤算法 邓一贵 ，伍玉英 (重庆大学 a．信息与网络管理 中心；b．计算机学院，重庆400030) 摘 要 ：随着互联 网的高速发展 ，各种各样 的信息资源呈指数级增长 ，随之 出现许多负面影响，需要构建一个安全 健康的网络环境。为此，提出针对网页文本 内容的敏感信息过滤算法 (SWDT—IFA)。该算法不依赖词典与分词 ， 通过构建敏感词决策树，将网页文本 内容 以数据流形式检索决策树，记录敏感词词频、区域信息以及敏感词级别 ， 计算文本整体敏感度 ，过滤敏感文本 。实验结果表明，SWDT-IFA算法具有较高的查准率和查全率 ，且执行时间能 够满足当前 网络环境 的实时性要求 。 关键词 ：文本过滤 ；敏感级别 ；决策树 ；分流 ；词频 Information FilteringAlgorithm ofTextContent·based SensitiveW ordsDecisionTree DENG Yi—gui．W U Yu—ying (a．InformationandCampusNetworkManagementCenter； b．SchoolofComputerScience，ChongqingUniversity，Chongqing400030，China) 【Abstract】WiththedevelopmentofInternet，manynegativeeffectscomeoutastheexponentialgrowthofvarious informationresources，whichmeansthatflmoresecureandhealthynetworkenvironmentshouldbeconstructedrightnow ． Inorderto solvethisproblem ，thispaperproposesa SensitiveW ord Decision Tree forInformation FilteringAlgorithm (SWDT—IFA)forcontent—basedWebpages．Thealgorithm takesnoconsiderationofdictionaryandwordsegmentation， buildsthefoundationonthesensitivewordsdecisiontree，letsthewebtextretrievaldecision treeinform ofdatastream ， recordsword frequency，regionalinformationandsensitivelevel，andcalculatesthesensitivedegreeofthetexttofilterthe sensitivity．Experimentalresultsshow thatthe SW DT—IFA algorithm hasprecision ratio and recallratio，and low time complexitywhichcanrequirethereal—timedemandofnetworkenvironment． 【Keywords】textfiltering；sensitivelevel；decisiontree；distributary；wordfrequency D0I：10．3969／j．issn．1000—3428．2014．09．060