基于Hadoop云平台的文本安全检测模型研究.pdfVIP

信息安全与通信保密 ·cismag．net 121 基于 Hadoop云平台的文本安全检测模型研究 赵 凯 ． 蒋朝惠 (贵州大学大数据与信息工程学院，贵州 贵阳550025；贵州大学计算机科学与技术学院，贵州 贵阳550025) [摘 要]随着因特网普及和信息技术广泛应用，网络上大量的色情、暴力、反动等不 良信息的入侵。对于不 良信息的检测和 传播控制显得越来越重要，关系到国家安全和社会稳定。单机模式的不良信息的甄别与检测已不能满足社会的需求，Hadoop 云平台作为能够对大量数据进行分布式处理的软件框架，提供 了MapReduce。、分布式文件系统 HDFS有助于文本安全检测 的并行化处理。为此文中提出一种基于 Hadoop云平 台，可以通过句式结构的判别上下文逻辑的关联性对不 良信息的并行检 测的模型。减少了检测时间，提高了检测效率 。 [关键词]文本安全 ；Hadoop；MapReduce；文本检测 [中图分类号]TP391．1 [文献标志码]A [文章编号]1009—8054(2014)11—0121-05 TextSecurityDetectionM odelbasedOnHadoopCloudPlatform ZHAO-Kai．JIANG Chao—hui (CollegeofBigDataandInformationEngineering，GuizhouUniversity，GuiyangGuizhou550025，China； CollegeofComputerScienceandTechnology，GuizhouUniversity，GuiyangGuizhou550025，China) [Abstract]Withpopularizationoflnternetandwideapplicationofinformationtechnology，large—scaleintrusionofviolent，reactionary andothermaliciousinformation ontheInteuretappears．Thus，detectionandcontrolofmaliciousinformation spreadingbecomesin— creasinglysignificant，andthisproblem hasabearingonthestatesecurityandsocialstability．Maliciousinformationdetectionbasedon stand—alonemodecouldnotsatisfytheneedsofsociety，andHadoopcloudplatfomr ，asssoftware~ameworkfordistributingprocessing oflargequantityofdata，providesMapReduce，distributedfilesystem HDFStoassistparallelprocessingoftextsafetydetection．Inlight ofthisandbasedonHadoopcloudplatfomr ，aparalleldetectionmodelofmaliciousinformationisproposed，whichcould，bythedistin— guishingthesentencesturcturesandanalyzingcorrelationofcontextlogic，realizesthedatadetection，thusthedetectiontimeisreduced andthedetectionefficiencyimproved． [Keywords]textsecurity；Hadoop；MapReduce；textdetection 的技术手段之一。 0 引言 文 中基于 Hadoop 以并行