互联网信息内容管理若干技术研究-电路与系统专业论文.docxVIP

摘 摘 要 I I 摘 要 国际互联网作为一个全球性的信息资源网络，正在对经济、政治、文化、科 技、军事等各个领域产生重大影响，深刻改变着人们的生产、工作和生活方式， 对推动经济发展和社会进步起到了积极作用。同时巨大的开放信息源也使一些 恶意的和不良的 (反动、色情等)信息内容趁机而入，成为用户获取有效信息的 严重障碍。世界各国对互联网治理工作越来越重视，研究开发智能、高效、实 用的互联网信息内容管理技术是一项十分重要的课题。 本文综合运用粗糙集理论、机器学习、模式识别、数据挖掘、知识发现、 中文信息处理、人工智能等学科的相关知识，通过分析各类不良信息的特征， 结合现有的一些成熟先进的文本信息处理方法，深入研究了适合不良文本信息 过滤的模型、文本预处理技术、文本特征选择技术、过滤算法以及相关应用等， 设计实现了一个电信级网络信息内容监控系统。 本文所做的主要工作如下： 1．分析了国内外互联网内容管理技术发展现状；讨论了互联网信息内容管理 技术框架；研究了多种信息获取、信息内容的分析、加工和处理、互联网信息 内容服务等互联网信息内容管理相关关键技术 2．论述了信息抽取的概念，分析了信息抽取常用方法及发展趋势；分析了 多种不同类型的 Web 信息抽取算法；研究了数据密集型 Web 页面中自动提取结 构化数据并形成知识表示系统的问题。采用基于 PAT-array 的模式发现算法，结 合基于本体的关键词库自动识别页面数据显示结构模型，利用 XML 的对象-关 系映射技术，基于知识数据库实现动态页面获取、Web 数据自动抽取与知识数 据库的自动扩展。 3．阐述了信息过滤的概念，讨论了常用的文本过滤方法及文本过滤的评价 方法，研究了基于向量空间模型的文本过滤算法、基于概念的文本过滤模型、 基于语义分析的倾向性文本过滤模型、基于人工神经网络的文本过滤模型；最 后研究了粗糙集理论在信息过滤中的应用，设计了基于属性约简的信息过滤算 法。分析基于启发式信息的属性约简算法，指出属性依赖度的计算过于粗糙， 互联网信息内容管理若干技术研究 互联网信息内容管理若干技术研究 II II 而基于信息熵的计算过于精细，将两者结合的加权平均的计算过于复杂。采用 近似分类精度进行属性重要性的度量，结合遗传算法，设计了一种属性约简算 法。该算法简单高效、鲁棒性强、适于并行处理，有良好的实用性。 4．讨论了电信级信息内容监控系统设计的需求，分析了电信级网络在线系 统的特点，给出了一个低成本实现电信级网络实时在线信息内容监控系统的总 体设计方案。设计了在线系统和非在线系统两级过滤系统的详细设计方案。该 系统不仅可以实现高速网络信息的实时过滤、识别，而且可以通过非实时系统 对互联网的各种应用进行监控管理，对热点话题和敏感事件、人物进行追踪， 实现舆情监测和预警。 关键词 信息内容管理，粗糙集，属性约简，文本过滤，特征选择，文本表 达，向量空间模型 Abs Abstract PAGE PAGE 3 Abstract As a global information resource network, Internet is making significant effect on various fields such as economy, polity, culture, science and technology, military, and etc, and greatly changing the way of produce, work and life of people. It has played a positive role in promoting the economic development and social progress. Whereas, the openness of the Internet made the malicious and bad information (reactive, erotic, etc) spread on the network and become a serious obstacle in users’ obtaining effective information. Internet control work has been getting more and more recognition of the countries all over the world. Research of intelligent, efficient and practical information content management technologies of Internet becom