数据挖掘原理、算法与应用教学课件ppt作者梁亚声第9章电子教案课件.pptVIP

9.5 网络拓扑挖掘 网络层拓扑发现技术主要是采用基于Ping、TraceRoute、主动探测、被动探测等手段。在网络拓扑数据采集过程中，通常先对目标网络进行扫描探测，发现活动的主机、路由器、交换机。其次，针对活动的路由器利用SNMP网络协议获取路由表中的相关拓扑信息。接着，再利用SNMP网络协议获取交换机中的地址转发表信息和生成树端口状态表信息，并通过ICMP协议获取活动的主机信息。 9.5.1 拓扑发现的技术现状及网络数据的采集 9.5 网络拓扑挖掘 网络层 根据协作方式，网络层拓扑发现有协作式和非协作式两种，两种拓扑发现的依据都是网络拓扑发现协议。 链路层 链路层拓扑发现技术尚在发展中，比较具有代表性的是基于生成树协议与地址转发表的综合拓扑发现方法。该方法法和网络层拓扑发现方法完全不同，主要根据地址转发表和生成树协议两方面的信息展开。由于交换机硬件的透明性。交换机维护的地址转发表中存储了转发与过滤数据帧的信息。而生成树协议则包含了相邻交换机之间进行的通信信息。 9.5.2 基于挖掘技术的拓扑发现 9.6 网络舆情挖掘 网络舆情的定义尚未统一，国内外研究学者提出了各自的观点。我们认为将网络舆情是在互联网上传播、通过对社会焦点问题关注而产生的有一定影响力的共同意见或信念的总和。简而言之，网络舆情就是网络空间的舆论形态，网络舆情是舆论的一种，具备舆论所有的基本特征，但是由于互联网媒介的特殊性、时空的无界性和受众的广泛性，使得网络舆情具备了一些传统舆论所不具备的特点。 9.6 网络舆情挖掘 9.6.1 舆情研究发展现状及舆情特点 美国的舆情研究起步很早，处于领先地位，并在政治、经济、文化多个领域得到了广泛应用。美国的舆情研究特别注重民意和选情的分析和研究，其典型应用是用于美国国会中期选举和总统选举预测的美国盖瑞普民意测验。从罗斯福当选总统到现在的奥巴马当选总统的几十年间，美国盖瑞普民意测验仅有一次预测不准确。 相比美国而言，国内的舆情研究起步较晚。随着网络舆情引发的诸如恐怖言论散发、反社会观点蔓延等安全隐患问题，网络舆情研究已经成为迫在眉睫的重要任务。 9.6 网络舆情挖掘 9.6.2 舆情数据预处理 信息搜集 网络信息自动搜集主要根据网络页面之间的链接关系，从网上自动获取页面信息，并且随着链接不断向整个网络扩展，实现网络信息的自动搜集。 信息清理 网络舆情信息清理指的是收集到的海量舆情信息进行格式转换、去重、数据清理，数据统计等。 信息筛选 网络舆情信息筛选指的是根据网络舆情分析的目的和内容选择相应的筛选标准，对搜集的网络舆情信息进行过滤，剔除那些重复的、陈旧的、来源不可靠的、与相关网络舆情主题不相关的信息。 9.6 网络舆情挖掘 9.6.2 舆情数据预处理 信息有序化 信息有序化是指针对筛选后保留的网络舆情信息，按照主题、外部形式或内容特征进行有序化处理，从不同的角度进行分类。 信息量化 信息量化处理是指将分散的或本身不具备量化特征的网络舆情信息进行综合比较打分、编码标引或加权等量化处理，使不同形式的信息得以统一，方便后续的规范化处理。 9.6 网络舆情挖掘 9.6.3 网络舆情挖掘技术 网络舆情挖掘的关键技术包括分类、聚类、关联规则挖掘、序列模式挖掘等，均属于数据挖掘范畴，并广泛应用到话题识别与跟踪、敏感话题发现、趋势分析、自动摘要等方面。 9.7 推荐系统 推荐系统是一种智能个性化信息服务系统，可借助用户建模技术对用户的长期信息需求进行描述，并根据用户模型通过一定的智能推荐策略实现有针对性的个性化信息定制。推荐系统能够依据用户的历史兴趣偏好，主动为用户提供符合其需求和兴趣的信息资源。推荐系统可以看做一种特殊形式的信息过滤系统（Information Filtering）。 推荐系统具有用户需求驱动、主动服务和信息个性化程度高等优点，可有效解决信息过载问题。目前，推荐系统已经在电子商务、在线学习和数字图书馆等领域得到了广泛应用，已成为公认最有前途的信息个性化技术发展方向。 9.7 推荐系统 推荐系统的研究始于上世纪90年代初期，其研究大量借鉴了认知科学、近似理论、信息检索、预测理论、管理科学以及市场建模等多个领域的知识，且已经成为数据挖掘、机器学习和人机接口领域的热门研究方向。 从事推荐系统研究的国外著名研究团队包括如美国明尼苏达大学的GroupLens团队、美国纽约大学Alexander Tuzhilin教授团队、美国密歇根大学Paul Resnick教授团队以及微软研究院等。国外研究团队针对推荐系统及其算法开展了大量基础研究工作。 9.7.1 推荐系统发展现状 9.7 推荐系统 推荐系统的工作原理与一般信息过滤系统比较类似，主要由信息处理部件、推荐算法部件、用户建模部件、用户模型、信息对象描述模型和信息资料库六个主