决策支持系统未来发展.pptx

决策支持系统未来发展探讨 ——基于大数据的舆情分析内容源自《大数据环境下舆情分析与决策支持研究文献综述》一文，作者：夏火松、甄化春。?引 言 相对于传统的社会舆情分析，大数据时代的社会舆情分析更集中于对大量网络数据的搜集、存储、清洗并结合文本挖掘技术从大量低价值密度的数据中获取相关的舆情研究信息。 如何浓缩海量信息,抵抗“数据爆炸”，从而实现舆情信息增值并提高关联数据的趋势研判能力是大数据时代舆情分析的重大挑战。2012，奥巴马政府，“大数据研究与开发计划”2013，国务院副总理汪洋以流感病毒舆情分析为例谈大数据郭美美事件切糕王子航母Style……本文舆情分析与决策支持研究结构：分层模型不足与展望关键技术发展概况大数据时代的舆情研究热潮舆情分析?发展概况传统社会舆情分析更趋向于研究热点事件、政策及新颁布的法律条文对于社会舆情的影响之间的关系。经历了早期简单粗放的研究阶段和当前海量网络舆情研究的阶段。Twitter/Facebook/微博/人人等社交网络平台的兴起掀起了网络舆情研究的热潮。大数据舆情分析是舆情研究的一个前沿课题,其 利用数据挖掘和大数据处理相关技术从海量数据中提取有用的知识用于决策支持。决策支持?发展概况 模型库、模块调用分析函数、可视化展示 适用调查问卷等量小结构单一的数据传统舆情分析决策支持系统 当前成果众多 Twelvefold、Buzz Metrics、军犬等网络舆情分析 尚未形成完整体系 继承网络舆情分析技术、结合大数据特性大数据舆情分析?发展概况大数据时代网络舆情分析的一般研究框架→1234热点发现评估跟踪分析处理信息采集?关键技术 信息采集是网络舆情分析的第一步，其包含数据的爬取、数据的存储和清洗等相关技术。信息采集数据存储数据爬取数据清洗数据的清洗是对采集的数据进行整理，删除无效网页数据和重复的文本数据。网络爬虫传统数据Heritrix/Nutch/LabinSQLServer/Oracle/Sybase网站API接口大数据Twitter/新浪微博结构化→分布式并行半结构→NoSQL非结构→分布式文件存储热点发现评估跟踪分析处理信息采集?关键技术 网络舆情热点发现包括目标话题的识别与跟踪(TDT)，其强调对新信息的发现和特定热点的关注，当前主要技术是根据文本聚类/分类的算法从大量Web网页中发现网络舆情热点。相关算法支持向量机(SVM)SOM神经网络Single-passK-meansKNN最邻近→模拟人脑对信号处理特点的无监督学习方法→难点是如何设置输出层的节点个数→有可能将不同热点事件混淆→解决同一时间内多热点事件的识别和报道分类 →在处理小样本时有出色的学习能力和推广能力→训练速度慢；算法相对复杂→基于硬划分的无监督聚类算法→良好的伸缩性和很高的效率→需事先给定分类簇数K；结果受初始值、噪声、孤立点影响较大→基于类比学习的非参数分类→统计模式识别效果好/较高的分类准确率→训练样本过多时计算速度减缓→最常用→动态聚类和速度上表现优异→时效性和精度上存在不足热点发现评估跟踪分析处理信息采集?关键技术 热点评估是根据热点事件中公众的情感和行为反应对舆情进行等级评估并设立相应的预警阈值。词频统计、情感分类是网络舆情评估的两个主要手段。热点跟踪方面，主要通过对热点舆情的快速分类，实现跟踪目的。热点评估热点跟踪对网络调查数据、网络文章关键词和浏览统计数据等信息进行分析并作出评估。词频统计KNN最邻近难以处理海量非结构化数据！准确性较高处理大批数据时速度较慢基于情感分类的热点评估在舆情评估领域使用的较为普遍。两类关键技术:基于概率论和信息理论的分类算法。情感分类NBC朴素贝叶斯分类效率稳定误差率收到一定影响热点发现评估跟踪分析处理信息采集?关键技术 分析处理是大数据时代网络舆情监控中决策层的范畴，它涵盖了舆情事件的早期预警、舆情的引导、网络民意的反馈、沟通和舆情的总结评估机制。阈值设置舆情预警舆情引导常用分类学习方法： 神经网络 贝叶斯分类器 最邻近算法 SVM基于分类或聚类思想，根据关注度、传播速度、影响程度将舆情信息分为绿、黄、橙、红四种强弱等级。Feng Cao 等从政府、企业以及意见领袖三方探讨了网络舆情引导的策略。相关技术?分层模型 分析处理是大数据时代网络舆情监控中决策层的范畴，它涵盖了舆情事件的早期预警、舆情的引导、网络民意的反馈、沟通和舆情的总结评估机制。数据存储云服务可以缓解大数据存储问题。技术目前处于未成熟期，面临着数据安全、成本、技术融合、服务水平协议等多方面的挑战。大数据处理Hadoop是当前学术界和企业界用来解决大数据存储和分析题的一个主流技术。在解决现实问题时需要遍历所有相关的数据。并行处理和分治算法是处理大数据问题的通用模式。分析计算模型架构?分层模型数据搜集与存储和数据