大数据应用之网络态势感知.pptxVIP

大数据应用-网络态势感知天融信 从419讲话说起 全天候全方位感知网络安全态势，知己知彼，才能百战不殆，没有意识到风险是最大的风险。目录态势感知理解态势感知系统介绍案例分享态势感知的字面意义态：势：感：知：状态? 了解现状数据趋势? 预测未来感觉? 信息收集行为认识? 归纳总结从技术视角理解态势感知态：势：感：知：状态?CPU、内存、磁盘、带宽、配置、病毒、漏洞、攻击......趋势?可用性、病毒传播、网站被黑、僵木蠕传播............传感器?交换机、防火墙、IDS/IPS、漏扫、WAF、APT、僵木蠕检测......分析方法?检索、统计、关联、聚类、分类......展示方法?饼图、柱图、折线、地图、关系、3D......态势感知系统大数据分析最佳实践态势感知系统大数据大数据特点大低Volume(体量)Value(价值)Visualization(可视)快多Variety(类型)Velocity(速度)目录态势感知理解态势感知系统介绍案例分享网络安全态势感知定义 在大规模网络环境中，对能够引起网络态势发生变化的安全要素进行获取、理解、显示以及对未来短期的发展趋势的预测。 网络态势感知(Cyberspace Situation Awareness)最早由Tim Bass 在1999介绍下一代网络管理与入侵检测系统理念时提出。其借鉴并对比了“空中交通监管”态势感知的概念。包含有两层含义：实时地根据网络安全设备的告警信息及其他信息，进行关联归并、数据融合等操作，实时反映网络实际的运行状况；根据历史数据进行一定的离线分析，采用一定手段对潜在可能的威胁进行预测。网络安全态势感知模型态势要素获取态势理解态势预测态势感知三级模型网络安全态势感知模型大数据系统－态势感知架构图态势呈现与报表态势感知与应用数据分析与处理数据存储与计算数据加载与整理数据采集与传输系统架构－数据采集层多元异构数据信息结构化：csv、数据表等半结构化：xml、json等非结构化: pcap包、图片等多样数据采集方式主动：FTP、HTTP Get、旁路抓包等被动：WebService、MQ、e-Mail等系统架构－数据汇入层海量数据传输与并行处理Kafka分布式消息队列异构数据多样清洗、整理可视化 ETL模型定义系统架构－存储计算层海量异构数据存储非结构数据-HDFS;半结构数据-Hbase;结构化数据-Hive,RDB;高效海量数据检索ElasticSearch：反向索引、全文检索多样数据计算框架批处理-MapReduce(历史); 流计算-Spark Streamling(实时)系统架构－分析调度层数据并行处理与分析可伸缩的分析调度控制集群不断演进的数据处理与分析可视化数据处理与分析模型定义系统架构－核心业务层态势感知可视化态势感知模型(属于分析模型)告警与处置追踪溯源可视化追踪溯源模型(属于分析模型)核心流程－数据整理数据汇入层流式实时处理核心业务层外部数据源数据采集层ETL汇入处理存储计算层核心流程－数据分析核心业务层数据分析层存储计算层存储计算层效果展示－可视化建模算子库数据模型管理效果展示－态势地图效果展示－监视仪表盘大数据到底干了什么？态势感知边界是不断变化的高效收集、处理多种不同类型的数据海量存储、检索各类数据信息持续深入、挖掘、认识数据丰富、全面展现态势信息基于存储、性能增长的全面水平扩展能力目录态势感知理解态势感知系统介绍案例分享案例分享1—某部委2010年～现在5G/天，10T总设备数39台数据类型20+统计、关联、挖掘分析模型900+个1400+任务/天案例分享1—某部委分析维度时间：周、月、年地区：省运营商重要客户数据类型......案例分享一--某部委该图是根据僵尸网络控制端控制的肉鸡的相似程度对僵尸网络控制端进行聚簇，以图发现隐藏在INTERNET中的地下经济组织。跨行业应用高校大数据分析金融大数据分析......应用案例-高校大数据应用案例-金融大数据安全领域2010年开始做成熟的企业级应用案例情报威胁云安全服务非安全领域平台化、组件化、可视化构建的快速适应能力我们的优势谢谢态，是状态的意思，通过状态了解现状势，是趋势，通过趋势预测未来感，是感觉，就像我们的感觉器官一样，它是来收集信息的知，是认识，通过我们的大脑对我们的感觉器官感觉到的信息进行归纳总结，从而认识这些内容。态势，更多的讲的是数据，感知更多地讲的是行为态势感知与大数据有什么关系呢，早期就有态势感知产品，如安管产品其实也算态势感知数据，采集的数据都是结构化的，对半结构化和结构化数据，没有大数据能不能做态势感知，能，但信息做不全，做不好。随着大数据技术的出现，我们认为它将是态势感知系统的最佳实践。大数据”的四大特点　大数据(Big Data)是指“无法用现有的软件工具