大数据分析的技术架构及关键技术.docxVIP

第 第 PAGE 1 页 共 NUMPAGES 1 页 大数据分析的技术架构及关键技术 　　大数据分析利用大数据技术对海量数据的高效计算能力，结合关联分析、深度学习、机器学习算法等手段，对各种已知与未知威胁进行快速发现与预警，实现网络防御从被动到主动的转变。下面我们就来看看大数据分析的技术架构及关键技术吧。 　　大数据安全分析之大数据分析的技术架构及关键技术 　　一、大数据分析的技术架构 　　大数据安全分析总体架构由数据采集、预处理、存储、处理、分析计算、数据应用展示几部分组成： 　　▼▼数据源 　　数据源是大数据分析的基础与前提，准确高质量的多源异构数据是安全分析效果的保证，进行安全分析需要收集的数据源包括： 　　日志数据：包括设备与系统的日志和安全告警信息。 　　流量数据：网络流量数据，包括Netflow数据和全流量镜像数据。 　　支持数据：包括资产信息、账号信息、漏洞信息和威胁情报信息等。 　　▼▼采集和预处理 　　对数据源收集的信息进行解析、标准化和丰富化处理，从而为数据分析提供高质量的数据。 　　数据传输采集：根据不同类型的数据源，以及数据存在的状态，采用不同的传输与采集技术。 　　数据预处理：对数据进行解析、补全、标准化操作，从而提高安全分析的可信度，降低误报率。 　　▼▼数据存储 　　全量存储网络中原始的网络数据，使数据结果分析更加全面可信。对所有网络