大数据安全分析建模方案.docx

版本号 V0.2大数据安全分析建模方案（内部版） 作 者 姓 名 公 司 名 称 一 级 部 门 二 级 部 门 文 档 日 期 变更记录版本号变化状态修改点说明变更人变更日期评审日期V0.1C创建李学进2016.08.11V0.2M细化下一步工作李学进2016.08.15*变化状态：C――创建，A——增加，M——修改，D——删除修改点说明：对变化状态进行简单解释，如增加了某项功能，修改了某个模块等信息。不允许出现“根据评审意见修改等字样”注：当文档未评审通过前版本号标识规则为V0.X ,第一次评审通过后，版本号直接升级为V1.0，之后变更按照V1.X升级。目录一、背景1二、问题描述2三、总体方案33.1.总体逻辑架构33.2.总体数据流5四、方案详述64.1. 数据准备84.2. 行为建模与异常行为监测104.3. 安全趋势预测164.4. 其他业务简介20五、工作开展规划205.1. 工作内容215.2. 角色划分225.3. 近期工作24背景随着互联网技术的迅猛发展和新应用的不断推广，互联网已经渗透到社会和生活中的方方面面，已经成为政府、企业以及个人工作和生活必须的平台和工具。与此同时，各种病毒、蠕虫、DoS、特洛伊木马、扫描、欺骗等攻击给网络的正常使用带来了严重的威胁。网络与系统的漏洞给攻击者带来了可乘之机，给政府、公安、银行乃至军事机构带来了极大的损失。除了传统的网络安全，数据安全面临的形式也越来越严峻。层出不穷的数据泄密事件，比如斯诺登事件、如家客户信息泄露事件等，表明数据安全是信息系统需要解决的重要难题。由于现有的安全技术大多将主要精力集中在“防外”, 对外来攻击进行响应, 而对于内部网络受外界未知攻击后, 产生的后果以及内网用户可能进行的破坏性行为考虑得较少，所以相对于网络安全，数据安全需要引起更多的关注。总而言之，最大程度地保护网络、系统和数据的安全已经成为当前一个非常重要非常迫切的任务，是几乎所有的信息系统建设无法回避的工作。问题描述传统网络安全、数据安全技术，如各类软、硬件防火墙，普遍采用“栅栏式”防护策略，给网络和应用系统人为添加了很多限制，任何数据访问动作都需要经过所有预设规则的过滤，不仅影响系统的用户体验，也增加系统运行负担。此外，现有安全软件中，生成一条内置规则，一般需要漏洞发现、攻击模拟、报文分析、特征提取和规则生成等多个阶段。随着攻击手段不断更新，这样的规则生成过程也需要不断重复，耗费大量人力成本。明朝万达提出的“动态安全，集中管控”思想，打破了僵化的传统思维，以全新的视角定义数据安全业务，变被动防御为主动审查，放宽用户准入而加强行为监测，在允许用户正常使用网络的同时, 尽量限制其有害行为。因此, 发现并定位用户的网络、数据有害行为, 然后进行适当的控制就是本方案要解决的主要问题。总体方案本方案以多源异构、跨域关联环境下挖掘数据深层价值的大数据思维，结合移动警务平台建设中的业务场景，描述实现大数据安全分析的方案。总体逻辑架构大数据安全分析系统从逻辑上划分为数据接入、数据存储、数据分析和业务应用4个层次，如图 1所示：图 1大数据安全分析平台总体逻辑架构数据接入层负责从物理上分离的多个数据源接收数据，经过预处理后导入数据存储层。各类数据源产生的数据存储在本地或者通过网络发送给大数据平台。数据接入层提供文件、网络、数据库等多种接口接收数据。数据存储层负责提供大规模结构化、非结构化数据的分布式存储能力，为后续数据关联、数据挖掘及机器学习等复杂计算提供支持。各类原始数据按照后续数据分析和业务应用要求分别存储在不同的物理或者逻辑库中。经过数据分析层处理后的数据，按照不同业务种类存入对应专题库，通过统一数据服务总线对外提供数据服务。数据分析层负责提供大规模数据分布式处理能力，将原始数据加工成为业务系统可直接使用或展示的数据。数据分析层的能力包括集合碰撞、模型构建等，它将低价值密度的原始数据加工为高价值密度的结果数据，支撑数据服务总线对外提供细粒度的数据服务。业务应用层是大数据安全分析平台的价值体现，直接面对业务需求，解决用户难题，是打动用户的关键所在。总体数据流系统架构设计遵循流行的Lambda架构，分为实时处理层、批处理层和数据服务层，如图 2所示。图 2大数据安全分析平台总体数据流图原始数据接入平台后复制为两份，分别进入实时处理层和批处理层，最后通过数据服务层为业务系统提供数据支撑。实时处理层提供流式计算能力，以准实时的方式处理数据，如实时监测数据违规操作等。处理后的数据存入对用户提供实时数据服务的高性能数据库，这类数据存储周期较短，一般为一天左右，只存储批处理层还没有产生的数据。批处理层提供海量数据的批处理能力，是数据挖掘、机器学习等数据深度价值挖掘的主要场所。批处理层包含多个定时