基于云架构审计平台的海量日志智能分析与数据挖掘.doc

成果上报申请书 成果名称 基于云架构审计平台的海量日志智能分析与数据挖掘 对企业现有标准规范的符合度：（按填写说明5） 符合《中国移动业务支撑网4A规范1.0》，符合《中国移动业务支撑网4A规范2.0》，符合《中国移动业务支撑网4A规范3.0》，符合《中国移动业务支撑网数据安全管理办法》 成果来源：如果该成果来源于集团研发项目，请填写研发项目年度、项目名称及类型（按填写说明6） 专利情况：如果该成果产出相关专利，且专利处于国知局专利申请审查阶段或已授权，请说明专利名称、类型、申请号、状态、是否海外申请等情况。（按填写说明7） 成果简介：简要描述成果目的和意义，解决的问题，取得的社会和经济效益。 目的和意义：通过安全审计云平台的建设，对于海量审计数据的处理能力和效率得到了加强，实现核心业务敏感数据的精细化审计管理；通过完善审计管理体系，使业务系统的数据安全防护能力进一步提升，安全审计云平台解决海量数据日志： （1）采集各种原始审计数据其中包含结构化和非结构化数据，是原始审计数据更加完整； （2）采用Hadoop分布式文件系统（HDFS）的可靠数据存储服务对原始数据进行存储，可以轻松应对PB级的海量数据而且硬件成本低； （3）利用MapReduce技术的高性能并行数据处理服务可以大大提高运算的效率； （4）安全审计云平台的审计分析服务对原始审计数据的挖掘深度更高。 解决的问题：现今企业数据仓库和关系型数据库擅长处理结构化数据，并且可以存储大量的审计数据。但成本上昂贵。这种对审计数据的要求限制了可处理的数据种类，无法对多种多样，包括结构化、非结构化等种类的审计数据进行处理，同时这种惯性所带的缺点还影响到数据仓库在面对海量异构审计数据时对于敏捷的探索。这通常意味着有价值的审计数据源在组织内从未被挖掘。而这样的技术瓶颈对审计工作造成了极大的影响，因此通过基于云架构审计平台的海量日志智能分析与数据挖掘解决以下问题： （1）在以往的审计平台技术架构中，对审计数据的采集有要求（必须是结构化的），通过对原始数据进行结构化处理之后的入库存储，影响了原始数据的完整性； （2）在以往的审计平台技术架构中，仅仅能够对结构化后的表格字段进行内容分析，而不能对原始数据进行分析，对审计数据的挖掘深度不够； （3）在以往的审计平台技术架构中，对数据的处理效率低，对于大跨度的内容检索需要等待很长时间。 （4）在以往的审计平台技术架构中，对硬件服务器的要求高，不支持按需线性扩展加大了投入的成本。 省内试运行效果：描述成果引入后在本省试运行方案、取得的效果、推广价值和建议等。 在云平台下建立审计数据挖掘模型，通过模型能够在用户和敏感数据之间建立桥梁，判断用户在登录敏感数据时所做操作。传统模式下的数据标准化处理，是预先规定好特定的字段，然后根据这些字段将原始的日志进行处理入库；云平台下数据挖掘与传统模式下数据挖掘在标准化过程相比较，可以有效的做到按需对原始日志数据进行分析。对原始日志进行完整的收集后，不做任何的过滤，因此数据具有完整性；在此完整数据基础上，采用云计算分布式计算模型建立动态标准化任务，对审计需求关注的数据类型、内容进行索引处理，从而实现对审计日志的内容挖掘能力，而不是在预处理过程中以标准化为依据对数据进行加工补全。采用动态的标准化数据挖掘模型，就能快速的对数据进行处理，提高审计效率和审计的准确性。 通过云架构审计平台的建设，极大程度上提升安全审计覆盖范围和审计效率，提升信息安全管理水平。北京公司在安全审计方面的工作，受到了工信部、通管局、各大运营商、中国移动总部和各省公司的一致好评，北京公司已经通过经验交流、培训、总部发文等方式，将取得的经验推广到全国各省。北京公司正在以强烈的责任心和创新精神，以及尽善尽美的工作作风，在信息安全工作中以实际行动贯彻着中国移动“正德厚生，臻于至善”的企业核心价值观，保护着整个北京一千多万移动用户的敏感数据，为公司的稳定快速发展保驾护航。 文章主体（3000字以上，可附在表格后）：根据成果研究类别，主体内容的要求有差异，具体要求见表格后的“填写说明8”。 一、背景情况： 随着企业业务的增长，企业产生的原始审计数据已经越来越大了，这些数据包括业务系统的日志信息、系统访问信息、客户审查数据等等，这样下来一个省级的移动公司每天所产生的审计数据多大几十G甚至上百G，那么怎样才能对这么大量的数据进行有效地分析、挖掘呢？现今企业数据仓库和关系型数据库擅长处理结构化数据，并且可以存储大量的数据。但成本上有些昂贵。这种对数据的要求限制了可处理的数据种类，多种多样，包括结构化、非结构化等同时这种惯性所带的缺点还影响到数据仓库在面对海量异构数据时对于敏捷的探索。这通常意味着有价值的数据源在组织内从未被挖掘现今企业数据仓库和关系型