大数据存储技术mongodb在支撑系统数据分级存储中的实践精选.docVIP

成果上报申请书 成果名称 大数据存储技术mongodb在支撑系统数据分级存储中的实践 成果申报单位 中国移动通信集团北京有限公司 成果承担部门 /分公司 信息系统部 项目负责人姓名 崔希宁 项目负责人联系电话 和Emailcuixining@ 项目参与人姓名 杨海威、王江 、张雨晴、宋哲、常莎 成果专业类别* 业务支撑 所属专业部门* 业务支撑线条 成果研究类别* 现有业务优化 省内评审结果* （按填写说明4） 关键词索引（3～5个） 大数据 海量查询 非结构型数据库 数据生命周期管理 应用投资 万元（指别的省引入应用大致需要的投资金额） 产品版权归属单位 北京移动 对企业现有标准规范的符合度：（按填写说明5） 符合NGBOSS3.0规范 如果该成果来源于研发项目，请填写研发项目的年度、名称和类型（类型包括：集团重点研发项目、集团联合研发项目、省公司重点研发项目、其他研发项目），可填写多个： 省公司重点项目NGCRM3.5 专利情况：如果该成果产出相关专利，且专利处于国知局专利申请审查阶段或已授权，请说明专利名称、类型、申请号、状态、是否海外申请等情况。（按填写说明7） 成果简介：简要描述成果目的和意义，解决的问题，取得的社会和经济效益。 随着云技术的逐渐推广，基于云技术的大数据海量信息存储也应用得越来越广泛。 本研究基于开源数据库技术,研究实施大数据的处理方法策略，并在数据信息生命周期管理中落地实施。在通常意义上，大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、存储、管理、处理、并整理成为帮助企业经营决策更积极目的的信息或运营支撑 。大的数据需要特殊的技术，以有效地在容忍时间内完成处理。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘，分布式文件系统，分布式数据库，云计算平台，和可扩展的存储系统。核心是数据分片存储，分布移动计算。 在北京移动数据分级存储ILM系统三期建设中，我们在非结构化数据库技术NoSQL的应用方面进行了相关的探索和尝试，并成功运用到统一历史数据归档查询中心平台建设中，为数据中心数据分级存储系统（生命周期）的数据存储及分析查询开辟了一种新的方式。解决数据处理对传统oracle数据库技术的依赖，极大降低企业成本提高企业的创新能力。 省内试运行效果：描述成果引入后在本省试运行方案、取得的效果、推广价值和建议等。 随着北京移动数据分级存储系统三期，即ILM三期系统的上线，统一历史数据归档查询中心中的数据已经涵盖老的BOSS3、Siebel CRM以及新的NGCRM、NGBOSS、营销管理平台等系统的历史数据。其中既包含基于常见的关系数据库Oracle数据的直接归档的数据，还包含基于非结构化数据存储的非结构化数据，以及通过转换后的软件和存储成本更低的半结构化数据。在采用MongoDB数据库后，统一归档查询中心对于基于文本的非结构化以及半结构化归档历史数据的查询性能得到大幅提升。尝试解决了不适合在BI也不适合在CRM构架下处理的数据关联分析的需求。应对不断增加的大数据即时分析业务问题。同时，本结构支持云平台技术，能够达到开源节流 提高企业在移动互联环境核心竞争力。新的系统完全在刀片环境，开源环境实现，极大降低软硬件建设维护成本。 文章主体（3000字以上，可附在表格后）：根据成果研究类别，主体内容的要求有差异，具体要求见表格后的“填写说明6”。 业务支撑分级存储系统（数据生命周期系统）出现的问题 随着公司在业务运营过程中产生的数据PB级 企业20%的是结构化，80%则是非结构化或半结构化的。与业务信息系统中大量用于交易记录和统计分析的结构化数据相比，非结构化数据具有某种特定和持续的价值，这种价值在共享、、分析等使用过程中得以产生和放大，并最终对企业业务和战略产生影响相对于存储在关系型数据库里，用二维逻辑表来表现的结构化数据而言，那些不方便用数据库二维逻辑表来表现的数据就是所谓的非结构化数据，包括报表、账单、影像、办公文档、扫描文件、Web 页面、电子邮件以及多媒体音频和视频信息等。大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的。 MongoDB的基础研究和试验对比 1）大数据处理技术基础对比 目前流行的NOSQL数据库，包括应用越来越广泛的MongoDB、HBase、Cassandra等。根据不同纬度的基础研究可以得