天融信大数据解决方案介绍v3.pdfVIP

大数据解决方案介绍 中国电子科技集团公司第三十二研究所 2013年12月 目录 大数据背景 大数据技术背景 华云大数据产品/服务案例 方案建议 大数据时代  大数据本身并不是一个新的概念。特 别是仅仅从数据量的角度来看的话 ， 大数据在过去就已经存在了。  现在和过去的区别之一 ，就是由于大 数据的处理成本的下降 ，使得大数据 可以在我们的日常生活中产生作用。  除了传统的销售、库存等数据 ，现在企业所采集和分析的数据还包括像网站日志数据、 呼叫中心通话记录、微信和微薄等社交媒体中的文本数据、智能手机中内置的GPS （全 球定位系统 ）所产生的位置信息、时刻生成的传感器数据 ，甚至还有图片和视频 ，数据 的种类和几年前相比已经有了大幅度的增加。 金融行业大数据 数据坟墓？数据金山？ 大部分金融企业面对海量的 客户交易数据、邮件、通话纪录 等各式各样的数据，因不具备数 据挖掘、分析能力，只能任其堆 砌成为一个巨大的“数据坟墓”。 如何存储海量数据，并通过对数 据进行分析和挖掘，让“数据坟 墓”变为“数据金山”，是金融 行业必须解决的课题。 金融行业大数据(续) 新数据类型 互联网 ，特别是移动互联网 的发展给金融行业带来了更多新 型数据，例如来自交易平台、社 交网络、博客等各种半结构及非 结构化数据，都对传统系统提出 了新的挑战。 2013年7月，IBM大数据调查显示， 金融行业53%已经开始整合不同 的信息系统、92%开始分析用户 交易纪录、82%开始解析交易日 志数据。随着大数据技术的日益 成熟，如何存储、利用新类型数 据成为金融行业未来面临的重大 挑战。 大数据的3V 是 ： “所谓大数据，是一个综合性概念，它包括因 分布式文件存储系统 具备3V （Volume/Variety/Velocity ）特征而难 分布式并行处理框架 以进行管理的数据，对这些数据进行存储、处 一个有很多子项目的生态系统 理、分析的技术，以及能够通过分析这些数据 可以运行在PC机上的分布式 获得实用意义和观点的人才和组织。” 系统 高容错、高可用的系统 可扩展的系统 不是： 关系型数据库 关系型数据库的替代品 POSIX文件系统