nnit大数据解决方案.pptVIP

NNIT大数据解决方案 创造数据的价值 1. Why BigData 2. Why NNIT 3. 解决方案详细内容 4. 案例 2 1. Why BigData 3 数据爆发时代的到来 通过媒体流通的信息量的变迁 比特数 （×1017） 【出处】2010年度信息流通统计调查报告书 未被利用 的信息 1998 2000 2002 2004 2008 20000 40000 60000 80000 0 被利用的信息量 流通的信息量 2006 ■2025年,社会的信息量爆发为06年的200倍！ ■今后如何利用大量未开发信息来创造新价值，是我们的课题 多媒体信息 网络 电影/图像 电视机・收音机 社会媒体等 　　非结构化数据的增加 企业内信息 交易信息 日志信息 　　模拟数据数字化 传感器・机器等生成的信息 　　图像/各种测量数据 未被利用的信息比例 99.4% 4 信息时代无所不在的数据来源 5 大数据的商业价值 美国第二大百货商Target通过数据分析帮助销售额提升超过50% 广告信 原有的美国婴儿用品营销: 根据公开的出生记录在婴儿出生后，海量的广告促销 Target的基于大数据分析的营销: 分析消费者的行为，对孕妇进行提前促销 购买无香护手霜,善存钙片等 分析数据 广告信 6 大数据技术的应用行业 7 搜索 社交 游戏 视频 流通 电信 医疗交通 公安 制造 航空 电力 金融 民生 核心 ～２０１２ ２０１２ ～ 2. Why NNIT 8 大数据平台整体及NNIT注重领域 处理 大量数据 处理 多媒体数据 数据库 分布式处理 面部识别 图像分析 数据挖掘 语音识别 ： ： 运营商 收集 处理数据 保健 金融 能源 交通・物流 安全 推动 人・物・IT系统之间的互动 互联网数据 传感器数据 统计分析 数据挖掘 ②对应激增的数据 ③处理不同类型的数据 ①从传感器・机器收集信息 ←NNIT注重领域 提供大数据处理平台设计/构筑服务(使用NEC及开源产品) 定制开发大数据处理系统(可能需要与NEC其他部门或其他公司合作) 9 面向的客户 NNIT大数据平台的潜在客户具有以下特点： 有大量的文件或者数据需要处理/存储/访问 例：医疗影像、地图文件、GPS记录、电商网站的海量图片 非ＯＬＴＰ(非面向实时交易的系统) 例：银行BI、谷歌街景、FaceBook等 不会频繁修改已有数据内容 例：ERP系统不适合使用 10 NNIT大数据解决方案特点 高性价比 ・使用通用硬件比使用存储设备节省３０％以上 便捷 ・平台管理通过专用图形化管理系统ＯＤＰＭ，操作便捷 ・通过挂载可在１分钟内开始应用系统与平台间的文件交互而无需修改应用 易扩展 ・在管理系统上简单操作即可通过增加节点来提升系统存储容量及性能 ・平台存储量从１０ＴＢ扩展到１０ＰＢ也只需简单增加节点即可完成 ・平台性能随节点增加线形增长 整体解决方案 ・我们提供从系统整体设计优化、定制开发到数据迁移、系统实施等相关 服务的整体解决方案 11 ＮＮＩＴ大数据平台ODPF体系 12 MapReduce 分布式处理组件 ＯＦＳ 分布式文件存储系统 ＯＤＢ*1 KVS型分布式DB ＯＤＰＭ 图形化的 平台管理系统 *1：现版本ODPF的分布式数据库主要功能以Hbase为主 上图为平台管理系统ODPM ＯＤＰＦ 其他Hadoop生态圈组件 SQL支持，数据迁移，ETL等 平台综合管理系统ODPM ・整体一站式管理 -管理作为前端主机的web/DB服务器(可为虚拟机) -管理NNIT大数据平台的整体配置/硬件/组件/运行状态等 -管理平台中的文件和数据 ・丰富的管理功能使平台运用更便捷 -Wizard向导功能：初期安装，节点追加等 -配置管理：平台的初期设定及修改等 -运维管理：监控、报警等 -数据管理：文件及数据的访问控制，副本管理，内容检索等 13 前端主机管理界面 OFS Volume管理界面 文件系统OFS 14 Web Server 应用程序直接读写存放在平台上的文件和数据 Jmeter Jmeter Jmeter 数据节点 Jmeter Jmeter Jmeter 数据节点 DB Server Web Server DB Server 分布式文件系统 (从KB大小的数十亿海量地图图片到GB级别的数据库文件) ＯＦＳ ・便捷：无需修改前端应用程序即可连接OFS进行读写 ・高扩展性：通过简单追加数据节点即可线性扩展存储容量与性能 ・高性价比：硬件使用通用x86服务器避免昂贵小型机和存储设备 ・高可用性：自动副本管理机制对应硬件故障 3. 解决方案详细内容 15 服务内容（基于数据生命周期） 数据生成 数据存储 数据处