Big Data 技术综述及参考架构.pdfVIP

Big Data 技术综述技术综述 及参考架构及参考架构 lch@ TSD 2012年5月31 日 此处填写密级标识 行业背景与发展趋势 此处填写密级标识 背景背景-什么是海量数据什么是海量数据 DefinitionDefinition “大数据是指无法在大数据是指无法在一定时间内用常定时间内用常 规软件工具对其内容进行抓取、管理 定义 和处理的数据集合” ——维基百科 Big Data Feature Volume ：数量大 海量数据海量数据 VelocityVelocity ：：时效性要求高时效性要求高 特征 Variety ：种类和来源多样化 application 搜索引擎网页处理 用户行为分析 应用应用 商业智能（BI） 此处填写密级标识 行业背景行业背景 此处填写密级标识 行业解决方案 此处填写密级标识 重要需求 此处填写密级标识 物联网信息中心物联网信息中心-移动互联网移动互联网 • 场景场景：物联网信息中心物联网信息中心 批量数据的查询、实时 分析、友好展现 • 数据规模：物联网采集 终端实时在线，月产生 数据在200TB左右 • 查询响应时间，能够秒 级返回结果，对于最复 杂的查询须在杂的查询须在55分钟分钟以以 内返回结果 • 海量数据的实时分析， 友好的用户界面友好的用户界面 • 硬件配置，X86，8G内 存，PC Server 此处填写密级标识 电信详单账单查询系统电信详单账单查询系统-电信电信 场景描述： 电信行业通常需要为用户提供电信行业通常需要为用户提供6到到12个月的详细话单和账单的查询个月的详细话单和账单的查询。 原有方案： 现在的系统是把这些数据全部存储在生产数据库的现在的系统是把这些数据全部存储在生产数据库的OOraclle数据库中数据库中， 占用生产数据库的大量存储空间，增加了生产数据库的存储和访问压力， 而且生产数据库存储的数据月份有限制。 新方案： 新的系统将采用独立的分布式文件系统和分布式数据库来存储往月的详单 和账单和账单，提供数据的压缩存储提供数据的压缩存储、备份备份、多种指标的查询多种指标的查询、汇总统计等功能汇总统计等功能， 满足日益增长的数据处理需要。 性能指标： 数据记录数 存储容量 查询响应时间(s) 1212个月个月X30X30亿亿//月月 1212个月个月 XX 1T/1T/月月 XX 复制因子复制因子33 1ss 此处填写密级标识 硬件环境: HP DL360 G7 6台 熙康健康社区熙康健康社区-社会化网络应用社会化网络应用 场景描述： 熙康服务社区用户产生海量数据包括评论、照片等，社区健康顾问可以 通过健康传传感器采集到的健康指标信息推荐各种健康内容 性能指标：