构建大数据核心能力 大数据中心V1..pptx

2016年联通事业部大数据中心 持续构建大数据核心能力 大数据中心2016年目标 联通事业部大数据中心将持续以联通事业部为依托，面向公司/事业部当前和未来方向，掌握大数据体系的关键核心技术，加快大数据/云计算等技术深度研究，加强原有数据体系与大数据的快速整合，打造大数据应用生态圈，持续构建公司/事业部大数据核心能力； 大数据中心组织结构 大数据中心 （王虎） 基于事业部“聚焦大数据，提升竞争力”整体目标，面向云化体系和项目体系，构建大数据组织体系； 大数据项目管控 (万鑫) 目录 大数据中心大数据情况介绍 大数据研发 大数据架构 大数据变现 大数据研发—三大体系 大数据中心，将加快大数据技术体系、数据体系、产品体系三大技术深度研发。 面向大数据产品体系，推进关键技术应用逐渐产品化，差异化完善大数据产品体系，产品研发包括：Storm实时流产品、Hbase数据魔方产品、数据采集产品、数据安全产品、PaaS多租户容器产品； 面向大数据技术体系，储备IaaS/PaaS/SaaS层技术，技术研发包括：Kvm技术、OpenStack技术、Mysql集群+SSD技术、Docker容器技术、Puppet自动运维技术、R-Hadoop/RStudio技术、Spark技术、 Solr/Lucene全文本检索技术、非结构化数据等内容； 产品研发方向 技术研发方向 面向大数据数据体系，储备数据采集、存储、整合、服务、管控集成化的规范和技术能力，具体包括大数据数据体系规范技术、指标库、标签库、立方体规范和技术、应用库规范和技术； 数据研发方向 研发内容：技术与产品研发列表（1/3） 序号 云化层次分类 技术与产品分类 研发项目 研发说明 研发人员 1 IaaS层 技术类 Kvm虚拟化技术 虚拟化基础设施，Linux内核中 张宇龙、 邓良伟 2 IaaS层 技术类 OpenStack开源云平台 该项目基于私有云进行探索，实现在OpenStack云环境中快速部署Hadoop集群；更充分地利用通用OpenStack IaaS云环境中未被利用的计算资源；为临时的或突发的数据分析任务，提供数据分析即服务； 张宇龙、邓良伟 3 IaaS层 技术类 SSD混合存储 SSD与数据库Mysql、Hadoop等结合； SSD与虚拟机Kvm结合 SSD与全文搜索引擎Lucene结合； 张宇龙、邓良伟 4 PaaS层 技术类 Flume实时流采集 该项目实现实时日志数据的采集，实时流文件采集的配置管理； 刘宇媛 5 PaaS层 技术类 网络爬虫采集 基于网页、微博、微信文本爬取。 张振丽 6 PaaS层 技术类 Mysql Clustor应用研发项目 该项目通过搭建使用Mysql Clustor，推进MySQL集群的应用，包括安装、部署、运维、二次应用开发等。 张宇龙、邓良伟 7 PaaS层 产品类 统一采集与交换平台 该项目整合批量、小批量、准实时、实时数据采集，实现数据的采集与交换 崔东、姜丽雅 8 PaaS层 产品类 Docker容器技术产品 该项目基于Linux建立轻量级的多租户容器，实现应用和平台的多租户管理。 崔东、姜丽雅 研发内容：技术与产品研发列表（2/3） 序号 云化层次分类 技术与产品分类 研发项目 研发说明 研发人员 9 PaaS层 产品类 数据安全平台 数据服务安全，实现数据需求定义，数据安全定义，数据安全级别定义、数据粒度定义、数据服务对象定义，满足敏感数据加密、数据访问控制、数据加密传输等要求； 李志 10 PaaS层 产品类 智能引擎平台 面向联通分析人员使用的智能化工具，主要分为两个独立的部分：自助探索和云端定制。 庞晓周 11 PaaS层 技术类 R/R-Hadoop/RStudio技术 基于R语言、R-Hadoop、Rstudio的全量数据集数据挖掘技术 赵国新\陈红红 12 PaaS层 技术类 Solr/Lucene技术 基于大数据的全文本检索、分词检索技术 赵国新/代龙 13 SaaS层 产品类 基于Hbase数据魔方 该项目通过对Hbase的封装，实现基于维度事实立方的明细数据的构建、数据生成、清单查询和汇总查询。 代龙、高丽娟、张磊 14 SaaS层 产品类 基于实时流的实时引擎 该项目通过对实时流的事件处理、事件决策、事件响应，结合内存数据库实现，实时流的统一部署和监控。 李栋、黄成昱、刘宇媛 15 SaaS层 技术类 Codis集群技术 高并发快速查询平台，分布式内存数据库环境构建,支持数据源Oracle/Redis可视化配置,缓存数据可视化写入,高并发查询接口研发,缓存查询规范制定 联通总部 16 SaaS层 产品类 舆情分析产品 基于网络爬虫和文本检索的舆情分析技术 代龙/王平/张振丽 序号 云化层次分类 技术