广东联通大数据应用和实践.pptVIP

创新·改变世界 广东联通大数据应用与实践 广东分公司 2016-7  目录 匚大数据概念及相关技术 广东联通大数据现状 大数据运营模式思考  大数据的特点 创新·改变世界 TB-PB 日志、视频、图片 一大量化(Vm)增星大 棱紫引颦 数据体量大 数据类型繁多 来距多通话记象 传感留 大数的特征多样光( Variety 特点 塔相化的 价值密度低 处理速度快 离过数 互联网弃擦设怪数量增长 快化(Vey 价位密盘( value) 可用数据少 1秒定律 大数据是处理海量数据的过程,用最有效的方式寻找最 有价值的数据的过程,是追求数据价值最大化的一个 过程  智慧城市与大数据 创新·改变世界 机器生成数据 智能电网 智能楼宇 工业自动化 x24不间断 污染监控 数据量大 气象监控智能电表 产生速度快 智慧城市 目@合会含 实时分析 智能医院 智能交通 手机附加 流式分析 移动医疗影像设备 色救车上 传感器 感应传感器电子警察 传感器 车载传感器 模式挖掘  存储、分类、统计、建模、预测的技术手段 创新·改变世界 更大的数据集(例如,PB级规模)更多的智能算法 数据库最大容量 描述/OLAP多维数据集 用来述数据通过交叉表的可视 化/聚合在不同的粒度级别 199800020406382010 我们正在步入信思革命时代这个时代的绝 分数据由软件日志,照相机,麦充风,RFD 读番,无线传感器网络等机器标记。这些机器 产生的数据的速度远远超过人们现有的处理能力 推理/机器学习 因为他们的数据产生速度遵循尔定律: 通过对比数据不断的调整碘型和 参数,计算可行性分析来直接掮 捉人口的基本属性 从各种各样类型的数据中,快速获得有价值信息的能力,就是大数据技术 大数据代表着信息技术未来发展的战略走向,它将引发技术领域跨越式发展 是继互联网后的又一次信息革命  大数据常用技术 创新·改变世界 大数据技术: 解决方案 数据存取:关系数据库列存数据库 Hadoop( Map Reduce技术) N。SQL;SQL等 流计算( twitter的 storm和 yahoo!的s4) 基础架构支持:云存储;分布式文件系统等 ·计算结果现:云计算;标签云关系图等 数据采集 数据管理 数据储存 数据分析与挖掘 分析技术 口海三数据的查询、统计、更新等操作效率低.数据处理:白然语吉处理技术 非结构化数据 ·统计和分析: A/B test; top N排行榜;地域占比 口图片、视频、word、pdf P等文件存储 文本情感分析 口不利于检索、查询和存储 半结构化数据 :数据挖掴:关联规则分析:分类:聚类 口转换为结构化存储 /模型预测:预测模型;机器学习;建模仿真 口按照非结构化存储  目录 大数据概念及相关技术 广东联通大数据现状 大数据运营模式思考  广东联通大数据运营现状 unIcom中国联通 百花齐放-应用(魂) 指标数据汇思计 灵活定义的给=数据服 经管理决 (基) 数据釆集、清洗、转换、汇总(ETL) 中 ■热点营销模 网络质暈分析模 数据 撈副户卡模酯联网广告 T系统整合 位置数据、消费鼓据、口 匪细 (本) 互联网使用数据 库销活动营销接画机型偏好模 andno albea 台架构 应用开发 自主 队伍 数据建模 外 (灵)数据管理  自建基于元数据管理的大数据平台 m中国联通 自助应用平台 应用 自助取数、自定义报表、多维分析 外部合作应用 营,作业价值 化互联网数据分析 数据服务平台对内) 数据服务平台(对外 旅务毕普[口[ 任务调 服务监控 服务监控数据导出数据导入 数据加 数据计算 数据管控 二次汇总计算 大数据汇总、挖掘计算 实时流式汇总、分析计算 数据结构化数据存储(资源池)实时釆集非结构化/大数据存储(资源池 平台 MPP|高效数据库实时采集、‖[ HADOOP、 Cassandra 清洗 数据安全 EL(数据乐焦清洗汇总,标签掘)量 虚拟「主机存储网络 资源资源池 管理平台资源物理资源业多性能 管理  数据-丰富的各类数据整合能力 unIcom中国联通 创新·改变世界 蹩合全公司数据,首创信令数据秒级实时釆集,国内领先;跨域整合各类数据,数据完整 度行业领先 6000万 签(3354 存储能力 6W问题 12TB 渠道域 全成本数据、日记账数据 通管局下发数据 Who:用户是谁 调