大数据建设和应用汇报.pptVIP

大数据 建设情况与应用汇报 大数据 DT时代 江西联通信息化部 赢在数据时代 理念焉 平台 应用 大数据服务理念大数据领先平台大数据应用展望未来 里念儒 大数据服务理念 数据据动业务+快捷的数据务十数据资产娈现〓太数据服务 提升经营决策率■透明的使用数据服务■提供脫敏数倨,促进■企业赋能 ■全面精准、洞察客户■数据使用像使用水、 数据资产交易 ■价值提升 提供精确、实时的营电一样便捷 洽外部数据,促进 销服务 大数据增值变现 平台篇 大数据技术与传统技术对比 传统的集中式计算 大数据分布式计算 把一组计算机通过网络相互连按组成分散系统,然 通过不断增加处理罂的数量来增强单个计算机的计 后将需要处理的大量数据分散成多个部分,交由分 处理数据的速度,比如传统的大 散系统内的计算机組同时计算,最后将这些计算结 型机、小型机,硬件费用昂贵,新兴的互联网公司 果合并得到最终的结果。 根本负担不起 更加开放的HDFS:负责数据存储 规模编程模型 MapReduce负责计算 VS 优点:技术实现不复杂,有丰富的应用经验 优点:使用X86服务器,硬件便宜,能处理大容 量数据,关键是软件是开源的,免费 缺点:主机费用昂贵,需要专用硬件支持,比如 缺点:早期分布式计算技术复杂,实现比较困难 专用处理器,处理大量数据时遇到瓶颈 大数据技术人才匮乏 当前状况:去IOE,逐渐被互联网公司抛弃 当前状况; Hadoop分布式计算桓架被广泛应用 运菅商到底有哪些数据 ■运营商大数据具备全面性、多维性、中立性、完整性是其它企业很难比拟的,而且通 过这些不同维度数据的交叉关联,可以创造更多的新数据和新价值 身返不议客户信需完整,还可以 支守家的数, 份每际行为进行,通身份信 帮助金融机树快速判定用户的信用程度 等,能交映司 上基用户问什么阿址,下酸什么应用 网 許,夭途,了解司话行为征 终诉录机终结型号,了解户于 置出行特征,给带来生活的根大使利 端只持征,发晨要,月一美机司 交序列,得到用户的社交持征 运菅商数据的优势 互联网数据受限 运营商数据天然优越性 于本身的数据基因 1.数据封闭性 1运营商是数据管道,掌控全局数据 数据准确性高:实名制,且能够准确反 2数据局部性 映用户实时的行为状态 3数据割裂性 3数据具有连续和可追澜性:用号码ID整合 用户全生命周期数据 营商数据解决互联网三大问题 你是谁,你在哪,你在干什么 主流的大数据架构平台 大 自主经营休系统自助查询2网络优化 旅游大数冠 数据 对外运营 管理 敌据透明访问 大数据模型 聚台视图分析模型 批量计算 质量 DWA 调度 非关系型数据库 DWD 内存计算 [[M城]流计算分布式件系统 手机让上网日志用户位置信令 平台的大数据处理能力 50亿条 10亿条 500个接口 日处理上网记录 日处理位置信令数据 每天处理文件按口数 2TB 1.2PB 每天处理的数据规模