上海联通大数据平台规划方案.pptx

上海联通大数据平台规划方案汇报目 录一、大数据应用发展趋势二、大数据平台整体规划大数据所谓“大数据”，指的是所涉及的数据量规模巨大到无法通过目前主流软件工具，在合理时间内达到截取、管理、处理、并整理成为帮助企业经营决策更积极目的的信息。。大数据处理技术代表了新一代的技术架构，这种架构通过高速获取数据并对其进行分析和挖掘，从海量形式各异的数据源中更有效地抽取出富含价值的信息。从大量数据中挖掘高价值知识是各界对于大数据的一个共识。海量数据可广泛获得，所稀缺的是如何从中挖掘出智慧和观点。 ——Google 首席经济学家 Hal Varian大数据主要被用于分析和决策，企业用以分析的数据越全面，分析的结果就越接近于真实。大数据分析意味着企业能够从这些新的数据中获取新的洞察力，并将其与已知业务的各个细节相融合，对企业产生新的价值。大数据对电信运营商的应用价值体现技术高效、低成本以技术驱动为标志，内存计算、MPP、CEP…分而治之的分布式计算让运营商实时高效决策….提升业务效率提升客户体验自助分析、生产管道可视化、资源解耦随需而动，营销实时，以业务效率提升为标志。互联网化的电子渠道全景体验、个性化商品推荐、LBS位置营销、面向客户个体的深度洞察324创新商业模式增强管理水平15数据开放服务、与OTT厂商合作的后向收费、广告等新业务.数据集中到数据中心，多数据源管理，透明服务支持，实时的决策和预测能力提升整体经营管理水平。上海联通数据平台现状经过一二期的建设，精细化运营平台的数据中心，已经成为上海联通最大、内容最丰富的数据仓库；随着数据量的增长，需要对基础架构做长远规划；有必要深入挖掘数据价值，研究新的商业模式，将成本中心转化为利润中心大数据处理的需求和特点电信运营商数据集中化趋势业务运营发展趋势对业务支撑平台的集中化要求对数据架构的集中化要求集中化建设、管理和维护可不断线性扩展提高资源综合利用率标准化功能组件，可共享可复用按业务量、按需支付集中化、大容量、高扩展、高可用数据库平台：支持全网型数据、跨域数据的整合，形成集中化管理的的企业级数据中心高性能：支持3G时代更高的实时性要求、支持动态资源共享：支持多租户管理、资源动态按需供应可重用、标准化组件：形成可重用组件，支持一次开发、各省共享的模式，形成规模型效益低成本运营BASS与BOSS、CRM的一体化BSS与MSS、OSS、VAS等跨域一体化对外部客户和应用的一体化一体化运营片区化、网格化管理长尾市场、小众市场的支撑个性化、短周期需求的满足精细化运营异地客户、家庭客户、集团客户一点接入、全网服务、全网客户画像全国统一套餐、全网营销、 统一客服全网运营 数据集中化趋势使得运营商面临着海量数据的存储及分析问题，大数据在支撑移动业务发展趋势中，充当重要角色。实时数据获取、处理、分析智能化主动事件触发智能管道移动互联网实时、智能化运营电信运营面临的大数据挑战联通总部3G互联网访问记录查询及分析系统：全国每日新增10TB数据，每月近万亿条记录，要存放6个月，约 2PB的上网记录数据。上网记录入库时间小于30分钟， 原始上网记录保留6个月。上网查询速度不高于1秒，并发查询数1000请求/秒。集群规模188个数据节点，存储容量2.6 PB移动互联网流量井喷与客户行为分析业务融合、能力互通带来数据融合ICT融合，核心网络、运营支撑和VAS业务数据的融合催生海量User Profile并集，对大数据的关联分析计算效能带来挑战DPI和信令监测，产生的大量事件在存储和用户通信行为分析的实时处理性能带来挑战IT系统集中化和行业数据价值挖掘提升客户体验要求分析网络服务数据运营商一体化集中运营和透明管控，催生巨大的经营分析数据仓库，对大数据的存储、性能、开放带来挑战移动互联网和个人消费领域业务扩展和CEM导致海量数据的及时分析带来挑战BSS BI数据：河南17个地市，每天抽取正常用户数7000多万，拨备用户数3000多万，DW层用户表总量1亿多条；语音清单每天2.7亿条数据，GPRS清单每天4.2亿条数据；账务每天4.7亿条数据 ；GPRS文件每个100M左右，其它文件25M。日接口数据量：2000G，其中话单 220G，WAP清单 300G ， 工单服务 200G ， 用户、帐务 300G，其它980G。每月124TB数据量入库，历史数据保留1年，总数据量1.45PB。按照用户数简单测算, 6.5亿用户下，总数据量 》 10PB!大数据使得现有的数据处理方法面临新问题传统数据仓库无法有效存储日益增长的业务数据存储需求新增新增MR数据话单数据：634G/日634G/日*365 = 227T/年考虑20%的业务增长率后为：272T/年BSS数据基础数据（用户资料，产品订购信息）：15G/日*365+40G