电信运营商大数据应用研究和实践.PDFVIP

电信运营商大数据应用 研究和实践 中国移动研究院 主要内容  大数据发展概况  运营商大数据处理的需求  中国移动在大数据处理方面的研究和实践  运营商对Hadoop发展的需求 什么是大数据？  “大数据是指无法在一定时间内用常规软件工具对其内容 进行抓取、管理和处理的数据集合”—维基百科  三大特征（3 V）  Volume：数量大 （Twitter1.75亿用户每天创建9500万条微博； Facebook每天在30万台服务器上处理25Tb数据；YouTube每 天上传168Tb视频）  Velocity：时效性要求高 （搜索引擎要求几分钟前的新闻能够被 用户查询到）  Variety：种类和来源多样化 （结构化/半结构化/非结构化；关 系数据库/数据仓库/互联网网页等）  通常用于分析型的应用场景，如搜索引擎网页处理、用户 行为分析、商业智能（BI）等 全球数据量高速增长，信息日益成为战略资产 •信息社会的信息增量在高速发展 •随着互联网/移动互联网、数码设备、物联网/传感器等技术的发展，全球数据生产在高速增长 •信息成为企业战略资产，市场竞争和政策管制要求越来越多的数据被长期保存 •企业越来越需要长期保存各类数据，以进行用户行为分析、市场研究，信息服务企业更是需要 积累越来越多的信息资源 •为了遵从萨巴斯、上网日志审计等管制要求，企业需要长期保存越来越多的生产数据 •信息处理技术的发展使很多数据的价值能够被更好地挖掘和利用 •自然语言处理、语音识别、图像处理技术等 •据IDC研究报告，未来10年全球数据量将以40+% 的速度增长，2020年全球数据量将达到35ZB （35,000,000PB ），为2009年（0.8ZB ）的44倍 大数据处理的实时性要求不断提高  3月11日日本大地震发生后仅9分钟，美国国家海洋和大气管理局 （NOAA）就发布了详细的海啸预警。  位于美国新泽西州的NOAA数据中心存储着超过20Pb （1024Tb）的 数据，是美国政府最大的数据库之一。为了在更短时间内分析出准确 的海啸活动趋势，NOAA一直在努力提升其对大数据进行处理的能力， 更高的实时性就意味着挽救更多的生命。 非结构化数据逐渐成为主流 10年间，在非结构化数据占比加大的同时，业界对非结构化数据的重视极度上升，超越结构化数据 Source: Database System Concepts, Intr. to Information Retrieval Course, University of Pittsburgh 主要关键技术 自然语言理解，文本分词、语义 分析，情感分析或者大规模计算技 术 非结构化数据索引技术，如搜索 引擎倒排索引技术 多媒体处理，包括图像识别，语 音识别，多媒体索引等技术 …… 6/32 Hadoop几乎成为大数据处理的事实标准 HBase MapReduce Hive • 高度可扩展性：支持4000个节点，10P以上数据 • 数据高度可靠：数据具有多个副本，保证数据可 靠性 • 系统高可用性：通过多个元数据服务器实时同步， 实现系统高可用性 • 自动并行处理：支持MapReduce并行计算框架， 计算任务调度到数据所在节点，减少网络开销， 提高性能