十三五-大数据行业深度研究.pptVIP

2016年5月研究部“十三五”大数据行业深度研究*“十三五”规划纲要简介2016年3月17日发布的《十三五规划纲要》，是根据《中共中央关于制定国民经济和社会发展第十三个五年规划的建议》由国务院牵头各个部委编制的，主要阐明国家战略意图，明确经济社会发展宏伟目标、主要任务和重大举措，是市场主体的行为导向，也是政府履行职责的重要依据。《十三五规划纲要》明确提出，发挥科技创新在全面创新中的引领作用，加强基础研究，强化原始创新、集成创新和引进消化吸收再创新，着力增强自主创新能力，为经济社会发展提供持久动力。*1.大数据的基本概念和处理工具介绍2.大数据在重点行业中的应用3.重点公司列表*大数据的基本概念和处理工具介绍*数据价值密度低（Value）大数据的价值需要深度发掘，原数据本身价值较低4V的属性Variety数据类别多大数据不仅包括结构化数据，还包括大量的半结构化、非机构化数据Volume数据量大2010年全球数据量已经达1.2ZB，超过人类有史以来所有印刷材料数据总量数据时效高（Velocity）大数据往往以数据流的形式动态、快速地产生，具有很强的时效性处理大数据面临的挑战数量大数据处理量从计算机时代早期的GB，膨胀到TB---PB---EB---ZB，每一步都是1000倍的增长速度快需要从原来的批量处理转变为实时处理，否则会失去时效性种类庞杂从早期的结构化数据，转变为大量的非结构化数据几种数据类型数据类型表现形式典型场景结构化数据数据库表等企业ERP、财务、HR数据库等半结构化数据邮件、HTML、报表等邮件系统、网页信息、报表系统等非结构化数据视频、音频等在线视频内容、音频内容、图形图像信息等大数据的几个特征大数据的基本概念和处理工具介绍根据IDC数据，2014年全球数据总量约为5.9ZB，是2010年的4倍多中信证券预计2020年世界新产生的数据总量将达到近40ZB，是2014年的6倍回顾过去15年，从数据的可获得性、流动性来看，互联网的发展创造了大量的线上数据，同时互联网和传统行业的融合，以及IOT（internetofthings物联网）时代的到来，数据的可获得途径正在被持续拓宽未来，随着一系列新的智能设备的推出，包括智能汽车、智能家居、可穿戴设备、工业及基础领域的传感器等，产生的数据规模将更为庞大*个人电脑宽带互联网爆发智能手机+平板广义智能设备90年代初90年代末08年后未来全球产生数据规模（ZB）中国网民规模（亿）全球连接入网的智能设备经历了数次飞跃与扩大资料来源：中信证券资料来源：中信证券数据规模在飞速增长大数据的基本概念和处理工具介绍*数据源数据存储、计算、分析数据的最终应用基础硬件基础软件/架构云计算具有高性能、高可拓展性的特点，强大的服务器集群、存储能力为大数据处理提供了硬件基础这也是云计算厂商amazon等积极布局大数据业务的优势之一过去10年中，由企业、高校或科研机构所研发并开源的分布式计算/存储架构，是当前大数据发展的基础Hadoop：起源于雅虎公司，是当前主流的大数据存储和处理平台Spark：诞生于加州伯克利大学AMP实验室，是新一代大数据分布式处理框架NoSQL：著名的分布式数据库数据分析与可视化处理金融：银行、保险的大量账户电子商务：大量的买卖交易发生广义互联网：社交、搜索、娱乐等通信厂商：掌握互联网的入口政府公用事业单位：包括医疗、交通等数据挖掘：基于不同的数据类型和格式呈现出数据的各种特性，挖掘其中蕴涵的价值预测性分析：通过训练数据建立模型，并以此为基础预测未来的趋势和走向非结构化分析：针对海量的音频、图像、视频和文本数据，结合人工智能技术抽取和提炼，使之能够用于后续的分析的挖掘可视化分析：直观的呈现数据统计分布特性，使普通用户能够对数据形成大致的理解大数据分析处理工具大数据的基本概念和处理工具介绍专业咨询公司Wikibon统计了2014年全球大数据领域收入排名TOP30的公司，其中不仅包括IBM、HP等传统综合IT企业，也包括palantir等专注于特定领域数据分析的新兴企业*传统IT公司美国：以IBM、HP、dell、oracle等企业为代表，该类企业具有完整的软、硬件产品线，并通过既有产品线、hadoop等开源计算框架的融合，迅速构建出综合性大数据解决方案。参与大数据业务的几类主要企业互联网企业美国：以google、amazon为代表，本身具有雄厚的技术和资金支持，云计算业务强大，且自身的数据源丰富，对大数据具有较强的需求。中国：传统