（企管）大数据及信息安全最新技术中科大熊焰.pptVIP

大数据及信息安全最新技术 中国科学技术大学 熊焰 汇 报 内 容 汇 报 内 容 大数据“浪潮汹涌” “人人都知道，都说好，但究竟是什么，怎么做？” ——有关大数据浪潮的贴切描述 真有很“大”的数据么？ 反映到数据量上是什么情况？ “网上一分钟，人间一万年！” 大数据的背景意义 ——信息爆炸增长 * GB TB PB EB ZB 地球上至今总共的数据量： 在2006 年，个人用户才刚刚迈进TB时代，全球一共新产生了约180EB的数据； 在2011 年，这个数字达到了1.8ZB。 而有市场研究机构预测： 到2020 年，整个世界的数据总量将会增长44 倍，达到35.2ZB（1ZB=10 亿TB）！ 如此庞大数据的源头是什么？ 1PB = 250字节 1EB = 260字节 1ZB = 270字节 大数据的背景意义 ——信息爆炸增长 大数据的背景意义 ——感知设备的普及 大数据的背景意义 ——物联网体系架构 大数据背景意义 ——社交网络的承载 大数据的背景意义 ——社交网络承载 商业模式驱动 （新壶装旧酒） 内在需求驱动 （新酒装新壶） “蓝蓝的天上白云飘，白云下面数据跑” ——云计算技术是大数据发展的基础和支撑 云计算 大数据 大数据的背景：网络互联技术发展、感知设备普及以及物联网架构成熟，并由社交网络承载所引起的信息爆炸。云计算为其提供强大的支撑动力！ 大数据的背景意义 ——云计算为支撑 大数据的概念和内涵 “大数据：或称巨量数据、海量数据、大资料，指的是所涉及的数据量规模巨大到无法通过人工，在合理时间内达到截取、管理、处理、并整理成为人类所能解读的信息。” ——维基百科 大数据的概念和内涵 “大数据指的是大小超出常规的数据库工具获取、存储、管理和分析能力的数据集。尺寸并无主观度量。” ——麦肯锡 大数据的概念和内涵 仅仅是“大”？ 比“大”更重要的是数据的复杂性，有时甚至大数据中的小数据如一条微博就具有颠覆性的价值 海量 异构 劣质 高维 大数据的背景意义 ——大数据的特性 体量Volume 多样性Variety 价值密度Value 速度Velocity 非结构化数据的超大规模和增长 总数据量的80~90% 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍 大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 无模式或者模式不明显 不连贯的语法或句义 大量的不相关信息 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人工智能Vs传统商务智能(咨询、报告等） 实时分析而非批量式分析 数据输入、处理与丢弃 立竿见影而非事后见效 大 杂 “海量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。 低 快 大数据的背景意义 ——大数据的4V特性 海量沙漠 充满杂质 只为粒金 争分夺秒 大 杂 “海量化(Volume)、多样化(Variety)、快速化(Velocity)、价值密度低（Value）”就是“大数据”的显著特征，或者说，只有具备这些特点的数据，才是大数据。 低 快 大数据的背景意义 ——大数据的4V特性 大数据科研属于“数据密集型”的科学发现第四范式 2007年，已故的图灵奖得主吉姆·格雷（Jim Gray） 大数据研究的科学价值 李国杰 （中国工程院院士， 大数据专委会主任） “现代生命科学信息已具备大数据公认的4V特征，同时，大数据彻底颠覆了传统生命科学以假说指导实验和以模式生物为研究主体的科学发现模式，使生命科学研究开始进入“数据密集型”的科学发现第四范式时代。” 赵国屏 （中科院院士，国家人类基因组南方中心执行主任， 分子微生物学专家） 大数据研究的科学价值 Gartner2013年技术成熟度曲线 大数据正处于高速发展的巅峰期（热度巅峰），但在研究中仍然面临严峻挑战，亟需研究突破。待热潮之后，虽可能转向低谷期，但未来将走向成熟！ Gartner2013年技术成熟度曲线 大数据的数据够“大”，数据不再是稀缺资源，不能像小数据时代那样，用最小的数据获得最多的信息；而应该要拿到与领域相关的全数据 大数据的数据够“杂”，来源广泛，格式五花八门，用户需从海量数据中提炼有价值信息，个体数据（或严格因果模型）的精确性不再重要，重要的是大多数数据群共同指出的结论（相关性关系）； 大数据的数据够“快”，数据产生得快，数据增加得快，数据随时间的折旧也快，数据的时效性成为关键。 大数据新思维 大数据新思维 对比 传统方法 大数据方法 数据采集手段 采样数据 全局数据 数据源 单数据源 多数据源整合 判断方法 基于主观因果假设