13、大数据技术发展介绍.pdfVIP

中国信息安全测评中心 大数据技术发展介绍 张静 中国信息安全测评中心 2015-7-25 中国信息安全测评中心 自我介绍 张静博士 中国信息安全测评中心副研究员 主要研究领域： 信号与系统 数据挖掘算法分析 生物信息学 信息安全 联系方式：QQ 2 中国信息安全测评中心 目录 1、大数据的发展史 2、大数据（Hadoop）的技术体系 3、大数据典型应用案例 3 中国信息安全测评中心 Part 1：大数据的发展历史 1. McKinsey首次提出Big data概念 2. 维克托新书 《大数据时代》推波助澜 3. Gartner报告进一步炒作 4. 算法、非结构化数据和分布式计算技术的发展 5. Google的三大论文 4 中国信息安全测评中心 麦肯锡首次提出大数据（Big Data）概念 • 麦肯锡公司于2011年5月发布的 《大数据:下一个创新、竞争和生产力的前沿》 • 大数据的定义： “大数据”是指其大小超出了典型数据库软件的采集、储存、管理和分析等能力的据集 。该定义有两方面内涵：一是符合大数据标准的数据集大小是变化的，会随着时间推移、 技术进步而增长；二是不同部门符合大数据标准的数据集大会存在差别。目前，大数据的 一般范围是从几个TB到数个PB。 • 全球现状及发展趋势： 1. 数据量呈现指数级增长：全球企业2010年硬盘上存储了超过7EB （1EB等于1024PB， 相当于美国国会图书馆中存储数据的4000多倍）的新数据，消费者在个人电脑等设备 上存储了超过6EB的新数据。 2. 不同行业的大数据强度和内容各有不同：证券、投资服务以及银行等金融服务领域， 通信和媒体公司、公共事业公司以及政府等企业和组织。 3. 现有趋势将继续推动数据增长： 4. 大数据是继传统IT之后下一个提高生产率的技术前沿 5 中国信息安全测评中心 大数据的关键技术 大数据的关键技术包括： 1. 大数据分析的技术：A/B测试、关联规则挖掘、分类、数据聚类、众包、数据融合和集 成、数据挖掘、集成学习、遗传算法、机器学习、自然语言处理、神经网络、神经分 析、优化、模式识别、预测模型、回归、情绪分析、信号处理、空间分析、统计、监 督式学习、无监督式学习、模拟、时间序列分析、时间序列预测模型、可视化技术等 。 2. 处理大数据的技术：Big Table、商业智能、云计算、Cassandra、数据仓库、数据集 市、分布式系统、Dynamo、GFS、Hadoop、HBase、MapReduce、Mashup、元数 据、非关系型数据库、关系型数据库、R语言、结构化数据、非结构化数据、半结构化 数据、SQL、流处理、可视化技术等。 3. 可视化技术：目前主要包括标签云、Clustergram、历史流、空间信息流等技术和应用 。