大数据技术交流.pdf

大数据技术交流 2013.02 YOUR SITE HERE 目录 1.大数据技术介绍 2.Hadoop(HDFS,MapReduce)介绍 3.Hadoop的最新发展 4.流计算技术 5.内存数据库 6.列式数据库 7.各技术适用的场合 8.讨论 YOUR SITE HERE 什么是大数据？ 大数据 指的是海量无法通过传统方式管理的数 据。 Big Data作为一个专有名词成为热点，主要应归功于 近年来互联网、云计算、移动和物联网的迅猛发展。无所不 在的移动设备、RFID、无线传感器每分每秒都在产生数 据，数以亿计用户的互联网服务时时刻刻在产生巨量的交 互……要处理的数据量实在是太大、增长太快了，而业务需 求和竞争压力对数据处理的实时性、有效性又提出了更高要 求，传统的常规技术手段根本无法应付。 YOUR SITE HERE 大数据的4V特性 非结构化数据的超大规模和增长 总数据量的80~90% 体量Volume 比结构化数据增长快10倍到50倍 是传统数据仓库的10倍到50倍 大数据的异构和多样性 很多不同形式（文本、图像、视频、机器数据） 多样性Variety 无模式或者模式不明显 不连贯的语法或句义 大量的不相关信息 价值密度Value 对未来趋势与模式的可预测分析 深度复杂分析（机器学习、人工智能Vs传统商务智 能(咨询、报告等） 实时分析而非批量式分析 速度Velocity 数据输入、处理与丢弃 立竿见影而非事后见效 YOUR SITE HERE 大数据技术 存储 处理 应用 分布式缓存、基于 Map Reduce， HIVE,pig,R， MPP的分布式数据 mahout 流计算 库、分布式文件系 等查询统计，数据 统、各种NoSQL分布 挖掘技术 式存储方案, 内存数据 库等。 YOUR SITE HERE 大数据的存储 采用了一批新技术，主要包括分布式缓存、基于MPP的 分布式数据库、分布式文件系统、各种NoSQL分布式存 储方案等。 YOUR SITE HERE 分布式数据库与传统数据库对比