Hadoop编程实践课题.ppt

;本课程适合的人;课程大纲;*;;*;;一个分布式文件系统和并行执行环境（框架） 让用户便捷地处理海量数据 Apache软件基金会下面的一个开源项目 目前Yahoo!是最主要的贡献者 ;Apache Lucene 开源的高性能全文检索工具包 Apache Nutch 开源的 Web 搜索引擎 Google 三大论文 MapReduce / GFS / BigTable Apache Hadoop 大规模数据处理;2004年-- 最初的版本(现在称为HDFS和MapReduce)由Doug Cutting和Mike Cafarella开始实施。 2005年12月-- Nutch移植到新的框架，Hadoop在20个节点上稳定运行。 2006年1月-- Doug Cutting加入雅虎。 2006年2月-- Apache Hadoop项目正式启动以支持MapReduce和HDFS的独立发展。 2006年2月-- 雅虎的网格计算团队采用Hadoop。 2006年4月-- 标准排序(10 GB每个节点)在188个节点上运行47.9个小时。 2006年5月-- 雅虎建立了一个300个节点的Hadoop研究集群。 2006年5月-- 标准排序在500个节点上运行42个小时(硬件配置比4月的更好)。 06年11月-- 研究集群增加到600个节点。;扩容能力（Scalable）：能可靠地（reliably）存储和处理千兆字节（PB）数据。 成本低（Economical）：可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。 高效率（Efficient）：通过分发数据，hadoop可以在数据所在的节点上并行地（parallel）处理它们，这使得处理非常的快速。 可靠性（Reliable）：hadoop能自动地维护数据的多份复制，并且在任务失败后能自动地重新部署（redeploy）计算任务。 ;Hadoop和传统数据库系统的区别;与网络技术区别;Hadoop越来越火;雅虎北京全球软件研发中心 IBM Facebook Amazon Yahoo! 中国移动研究院 英特尔研究院 百度、腾讯、新浪、搜狐、淘宝 ;Yahoo Hadoop应用揭秘 中国移动 联通海量上网日志数据 ;2010年10月时：Yahoo目前有超过38000台服务器，有超过4000个以上的服务器集群，数据总量达到了170PB，每日的数据增量在10TB以上。 ;Yahoo的Hadoop应用包含有搜索、日志处理（Analytics, Reporting, Buzz）、用户建模、内容优化，垃圾邮件过滤器以及广告计算等。 如何利用Hadoop对海量数据进行优化处理是Yahoo正在致力于工作的内容。以网络分析为例，Yahoo目前有超过100亿个网页，1PB的网页数据内容，2万亿???链接，每日面临这300TB的数据输出。“在应用Hadoop前，实施这一过程我们大概需要1个月的时间，但应用后仅需要1周时间” ;“再以Yahoo搜索为例，我们的服务器上保留有用户三年来的搜索记录，这个数据是由超过 10TB的自然语言文本库所组成”，“如果数据重整，我们在应用Hadoop前需要1个月的时间进行处理，而在有了Hadoop后仅仅需要30分钟。” Hadoop也非万能，它采用Java实现，Java的IO处理虽然没有性能瓶颈，但是对于CPU密集型的任务是一个麻烦， 因此，有些算法效率不会提高很多。;中国移动大云 在中国移动内部，Hadoop已经成为一个重要的数据挖掘工具，中国移动已经把Hadoop的群用来进行闭环的数据挖掘，和传统算法的数据挖掘性能相比，有很大的提升，而且成本非常低。;联通的大数据处理系统;课程大纲;Hadoop生态系统;Hadoop基本架构——物理分布的Hadoop集群;Hadoop基本架构——物理部署;为以流式数据访问模式存储超大文件而设计的文件系统 超大文件 指的是几百MB，几百GB，几百TB，甚至几百PB 流式数据访问 HDFS建立的思想是：一次写入、多次读取模式是最高效的。 商用硬件 HDFS不需要运行在昂贵并且高可靠的硬件上。;硬件错误是常态，因此需要冗余。 程序采用“数据就近”原则分配节点执行。 ;存储并管理PB级数据 处理非结构化数据 注重数据处理的吞吐量（延迟不敏感） 应用模式为：write-once-read-many存取模式（无数据一致性问题）;存储小文件 (不建议使用) 大量的随机读 (不建议使用) 需要对文件的修改 (不支持) 多用户写入(不支持);文件切分成块（默认大小64M），以块为单位，每个块有多个副本存储在不同的机器上，副本数可在文件生成时指定（默认3） NameNode是主节点，存储文件的元数据如文件名，文件目录结构，文件属性（