数据挖掘原理算法与应用教学作者梁亚声第2章节电子教案课件幻灯片.ppt

2.4.3 谷歌文件系统（GoogleFS） 2.4 分布式文件系统 垃圾收集: 在一个文件被删除之后，GoogleFS并不立即收回磁盘空间，而是等到垃圾收集程序在文件和数据块级的检查中收回。 当一个文件被应用程序删除之后，主服务器会立即记录下这些变化，但文件所占用的资源却不会被立即收回，而是重新给文件命了一个隐藏的名字，并附上了删除的时间戳。在主服务器定期检查命名空间时，它删除超过三天（可以设定）的隐藏的文件。 在一个相似的定期的命名空间检查中，主服务器确认孤儿数据块（不属于任何文件）并擦除他的元数据，在和主服务器的心跳信息交换中，每个服务器报告他所拥有的数据块，主服务器返回元数据不在内存的数据块，服务器即可以删除这些数据块。 2.4.3 谷歌文件系统（GoogleFS） 2.4 分布式文件系统 过时数据的探测: 在数据更新时如果服务器停机了，那么他所保存的数据备份就会过时。对每个数据块，主服务器设置了一个版本号来区别更新过的数据块和过时的数据块。 当主服务器授权一个新的租约时，他会增加数据块的版本号并会通知更新数据备份。主服务器和备份都会记录下当前的版本号，如果一个备份当时不可用，那么他的版本号不可能提高，当块服务器重新启动并向主服务器报告他的数据块集时，主服务器就会发现过时的数据。 2.4.3 谷歌文件系统（GoogleFS） 2.4 分布式文件系统 （4）容错和诊断 高可靠性: 快速恢复。不管如何终止服务，主服务器和数据块服务器都会在几秒钟内恢复状态和运行。 数据块备份。每个数据块都会被备份到不同机架上的不同服务器上。对不同的命名空间，用户可以设置不同的备份级别。在数据块服务器掉线或是数据被破坏时，主服务器 会按照需要来复制数据块。 主服务器备份。为确保可靠性，主服务器的状态、操作记录和检查点都在多台机器上进行了备份。 2.4.3 谷歌文件系统（GoogleFS） 2.4 分布式文件系统 （4）容错和诊断 数据完整性: 每个数据块服务器都利用校验和来检验存储数据的完整性。原因是每个服务器随时都有发生崩溃的可能性，并且在两个服务器间比较数据块也是不现实的，同时，在两台服务器间拷贝数据并不能保证数据的一致性。 每个数据块按64kB的大小分成块，每个块有32位的校验和，校验和和日志存储在一起，和用户数据分开。 2.4.3 谷歌文件系统（GoogleFS） 2.4 分布式文件系统 （4）容错和诊断 诊断工具: 广泛而细致的诊断日志以微小的代价换取了在问题隔离、诊断、性能分析方面起到了重大的作用。GoogleFS服务器用日志来记录显著的事件（例如服务器停机和启动）和远程的应答。远程日志记录机器之间的请求和应答，通过收集不同机器上的日志记录，并对它们进行分析恢复，可以完整地重现活动的场景，并用此来进行错误分析。 2.4.4 Hadoop分布式文件系统(HDFS) 2.4 分布式文件系统 （1）特点和目标 硬件错误: 硬件错误是正常的而非异常事件。一个HDFS实例有时会包含成百上千台服务器，每个服务器都存储有文件系统的部分数据。事实上集群中组件的数量是庞大的，并且每个组件出现无法工作的概率都是不可忽略的。因而，快速地检测到硬件错误并且自动的从中恢复是HDFS的核心架构目标。 2.4.4 Hadoop分布式文件系统(HDFS) 2.4 分布式文件系统 （1）特点和目标 流式数据访问: 运行在HDFS上的应用程序需要能够获得对其数据的流式访问。这些应用程序不是运行在普通文件系统上的普通应用程序。HDFS被设计用于批处理而非交互式应用。HDFS的重点是提供高数据吞吐量而不是低数据访问延迟。可移植操作系统接口（POSIX）标准中的许多限制对于运行在HDFS上的应用程序来说是不适合的。可移植操作系统接口的一些关键性规范要求被修改以获得在HDFS上更高的数据吞吐速率。 2.4.4 Hadoop分布式文件系统(HDFS) 2.4 分布式文件系统 （1）特点和目标 海量数据支持: 运行在HDFS上的应用程序一般需要处理海量数据。在HDFS中一个典型的文件大小是GB甚至TB级别。因而，HDFS是被优化来支持大文件。它应该能提供集中式的高数据带宽并且能够扩展到单个集群支持上百个节点。在一个单独的HDFS实例中应能支持数千万的文件。 2.4.4 Hadoop分布式文件系统(HDFS) 2.4 分布式文件系统 （1）特点和目标 简单一致模型: HDFS应用程序需要一个“只写一次，读取多次”的文件访问模型。一个文件一旦被创建、写入、关闭后就不应再被修改。这个假设简化了数据一致性问题因而保证了高数据访问吞吐量。一个MapReduce应用程序或者一个Web爬虫程序都能够适应这个模型。 2.4.4 Hadoop分布式文件系统(HDFS) 2.4 分布式文件系统