胡斌Hadoop学习详解.docVIP

Hadoop学习 什么是云 云计算（Cloud Computing），是一种基于互联网的计算方式，通过这种方式，共享的软硬件资源和信息可以按需求提供给计算机和其他设备。互联网上汇聚的计算资源、存储资源、数据资源和应用资源正随着互联网规模的扩大而不断增加，互联网正在从传统意义的通信平台转化为泛在、智能的计算平台。与计算机系统这样的传统计算平台比较，互联网上还没有形成类似计算机操作系统的服务环境，以支持互联网资源的有效管理和综合利用。在传统计算机中已成熟的操作系统技术，已不再能适用于互联网环境，其根本原因在于：互联网资源的自主控制、自治对等、异构多尺度等基本特性，与传统计算机系统的资源特性存在本质上的不同。为了适应互联网资源的基本特性，形成承接互联网资源和互联网应用的一体化服务环境，面向互联网计算的虚拟计算环境（Internet-based Virtual Computing Environment，iVCE）的研究工作，使用户能够方便、有效地共享和利用开放网络上的资源。 云计算概观 互联网上的云计算服务特征和自然界的云、水循环具有一定的相似性，因此，云是一个相当贴切的比喻。根据美国国家标准和技术研究院的定义，云计算服务应该具备以下几条特征：随需应变自助服务。 随时随地用任何网络设备访问。 多人共享资源池。 快速重新部署灵活度。 可被监控与量测的服务。 一般认为还有如下特征： 基于虚拟化技术快速部署资源或获得服务。 减少用户终端的处理负担。 降低了用户对于IT专业知识的依赖。 云教育 教育在云技术平台上的开发和应用，被称为“教育云”。云教育从信息技术的应用方面打破了传统教育的垄断和固有边界。通过教育走向信息化，使教育的不同参与者——教师、学生、家长、教育部门等在云技术平台上进行教育、教学、娱乐、沟通等功能。同时可以通过视频云计算的应用对学校特色教育课程进行直播和录播，并将信息储存至流存储服务器上，便于长时间和多渠道享受教育成果。 云物联 物联网是新一代信息技术浪潮的生力军。物联网通过智能感知、识别技术与普适计算广泛应用于互联网各方面。物联网作为互联网的业务和应用，随着其深入的发展和流量的增加，对数据储存和计算量的要求将带来对云计算的需求增加。并且在物联网的高级阶段，必将需要虚拟云计算技术的进一步应用。[21] 云社交 云社交是一种虚拟社交应用。它以资源分享作为主要目标，将物联网、云计算和移动互联网相结合，通过其交互作用创造新型社交方式。云社交把社会资源进行测试、分类和集成，并向有需求的用户提供相应的服务。用户流量越大，资源集成越多，云社交的价值就越大。目前云社交已经具备了初步模型。 云安全 云安全是云计算在互联网安全领域的应用。云安全融合了并行处理、网络技术、未知病毒等新兴技术，通过分布在各领域的客户端对互联网中存在异常的情况进行监测，获取最新病毒程序信息，将信息发送至服务端进行处理并推送最便捷的解决建议。通过云计算技术使整个互联网变成了终极安全卫士。[22] 云政务 云计算应用于政府部门中，为政府部门降低成本提高效率做出贡献。由于云计算具有集约、共享、高效的特点，所以其应用将为政府部门降低20%至80%的成本。所以在电子商务延伸至电子政务的背景下，各国政府部门都在着力进行电子政务改革，研究云计算普遍应用的可能性。伴随政府改革的进行，政府部门也开始从自建平台到购买电信运营商的服务，这将为促进云计算的进一步发展并为电信运营商带来商机。 云存储 云存储是云计算的一个新的发展浪潮。云存储不是某一个具体的存储设备，而是互联网中大量的存储设备通过应用软件共同作用协同发展，进而带来的数据访问服务。云计算系统要运算和处理海量数据，为支持云计算系统需要配置大量的存储设备，这样云技术系统就自动转化为云存储系统。故而，云存储是在云计算的概念的延伸。 ②. YARN: Yet Another Resource Negotiator 资源管理调度系统 2.hadoop的第一个问题：怎样解决海量数据的存储？ 大数据服务器图示解析示意图： 解析：数据较多时，一台机器存储不下来，那么我们采用分布式存储方法，采用多台服务器存储。一份数据存储多份，这样数据的安全性得以保证。 HDFS架构 主从结构 主节点， namenode 从节点，有很多个: datanode namenode负责： 接收用户操作请求 维护文件系统的目录结构 管理文件与block之间关系，block与datanode之间关系 datanode负责： 存储文件 文件被分成block存储在磁盘上 为保证数据安全，文件会有多个副本 一个简单的分布式架构设计思想： Client客户端上传文件需要存储在云端，那么现在我需要存储在那台服务器上呢？首先我们设计了一个目录管理节点，这个节点管理下面所有的服务