大数据技术全解基础设计开发与实践.docx

简介“大数据”一词已成为当下最热门的词汇之一。人们热切期待大数据能给工作、学习和生活等方面带来前所未有的变化，而大数据的采集、存储、计算、分析挖掘、呈现和安全等技术正是实现这一变化的关键。《大数据技术全解：基础、设计、开发与实践》的重点不在于对大数据技术的原理性介绍，而是从实战角度出发，系统地阐述如何基于Hadoop开源软件为客户设计、安装和开发一个大数据系统。《大数据技术全解：基础、设 计、开发与实践》还着重分享了具体实践中的一些案例，不仅对于从事大数据系统开发的IT技术人员具有珍贵的参考价值，而且对准备实施大数据系统项目的企业 级客户也具有指导作用。　　《大数据技术全解：基础、设计、开发与实践》可以作为计算机软件专业的本科生和研究生的大数据技术教材，也可作为大数据技术开发培训、大数据系统咨询规划培训的教材，更是大数据领域内一线的需求分析人员、系统分析人员、高级开发人员和开发管理人员的必备参考书。序言媒体评论这次是我第一次为别人的书写序。序要求是非常有高度的、简练的文字。一方面，本人向来文学水平一般，无法写出很漂亮的文字；另一方面，一直觉得自己在学术 方面的造诣太浅，为别人的书写序，有点班门弄斧的感觉。自己同时也怕序没有写好，反而给书带来了负面的影响。这次是因为受了感动，才冒着各种压力，绞尽脑汁来写这个序。作者是一个我敬佩的人，敢于做非常具有挑战性的工作。写书本来不是一件容易的事情，写一本关于最新的技术的书，更加不容易。除了作者自身需要有很高的技术造诣，对书中相关技术的理解足够深刻外，还需要作者具备很强的表达能力和说服能力，把最新技术的奥秘清晰明了地展现给读者，让读者能够非常享受地从书中了 解并明白技术及其内涵。同时，作者还要在内容和描述上非常有说服力，以各种论证、对比、案例等形式来让读者接受新的技术。通常，关于最新技术的对比和案例 等都特别贫乏，作者必须花大量的时间来自行设计和调研才能获得这些信息。本书的作者在写书过程中，每次都让我感到他非常坚定的信念，我深信他会坚持完成这个书稿。同时，他的书稿通俗易懂并且有足够的技术深度。作者漂亮地完成如此具有挑战性的工作，赢得了他应该有的尊重，这让我非常感动。本书的内容展现了大数据领域中一些最新的技术，主要集中于Hadoop 生态中的HDFS（分布式文件系统）、MapReduce分布式计算框架以及HBase分布式数据库三大核心部件的相关技术和实现。作者分别从基础、技术、设计、安装、开发、实践等六个方面来展开这些技术，兼顾了技术原理、具体操作以及设计开发三个层面。不同背景、不同层次和不同目的的读者可以从这三个层面的六个方面来有选择地进行阅读。作者凭借其技术造诣，对内容的设计和编排以及技术的深度等把握得很好。从技术层面，大数据是当前应对大规模基础设施以及大规模数字化后所产生的巨量数据的最为有效的技术之一。大数据提供了高效和高性能的数据采集、处理、存储、分析和挖掘的技术，使我们可以从容应对当前的巨量数据。从科学层面，大数据是当前数据科学的一个具体的技术实现，是当前科学发现中基于实验的科学发现方法、基于理论的科学发现方法和基于计算的科学发现方法以外的一种创新的科学发现方法。其主要思想是凭借巨量的数据，找出部分现象 的有价值的信息，如各种现象之间的关联等。近年的一些实际案例显示，大数据在部分领域的应用中能够有效地从巨量的、低价值密度的数据中分析挖掘出有价值的信息。大数据技术的流行度和热度，相信读者都已经感受到了。此书可以协助读者进一步了解大数据领域中部分最新的技术，帮助读者学习和掌握这些技术的精髓，推动大数据在更加广泛的范围内的应用。赵淦森华南师范大学计算机学院 博士生导师大数据无疑是当前IT 产业界的热点。由于它对综合技术能力要求较高，各位初学者该如何“拥抱大数据”，还没有人能给出答案。本书可谓是“久旱中的甘霖”，为大家打开了大数据这 一领域的大门，从大数据的基础技术，到系统的设计理论，无不进行了全面的概括和总结；本书绝不类似于当前一些大数据书籍的浅尝辄止，作者倾尽笔墨对大数据 的系统设计、环境安装及开发实践进行了论述，使读者可以“登堂入室”，快速投入实战，把大数据技术从概念转化为实际的研发能力。巨龙兄在IT 产业界已经工作了20 余载，长期从事IT 企业高层技术管理工作，对咨询规划、技术研发、人才培养等各环节都非常擅长。书中随处可见他对大数据技术的深入理解，以及多年来孜孜不倦的经验总结，各处 “杀马特”的概括和点评闪烁着智慧的光芒，使人深受启发。“集大成者得智慧”，看完本书后，仍让人回味犹长。本书可谓IT 界“老少咸宜”的一本好书，因此向各位读者隆重推荐本书，期望它能够对您的学业或工作带来更进一步的帮助。孙傲冰国云科技技术副总裁目录第1 篇 基础篇第1章　大数据的三把利剑 　1.1 豌豆杂交