一文看懂大数据的技术—光环大数据培训.pdfVIP

一文看懂大数据的技术生态圈 大数据本身是个很宽泛的概念，Hadoop 生态圈（或者泛生态圈）基本上都是 为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需 要的各种工具。锅碗瓢盆，各有各的用处，互相之间又有重合。你可以用汤锅 直接当碗吃饭喝汤，你可以用小刀或者刨子去皮。但是每个工具有自己的特 性，虽然奇怪的组合也能工作，但是未必是最佳选择。 大数据，首先你要能存的下大数据。 传统的文件系统是单机的，不能横跨不同的机器。HDFS （Hadoop Distributed FileSystem）的设计本质上是为了大量的数据能横跨成百上千台机器，但是你 看到的是一个文件系统而不是很多文件系统。比如你说我要获取/hdfs/tmp/file1 的数据，你引用的是一个文件路径，但是实际的数据存放在很多不同的机器 上。你作为用户，不需要知道这些，就好比在单机上你不关心文件分散在什么 磁道什么扇区一样。HDFS 为你管理这些数据。 存的下数据之后，你就开始考虑怎么处理数据。 想拿高薪，选对行业很重要！学大数据开发，工资高，前景好，发展空间大！ 虽然HDFS 可以为你整体管理不同机器上的数据，但是这些数据太大了。一台 机器读取成T 上P 的数据（很大的数据哦，比如整个东京热有史以来所有高清 电影的大小甚