CDA大数据分析师学习心得.pdfVIP

人大经济论坛 CDA大数据分析师培训学习心得 CDA 大数据分析师的课程让我对“大数据”这个概念有了更为具体的认识。以往对于 “大数据”，我的认知还是仅仅停留在概念层面上。 而上完课后， 尤其是了解如何搭建 Hadoop 平台以及其生态环境之后， “大数据”这个概念终于落地了。 Hadoop 的核心框架是 Hdfs 和 MapReduce。Hdfs 是分布式文件系统， 其主要作用是存储 及读取数据。而 MapReduce 实际上是 Hadoop 工作的核心思想。任何想要在 Hadoop 集群上 完成的算法都必须基于 MapReduce 的思想实现。因此，我认为想要学习 Hadoop ，其核心在 于充分理解 MapReduce 。而同时， MapReduce 的理解也是理解大数据分析思想的关键，即 如何将庞大的数据分解成可以进行操作的小数据集。 人大经济论坛 Hadoop 大数据分析师课程大致可分为如下几个部分 ( 阐述并不是按照时