中小型企业大数据体系建设的核心技术选型 .docVIP

中小型企业大数据体系建设的核心技术选型 本文分享的主题是中小型企业基于大数据技术的项目实践，笔者将从大数据技术栈开始说起，并在后文分享自己在工程实践中的一些具体经验。 　　一、大数据技术初探 　　首先我们从大数据技术的干货介绍开始，这部分内容对于有基础的童鞋来说，可以快速略过。 　　准确来说 大数据 这个概念并不存在，其就是在曾经我们提到过的 海量数据 的基础上，数据量级再一次增大，导致传统的处理手段无法进行及时、有效地处理。 　　为了表征与传统数据处理手段的区别，表明技术的先进性，提出来了一个新词大数据。 　　作为 DT 时代的代表技术之一，大数据紧紧地与人工智能，云计算技术相结合，三者相辅相成，共同促进产业变革，技术进步。无论在学术界还是工业界，这 三驾马车 无疑都是最热门和前沿的。 　　作为近几年火起来的一项技术，大数据技术的主要应用场景是日志收集与处理、数据分析、机器学习模型的训练等。基于这些，我们可以实现商业智能(BI)、科学决策等。 　　所谓的大数据技术栈，无外乎 Hadoop 生态系统，如下图所示： 　　那么，作为一个大数据工程师，是否有必要掌握上述全部内容呢?答案是否定的! 　　大数据技术主要表现在： 　　大规模数据存储 　　弹性计算 　　集群资