计算机学习必备知识：【技术分享】如何区分大数据下的三大利器：数据科学家,数据工程师与数据分析师.docx

【技术分享】如何区分大数据下的三大利器：数据科学家，数据工程师与数据分析师与其他一些相关工程职位一样，数据科学家的影响力与互联网同进同退。数据工程师和数据分析师与数据科学家携手共同完成这幅“大数据时代”巨作。他们共同努力拟定数据平台要求，基础和高级算法，提供数据分析和展示所需的可视化工具，并将价值创造以易于理解，富于见解的方式反馈给其他部门。　　三者之间的定义又是如何界定的呢?　　数据科学家是什么样一个存在呢?　　通常情况下，数据科学家有数学或物理方面的高等学位。有博士学位的情况并不少见，硕士学位仅是一个前提条件。数据科学家精通统计建模以及如何构建与定制高级数学算法。这既在他们专业范围内，也是他们所擅长的地方。我听到过有人这样形容一个数据科学家“软件工程技能牛过多数人的酷炫统计学家”。但是，当你问这些数据科学家怎么会从事这个职业时，途径是多种多样的。这是一个相对较新的职位，因而我们也无法根据时间历史来追踪一个数据科学家专业技能是如何进步的。数据科学家和数据工程师的定义有点相互重叠。　　除了研究先进算法，数据科学家对AB测试亲力亲为并且拥有博学的多变量测试和实验设计知识。一个专业能力非常强的数据科学家能在模型建成后对其进行改进和改制，而能力鹤立鸡群的数据科学家则能根据你的商业问题定制合适模型。　　我结合加工的说：所谓数据科学家，是指运用统计分析、机器学习、分布式处理等技术，从大量数据中提取出对业务有意义的信息，以易懂的形式传达给决策者，并创造出新的数据运用服务的人才。　数据工程师如何定义呢?　　数据工程师一般被定义成“深刻理解统计学科的明星软件工程师”。如果你正为一个商业问题烦恼，那么你需要一个数据工程师。这些伙计就是那些能提供可建模数据所需平台的人。他们的核心价值在于他们借由清晰数据创建数据管道的能力。充分了解文件系统，分布式计算与数据库是成为一位优秀数据工程师的必要技能。　　数据工程师对演算法有相当好的理解。因此，数据工程师理应能运行基本数据模型。商业需求的高端化催生了演算高度复杂化的需求。很多时候，这些需求超过了数据工程师掌握知识范围，这个时候你就需要打电话寻求数据科学家的帮助。　　数据分析师如何理解呢?　　数据分析师能洞悉一个方程式的商业意义。他们知道如何提出正确的问题，非常善于数据分析，数据可视化和数据呈现。不管是给另一个数据分析师还是C级执行做演讲，数据分析师都是数据提取，模式识别以及从大量数据中洞察问题方面的能手。　　如果你或者你的公司正考虑顺应这股大数据浪潮的发展，你应该从明确你想利用大数据解决所面临的商业问题处下手。接着找出你真正的需求：是数据采集，检索，仓储还是数据分析?然后编写相应的职位描述并做好准备，为了在这场大数据游戏中脱颖而出，你可能需要雇佣不止一个人。　从事这三者都要具备哪些技能呢?　　数据科学家所需的技能如下：　　计算机科学　　一般来说，数据科学家大多要求具备编程、计算机科学相关的专业背景。简单来说，就是对处理大数据所必需的Hadoop、Mahout等大规模并行处理技术与机器学习相关的技能。　　数学、统计、数据挖掘等　　除了数学、统计方面的素养之外，还需要具备使用SPSS、SAS等主流统计分析软件的技能。其中，面向统计分析的开源编程语言及其运行环境“R”最近备受瞩目。R的强项不仅在于其包含了丰富的统计分析库，而且具备将结果进行可视化的高品质图表生成功能，并可以通过简单的命令来运行。此外，它还具备称为 CRAN(The Comprehensive R ArchiveNetwork)的包扩展机制，通过导入扩展包就可以使用标准状态下所不支持的函数和数据集。　　数据可视化(Visualization)　　信息的质量很大程度上依赖于其表达方式。对数字罗列所组成的数据中所包含的意义进行分析，开发Web原型，使用外部API将图表、地图、Dashboard等其他服务统一起来，从而使分析结果可视化，这是对于数据科学家来说十分重要的技能之一。　　数据工程师需具备的技能　　数学及统计学相关的背景　　对于大多数互联网大公司来说，对于数据工程师的要求都是希望是统计学和数学背景的硕士或博士学历，只有具备一定的理论知识，才能理解模型、复用模型甚至创新模型，来解决实际问题。　　计算机编码能力　　实际开发能力和大规模的数据处理能力是作为大数据工程师的一些必备要素，因为许多数据的价值来自于挖掘的过程，你必须亲自动手才能发现金子的价值。　　举例来说，现在人们在社交网络上所产生的许多记录都是非结构化的数据，如何从这些毫无头绪的文字、语音、图像甚至视频中攫取有意义的信息就需要大数据工程师亲自挖掘。即使在某些团队中，大数据工程师的职责以商业分析为主，但也要熟悉计算机处理大数据的方式。　　对特定应用领域或行业的知识　　数据工程师这个角色很重要