大数据剖析人才知识结构.ppt

大数据分析人才知识结构  大数据分析人才 目前·具备数据分析能力的人才相当缺乏 麦肯锡预估·全美国需要14~19万名 具有分析专业的工作者·而具备数据 解读能力的经理人的人力缺口则有将 近150万 EMC公布全球数据科学调查报告·显 示数据爆炸性成长·储存与分析的技 术与工具因应而生,但分析人才培育108 速度却没赶上·5年内恐有人才荒 EMC表示·这次数据科学界( Data Science Community)研究·调查 范围涵盖美国丶英国丶法国丶德国丶印度及中国大陆·是规模最大的 次 以上的调查结果反映出全球各地企业需要适切的大数据人 才·以从亘量数据与数据分析发挥效益  大数据分析人才 根据 Information Week在「大数ax7解 据人才争夺战」趋势报告指出·企 业对于数据科学人才需求日益激增 并创造出新的工作职称:数据科 热辱资料分析工具操作 学家( Data scientist) 数据科学家不再局限于理工背景,国 际知名人力公司立可人事( Recruit Express表示·要能完全发挥大数据 Math and 的价值·需拥有不同专业知识与技能 的人才·更能洞悉资料背后的奥义 knowledge  大数据分析人才应具备之技能 Swami Chandrasekaran IBM首席架構師 1. Fundamentals(基础相尖 2. Statistics(统计相 ramming(编程相尖) 4. Machine Learning 5. Text Mining/ Natural Language Processing 自然语言处理相 6. Data Visualization 数据可视化相 8. Data Ingest (数据撷取相尖) (数据转换相矢) 10. Toolbox(工具类相关)  大数据分析人才应具备之技能 成败的核心 找不到人:需跨领域 大數據分析 與應用 Data Mining 大數據儲存與處理 NoSQL: Hbase, Hive 大數據平臺與管理 Hadoop: Map/Reduce  1.基础相矣 旨在培养正规化、专业化、科学化 2.统计相关 3.编程相矢 数据分析人才队伍 4.机器学习相 5.文字探勘/ 自然语言处理相关 6.数据可视化相尖 7.大数据相尖 CDA Level I&Ⅱ&Ⅲ大數據分析 4.56,108数据撷取相尖 與應用 9.数据转换相矣 10.工具类相 CDA Level il&Ⅲ 大數據儲存與處理 89,10 CDA Level&Ⅲ 大數據平臺與管理 345,710  CDA体系设计 大数据分析师 概率论,统计字理论篇础统计学、率论和数理统计、多元统计分统计字概率论和数据统计,数挖质、ANA统计字,概率论和数理统计,多元统计 析、时可序列、数挖(DM 耳础,Lnu基础 分析、时闻序列数据挖(DM)和 简业蓄能(BI) ②要:Exce 要: Excel、SQ、 SPSS/SAS 软件可:5pSA5等 可遇:R. Python.MATu Mapreduce, Habse, Mahout 可选: R Python, MATLAB、 Hadoop (表示或”) 可选: HAdoop. keEper.pgHe等 宇数据的基本预处理方法,除握基本数据处理及分析方法以外,还练握hadp集群建,HDFS 除宇握数据分析和挖握的方法之外还 数要分析法(描述性统计分析,应攀握级数据分析及数据挖方法(多haop+ mahout的大数据使用场最,熟练需了解计算机编程技术,机器学习,软 推断性统计分析,线性国归分|元线性国归法,生存分析法,神经网络,运用 mahout!的成孰算法进行聚类,分类和件开发技术,大数据分析簧构以及业务 分析方|析,L00tk回归,方分析决第树,判别分析法,主成分分析法,因主推荐等特定场景的大数据分析,具体算分析方法,包括战分析,产品管理 );市场得研(数服告),子分析法,典型相关分析,美分析法,法包括朴霸贝叶斯算法 ( New Bayes 法求 有户关系管理,项日管理,运管理等 关联规则,支持向量机,ba90ng,logc算法sGD) Kmeans算法 canopy i造白典体行业的业务分析方法 算法、 ALS-WR并行算法、基于物品的推荐 算法和基于用户的推神算法等 熟知业务,能够很据可塑业务可以将业务目标转化为数分析目标;熟献了解jva程序设计的基本思想,熟练利用带领数团队,能够将企业的数据费 指标取公司数据库中相关数|悉常用算法和数据结构,熟悉企业数据库