大数据基础入门教程之数据科学特点及大数据学习误区.pdfVIP

中国IT职业教育领先品牌 精品课程 全程面授 大数据基础入门教程之数据科学特点与大数据学习误区 大数据将为社会带来三方面的变革 ：思维变革、商业变革、管理变革 ，各行 各业将大数据纳入企业日常配置已成必然之势。目前我国大数据人才只有46万 ， 未来 3到 5年人才缺口达 150万之多。所以学习大数据的人将会越来越多 ，那 我今天文章的主题就来教大家一个快速入门大数据学习的方法 ，我主要讲的是关 于数据科学特点与大数据学习误区方面的问题 ，共分为以下几点。 （1 ）大数据学习要业务驱动 ，不要技术驱动 ：数据科学的核心能力是解决 问题。大数据的核心目标是数据驱动的智能化 ，要解决具体的问题 ，不管是科学 研究问题 ，还是商业决策问题 ，抑或是政府管理问题。所以学习之前要明确问题 ， 理解问题 ，所谓问题导向、目标导向 ，这个明确之后再研究和选择合适的技术加 以应用 ，这样才有针对性 ，言必 hadoop,spark的大数据分析是不严谨的。不同 的业务领域需要不同方向理论、技术和工具的支持。如文本、网页要自然语言建 模 ，随时间变化数据流需要序列建模 ，图像音频和视频多是时空混合建模 ；大数 据处理如采集需要爬虫、倒入导出和预处理等支持 ，存储需要分布式云存储、云 计算资源管理等支持 ，计算需要分类、预测、描述等模型支持 ，应用需要可视化、 知识库、决策评价等支持。所以是业务决定技术 ，而不是根据技术来考虑业务 ， 这是大数据学习要避免的第一个误区。 千锋教育 中国IT职业教育领先品牌 精品课程 全程面授 （2 ）大数据学习要善用开源 ，不要重复造轮子 ：数据科学的技术基因在于 开源。IT 前沿领域的开源化已成不可逆转的趋势 ，Android开源让智能手机平 民化 ，让我们跨入了移动互联网时代 ，智能硬件开源将带领跨入物联网时代 ，以 Hadoop和 Spark为代表的大数据开源生态加速了去 IOE （IBM、ORACLE、 EMC ）进程 ，倒逼传统 IT 巨头拥抱开源 ，谷歌和 OpenAI 联盟的深度学习开源 （以Tensorflow,Torch,Caffe等为代表 ）正在加速人工智能技术的发展。数据 科学的标配语言 R和 Python更是因开源而生 ，因开源而繁荣 ，诺基亚因没把握 开源大势而衰落。为什么要开源 ，这得益于 IT 发展的工业化和构件化 ，各大领 域的基础技术栈和工具库已经很成熟 ，下一阶段就是怎么快速组合、快速搭积木、 快速产出的问题 ，不管是 linux,anroid还是 tensorflow ，其基础构件库基本就 是利用已有开源库 ，结合新的技术方法实现 ，组合构建而成 ，很少在重复造轮子。 另外 ，开源这种众包开发模式 ，是一种集体智慧编程的体现 ，一个公司无法积聚 全球工程师的开发智力 ，而一个 GitHub上的明星开源项目可以 ，所以要善用开 源和集体智慧编程 ，而不要重复造轮子 ，这是大数据学习要避免的第二个误区。 千锋教育 中国IT职业教育领先品牌 精品课程 全程面授 （3 ）大数据学习要以点带面 ，不贪大求全 ：数据科学要把握好碎片化与系 统性。根据前文的大数据技术体系分析 ，我们可以看到大数据技术的深度和广度 都是传统信息技术难以比拟的。我们的精力很有限 ，短时间内很难掌握多个领域 的大数据理论和技术 ，数据科学要把握好碎片化和系统性的关系。何为碎片化 ， 这个碎片化包括业务层面和技术层面 ，大数据不只是谷歌 ，亚马逊 ，BAT 等互 联网企业 ，每一个行业、企业里面都有它去关注数据的痕迹 ：一条生产线上的实 时传感器数据 ，车辆身上的传感数据 ，高铁设备的运行状态数据 ，交通部门的监