信息技术基础 课件 模块6 大数据与人工智能概述-2.pptx

模块6大数据与人工智能概述

任务清单

任务6.1认识人工智能

任务6.2认识大数据

任务6.1认识大数据

学习目标

知识目标：

掌握大数据基本概念

掌握大数据的特征

能力目标：

能准确描述大数据的关键技术

能举例描述大数据的应用

素养目标：

培养文明上网的意识

培养团队合作意识

情境导入

老师：同学们，大家在使用手机或电脑上网时，是不是都有过应用程序按照我们的关注点自动推送相关内容的体验？

学生：是的，老师。但这是怎么做到的呢？

老师：这种现象其实就是大数据技术的一个具体应用。如今大数据技术已广泛的应用于各行各业，不仅是专业领域，日常生活中大数据的应用也随处可见。

任务实现

1、了解大数据的概念

百度百科对大数据的定义：大数据(BigData)指无法在可承受的时间范围内用常规软件工具进行捕提、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信急资产。

任务实现

维基百科对大数据的定义：又称为巨量资料，指的是传统数据处理应用软件不足以处理的大或复杂的数据集。

麦肯锡全球研究所对大数据的定义：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

任务实现

2、了解大数据的特征

⼤数据具有大体量（Volume）、多种类（Variety）、高速度（Velocity)、低价值密度（Value）四大特征，简称“4V”特征。

（1）大体量(Volume)。

（2）多种类(Variety)。

（3）高速度(Velocity)。

（4）低价值密度(Value)。

任务实现

3、了解大数据的关键技术

所谓大数据技术，就是从各种各样类型的数据中，快速获得有价值信息的技术。大数据领域已经涌现出了大量的新技术，主要包括：大数据采集与预处理、大数据存储与管理、大数据处理与分析、数据安全和隐私保护等。

任务实现

（1）大数据采集与预处理。数据采集与预处理是利用ETL工具将分布在异构数据源中的数据，如关系数据、平面数据文件等，抽取到临时中间层后进行清洗、转换、集成，最后加载到数据仓库或数据集市中，称为联机分析处理、数据挖掘的基础；也可以利用日志采集工具把实时采集的数据作为流计算系统的输入，进行实时处理分析。

任务实现

（2）大数据存储与管理。利用分布式文件系统、数据仓库、关系数据库、NoSQL数据库、云数据库等，实现对结构化、半结构化和非结构化海量数据的存储和管理。

（3）大数据处理与分析。利用分布式并行编程模型和计算框架，结合机器学习和数据挖掘算法，实现对海量数据的处理和分析，对分析结果进行可视化呈现，帮助人们更好地理解数据、分析数据。

（4）数据安全和隐私保护。在从大数据中挖掘潜在的巨大商业价值和学术价值的同时，构建数据安全体系和隐私数据保护体系，有效保护数据安全和个人隐私。

任务实现

大数据在制造、金融、电信、交通、安全、医疗、能源及个人生活等领域都有着广泛的应用。

任务实现

1、大数据与人工智能的关系

人工智能的建立是以大量的数据作为支撑，特别是机器学习尤为突出。例如：机器学习图像识别应用程序通过查看数以万计的飞机图像来了解飞机的构成，以便将来能够识别出它们。人工智能应用的数据越多，其获得的结果就越准确。大数据为人工智能提供了海量的数据，使人工智能技术有了长足的发展。同时大数据技术还为人工智能提供了强大的存储能力和计算能力。

任务实现

大数据主要目的是通过数据的对比分析来掌握和推演出更优的方案。人工智能则是为了辅助和代替人们更快、更好地完成某些任务或进行某些决定，它能通过机器学习的方法，掌握我们日常进行的重复性的事项，并以其计算机的处理优势来高效的达成目标。人工智能是一种计算形式，它允许计算机执行认知功能。而大数据是一种传统计算，它不会根据结果采取行动，只是寻找结果。

任务实现

2、大数据与云计算、物联网的关系

大数据、云计算和物联网之间既有区别又有联系。从整体上看，大数据、云计算和物联网这三者相辅相成。大数据根植于云计算，大数据分析的很多技术都来自云计算，云计算的分布式数据存储和管理系统（包括分布式文件系统和分布式数据库系统）提供了海量数据的存储和管理能力，分布式并行处理框架MapReduce提供了海量数据分析能力。没有这些云计算技术作为支撑，大数据分析就无从谈起。反之，大数据为云计算提供了“用武之地”，没有大数据这个“练兵场”，云计算技术再先进，也不能发挥它的应用价值。物联网的传感器源源不断产生的大量数据，构成了大数据的重要数据来源，没有物联网的飞速发展，就不会带来数据产生方式的变革，即由人工产生阶段转向自动产生阶段。同时，物联网需要借助云计算和大数据技