大学计算机基础课件 第八章 大数据与人工智能.pptxVIP

第8章大数据与人工智能

目录大数据概述大数据储存与管理大数据处理与分析可视化与Python实战大数据的应用0405030201人工智能通识06

01大数据概述

大数据发展历程1大数据概述大数据的发展经历了技术萌芽、奠基、突破与生态构建、成熟应用与技术融合四个阶段。从19世纪的打孔卡到21世纪的云原生技术，大数据技术不断演进。关键里程碑在大数据发展历程中，谷歌的GFS、MapReduce和BigTable等技术奠定了大数据技术的基础。ApacheSpark的出现进一步提升了数据处理速度，推动了大数据技术的广泛应用。

数据类型与来源两分法01按结构划分数据类型数据按结构可分为结构化数据、半结构化数据和非结构化数据。结构化数据如数据库表格，半结构化数据如JSON格式，非结构化数据如图片和视频。1大数据概述02按来源划分数据类型数据按来源可分为机器生成数据、用户生成数据和业务过程数据。机器生成数据如传感器数据，用户生成数据如社交媒体帖子，业务过程数据如企业运营记录。

1大数据概述大数据的特点特征描述典型场景示例体量数据规模从TB级扩大到EB级（1EB=10亿GB），全球数据总量每两年翻一番微信每天产生约450亿条消息速度数据生成与处理需接近实时，如金融交易系统要求延迟低于毫秒级高频股票交易数据流多样性结构化数据（如数据表）占比不足20%，80%的数据