大数据概论教学课件.pptxVIP

第一章.大数据时代 第一章大数据时代1.1 数据是什么？ 第一章大数据时代1.1.1 数据的定义 第一章大数据时代1.1 数据是什么数据是这样被定义的数据”这个名词最早出现在拉丁文“datum”中，它有“给定的”、“已知的”、“被给予”的含义。而“data”正式在英语中使用始于17世纪，用于描述基于事实或经验的信息。而直到20世纪，随着计算机和信息技术的发展，“data”这个词才真正被广泛使用，并成为现代信息时代中最重要的概念之一。摘自 数：数字、数值、数目、数量 据：论据、根据、凭据、证据 第一章大数据时代1.1.2 数据的产生 第一章大数据时代1.1 数据是什么数据是这样产生的我们可以用数据产生的方式来解释数据本身的概念，这些通过信息技术被有组织的、被收集的事实、数字、文字、图像、声音或视频等信息。并存储到数字化介质上的数字资源都被称为数据。 第一章大数据时代1.1.3 数据的表达 第一章大数据时代1.1 数据是什么数据是这样表达的数值型数据：由数字组成的数据类型 温度重量价格时间 第一章大数据时代1.1 数据是什么数据是这样表达的文本型数据：由字符或字符串组成的数据类型 邮件新闻短信帖子纯文本CSVMarkdownxmlJSON 第一章大数据时代1.1 数据是什么数据是这样表达的图像型数据：由像素点组成的二维数组 照片表情包地图 第一章大数据时代1.1 数据是什么数据是这样表达的音频型数据：由声音波形组成的数字信号 音乐播客/电台语音留言 第一章大数据时代1.1 数据是什么数据是这样表达的视频型数据：由一系列图像帧组成的连续图像序列 电影电视剧短视频 第一章大数据时代1.1 数据是什么数据是这样表达的元宇宙概念图（来源于 IGN 中国）人类是通过影像（视觉）、声音（听觉）、气味（嗅觉）、味道（味觉）和触感（触觉）这五感来接收世界的信息。其中视觉和听觉涉及的文字、数字、图像和声音已经被人类标准化出对应的数据表达。但是，目前的技术还无法直接存储和传递嗅觉、味觉和触觉。相信在不久的将来，借助增强现实和虚拟现实技术的发展，其他三种感官都可能成为数据被保存和传递。 第一章大数据时代1.2 大数据是什么？ 第一章大数据时代1.2.1 大数据的产生历史 第一章大数据时代1.2 大数据是什么大数据的产生历史“全球村”“信息爆炸”1964：《理解媒介：人类扩展的本质》 第一章大数据时代1.2 大数据是什么大数据的产生历史1998：《大数据和下阶段的基础架构压力》 应对数据的爆炸式增长的技术思考 第一章大数据时代1.2 大数据是什么大数据的产生历史2003：The Google file system2008：MapReduce:simplified data processing on large clusters 2008：Bigtable: A Distributed Storage System for Structured DataHadoop的分布式文件系统Hadoop的分布式计算模型Hadoop的分布式存储结构 第一章大数据时代1.2 大数据是什么大数据的产生历史2012：《大数据时代》 第一章大数据时代1.2.2 大数据的特性 第一章大数据时代1.2 大数据是什么大数据的特性2001年，《3D数据管理：掌握杂乱、变化和不确定性的大数据》首次提出了大数据的“3V”特征：数据量（Volume）、数据速度（Velocity）数据多样性（Variety） 第一章大数据时代1.2 大数据是什么大数据的特性2012：《Dealing With Big Data: The 5Vs》 第一章大数据时代1.2.3 大数据的应用场景 第一章大数据时代1.2 大数据是什么大数据的应用场景商业领域：京东物流 第一章大数据时代1.2 大数据是什么大数据的应用场景金融领域：支付宝风控 第一章大数据时代1.2 大数据是什么大数据的应用场景医疗领域：微医互联网 第一章大数据时代1.2 大数据是什么大数据的应用场景教育领域：作业帮 第一章大数据时代1.2 大数据是什么大数据的应用场景政府领域：中国电子口岸 第一章大数据时代1.2 大数据是什么大数据的应用场景制造领域：比亚迪 第一章大数据时代1.2.4 大数据面临的挑战 第一章大数据时代1.2 大数据是什么大数据面临的挑战1. 数据集成的挑战广泛的异构性数据质量结构化非结构化半结构化 第一章大数据时代1.2 大数据是什么大数据面临的挑战2. 数据分析的挑战数据处理的实时性动态变化环境中索引的设计先验知识的缺乏 第一章大数据时代1.2 大数据是什么大数据面临的挑战3. 数据隐私与安全的挑战隐形的数据暴露数据公开与隐私保护、数据安全的矛盾数据动态性 第一章大数据时代1.2 大数据是什么大数据面临的