大数据技术导论.pptxVIP

大数据技术导论

汇报人：AA

2024-01-26

CATALOGUE

目录

大数据概述

大数据技术基础

大数据平台与工具

大数据采集与预处理

大数据存储与管理

大数据分析与应用

大数据挑战与未来趋势

CHAPTER

01

大数据概述

定义

大数据是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。

特点

大数据具有数据量大、数据种类多、处理速度快、价值密度低四个基本特征。

萌芽期

20世纪90年代到2008年，大数据概念开始萌芽，主要关注数据存储和计算能力的提升。

发展期

2009年到2012年，大数据概念逐渐受到关注，出现了一批大数据创业公司，大数据技术开始应用于各个领域。

成熟期

2013年至今，大数据技术逐渐成熟，形成了完整的大数据技术体系，包括数据采集、存储、处理、分析和应用等方面。

智慧城市

大数据在智慧城市中的应用主要包括智能交通、智能安防、智能环保等方面。

物流领域

大数据在物流领域的应用主要包括物流网络优化、智能配送、供应链协同等方面。

教育领域

大数据在教育领域的应用主要包括个性化教学、教育评估、教育资源优化等方面。

金融领域

大数据在金融领域的应用主要包括风险管理、客户分析、精准营销等方面。

医疗领域

大数据在医疗领域的应用主要包括疾病预测、个性化治疗、医疗资源优化等方面。

CHAPTER

02

大数据技术基础

分布式计算是一种计算方法，和集中式计算是相对的。随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。因此，将计算分成许多小的部分，分配给多台计算机进行处理，这样可以节约整体计算时间，大大提高计算效率。

分布式计算采用“分而治之”的策略，将大规模的计算任务拆分成若干个可以并行处理的小任务，然后分发到网络中的多个节点上进行计算。最终，这些计算结果会被汇总并整合，得出最终的计算结果。

目前比较流行的分布式计算框架有Hadoop、Spark等。这些框架提供了分布式存储和分布式计算的能力，可以处理大规模的数据集，并且具有良好的扩展性和容错性。

分布式计算概述

分布式计算原理

分布式计算框架

分布式存储概述：分布式存储是一种数据存储技术，它将数据分散存储在多个独立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。

分布式文件系统：分布式文件系统是指文件系统管理的物理存储资源不一定直接连接在本地节点上，而是通过计算机网络与节点相连。分布式文件系统的设计基于客户机/服务器模式。一个典型的网络可能包括多个供多用户访问的服务器。另外，对等特性允许一些系统扮演客户机和服务器的双重角色。

分布式数据库：分布式数据库系统是在集中式数据库系统成熟技术的基础上发展起来的，但不是简单地把集中式数据库分散地实现，它具有自己的性质和特征。集中式数据库系统的许多概念和技术，如数据独立性、数据共享和减少冗余度、并发控制、完整性、安全性和恢复等在分布式数据库系统中都有了不同的、更加丰富的内容。

数据清洗：数据清洗是对数据进行重新审查和校验的过程，目的在于删除重复信息、纠正存在的错误，并提供数据一致性。数据清洗从名字上也看的出就是把“脏”的“洗掉”，指对数据进行处理以解决数据质量问题的过程。

数据挖掘：数据挖掘是指从大量的数据中通过算法搜索隐藏于其中信息的过程。数据挖掘通常与计算机科学有关，并通过统计、在线分析处理、情报检索、机器学习、专家系统（依靠过去的经验法则）和模式识别等诸多方法来实现上述目标。

数据可视化：数据可视化是关于数据视觉表现形式的科学技术研究。其中，这种数据的视觉表现形式被定义为，一种以某种概要形式抽提出来的信息，包括相应信息单位的各种属性和变量。它是一个处于不断演变之中的概念，其边界在不断地扩大。主要指的是技术上较为高级的技术方法，而这些技术方法允许利用图形、图像处理、计算机视觉以及用户界面，通过表达、建模以及对立体、表面、属性以及动画的显示，对数据加以可视化解释。与立体建模之类的特殊技术方法相比，数据可视化所涵盖的技术方法要广泛得多。

CHAPTER

03

大数据平台与工具

分布式存储系统（HDFS）

HadoopDistributedFileSystem（HDFS）是一个高度容错性的分布式文件系统，设计用来存储和处理大规模数据集，提供高吞吐量的数据访问。

资源管理系统（YARN）

Y