物流大数据分析与挖掘高职全套教学课件.pptx

全套PPT课件第1章 物流大数据关键技术与运用 课件.pptx第2章 物流大数据与人工智能 课件.pptx第3章 物流大数据与云计算 课件.pptx第4章 物流大数据与区块链 课件.pptx第5章 物流大数据与数字孪生 课件.pptx第6章 物流大数据与复杂网络 课件.pptx第7章 物流大数据爬取 课件.pptx第8章 物流大数据可视化 课件.pptx第9章 物流大数据文本挖掘 课件.pptx第一章 物流大数据关键技术与应用 物流大数据分析与挖掘本章学习目的学习目的通过本章学习，掌握大数据技术的概念、特点、关键技术及价值，重点掌握大数据采集、大数据存储与管理、大数据计算模式与系统、大数据分析与挖掘等关键大数据技术要点，理解大数据在物流与供应链中的具体应用。C目录ontents1.1 大数据技术的概念与特点AA011.2 大数据的关键技术及价值A1.3 大数据在物流与供应链中的应用0302Part.1.1大数据技术的概念与特点1.1 大数据技术的概念与特点 21世纪是信息与技术的时代，随之发展的还有大数据及其相关技术。由计算机、信息技术以及通信等各行各业所产生的数据呈指数爆炸型增长。我国大数据技术的快速发展，及其与人工智能、云计算、区块链、数字孪生等新技术的交汇融合，持续加速技术创新。同时，伴随新型智慧城市和数字城市建设热潮，大数据产业持续增长。1.1 大数据技术的概念与特点此外，大数据也可以定义为各种来源的大量非结构化、半结构化和结构化数据。02维基百科上给出的大数据的概念为：大数据又称巨量资料，指的是传统数据处理应用软件不足以处理的、复杂的数据集。0103智库百科的定义为：大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。1.1 大数据技术的概念与特点010203高速（velocity）海量（volume）多样（variety）IBM提出大数据的“5V”特点：0405低价值密度（value）真实性（veracity）1.1 大数据技术的概念与特点表1-1 大数据5V特点归纳如下：表1-1 大数据技术的“5V”特点特点名称特点描述海量数据量大，包括采集、存储和计算的量都非常大。高速数据增长速度快，处理速度也快，时效性要求高。多样数据的来源、种类和结构多样化。低价值密度数据的价值密度相对较低。真实性数据的准确性和可信赖度要求高，即数据的质量。1.1 大数据技术的概念与特点 大数据技术的战略意义不在于掌握庞大的数据信息，而在于对这些含有意义的数据进行专业化处理。案例 中储智运Part.1.2大数据的关键技术及价值1.2 大数据的关键技术及价值大数据技术涉及大数据采集、大数据存储与管理、大数据计算模式与系统和大数据分析与挖掘等方面。以下对这四个方面的内容进行详细介绍。1.2 大数据的关键技术及价值1.2.1 大数据采集大数据采集是指利用多个数据库或存储系统来接收发自客户端（Web、App或者传感器形式等）的数据。1.2 大数据的关键技术及价值1.大数据采集方法 目前常用的数据采集方法有数据库采集、系统日志采集、网络数据采集传感器收取、感知设备数据采集等。2.大数据采集的特点数据采集一般来说有三个特点：一是数据采集以自动化手段为主，尽量摆脱人工录入的方式；二是采集内容以全量采集为主，摆脱对数据进行采样的方式；三是采集方式多样化、内容丰富化，摆脱以往只采集基本数据的方式。1.2 大数据的关键技术及价值1.2 大数据的关键技术及价值1.2.2 大数据存储与管理数据存储作为大数据的核心环节之一，可以理解为方便对既定数据内容进行归档、整理和共享的过程。1.2 大数据的关键技术及价值1.数据存储和管理的价值数据存储和管理如今不止被定义为接收、存储、组织和维护组织创建的数据，更多时候它还意味着更多内容，包括但不限于：①对数据进行分类；②聚合、收集和解析数据的元数据；③保护数据和元数据不受自然和人为中断的影响；④在内部部署和地理上移动数据；⑤在进行一次或多次移动后，保持用户和应用程序对数据的透明访问；1.2 大数据的关键技术及价值1.数据存储和管理的价值⑥提供用户可定义的策略，这些策略可自动移动、复制和删除数据；⑦部署人工智能和机器学习以优化和自动化大多数据管理功能；⑧搜索数据并提供可行的信息和见解；⑨使数据符合个人识别信息法律和法规；⑩将数据管理扩展到数百PB甚至EB的快速扩展数据。2.大数据的存储管理方式根据数据存储和管理的内容范围，大数据存储及管理技术需要重点研究如何解决大数据的可存储、可表示、可处理、可靠性及有效传输等几个关键问题。1.2 大数据的关键技术及价值1.2 大数据的关键技术及价值在大数据存储和管理发展过程中，出现了几种较为有效存储和管理大数据的方式：1）不断加密2）仓库存