大数据分析方法与应用 课件 第1章 大数据概述.pptx

大数据分析方法与应用上海理工大学主讲人：耿秀丽教授第1章大数据概述

1.1大数据的相关概念目录CONTENTS1.2对科学研究和经济社会的影响1.3大数据的研究现状1.4大数据的机遇与挑战1.5大数据分析的相关概念第1章大数据概述1.6大数据的应用

1.1大数据的相关概念大数据来源归纳为以下三点：科学研究产生大数据大数据的信息交互比以往任何时候对科学研究的影响都要突出，尤其是各大实验室之间的实验数据交流分享。比如类似希格斯玻色子的发现就需要36个国家的150多个计算中心之间每年进行约26PB(26×1015B)的数据共享。庞大网络信息形成大数据淘宝网拥有超过7亿注册会员，每天交易量超过1.2万亿元。医院里，一个病人的CT影像数据量达几十GB，而全国每年的门诊人数以数十亿计，并且病人的数据需要长时间保存。物联网（InternetofThings,IoT）产生大数据物联网设备和传感器生成大量的数据（例如智能工业设备、智能产品等），这些数据通过云平台进行存储和处理，从中可以提取有价值的信息，支持决策制定、优化资源利用和改善用户体验。

1.1大数据的相关概念1.1.2大数据的概念与特征Gartner咨询公司给出的定义是：“大数据是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。”维基百科对大数据的定义如下：在信息技术中，“大数据”是指一些使用目前现有数据库管理工具或传统数据处理应用很难处理的大型而复杂的数据集。其挑战包括采集、管理、存储、搜索、共享、分析和可视化。麦肯锡全球研究所给出的定义是：一种规模大到在获取、存储、管理、分析方面大大超出了传统数据库软件工具能力范围的数据集合，具有海量的数据规模、快速的数据流转、多样的数据类型和价值密度低四大特征。

1.1大数据的相关概念1.1.2大数据的概念与特征IBM（国际商业机器公司）提出了大数据“5V”的概念，即在“4V”的基础上多了一个特征——Veracity（数据质量），表示数据的准确性和可信赖度。

1.1大数据的相关概念1.1.3大数据的数据类型结构化数据结构化数据指通过二维表结构来完成逻辑表达的数据，也称行数据，主要通过关系数据库进行存储和管理。非结构化数据与结构化数据相对的，不适于用二维表来表现的是非结构化数据。非结构化数据没有统一的数据结构属性，包括所有格式的办公文档、各类报表、图片、音频、视频、日志、地形等数据。半结构化数据半结构化数据既具有一定的结构，又灵活多变，其实也是非结构化数据的一种，如员工简历、电子邮件等。处理这类数据可以通过信息抽取等步骤，采用可扩展标记语言（ExtensibleMarkupLanguage,XML）、超文本标记语言（HyperTextMarkupLanguage,HTML）等形式表达。网络爬虫经常需要采集互联网上的半结构化数据。

1.1大数据的相关概念1.1.4《“十四五”大数据产业发展规划》资源维度数据要素的地位正不断地提升，价值正持续地凸显。随着经济形态从农业经济演进到工业经济，再到数字经济，数据在人类社会发展史上的地位和作用一直在提升。根据国际数据机构IDC的预测，中国的数据量将以30%的年均增长速度领先全球，到2025年将成为全球最大的数据圈。技术维度从技术维度看，大数据技术加快创新变革，“5V”特性优势持续释放。除高容量采集、高容量存储、高性能采集以及异构融合等相关技术快速地演进外，随着隐私计算、分布式账本等新兴大数据技术的发展，大数据的精准度高和可信赖度高的第五大特征优势也在不断地呈现。

1.1大数据的相关概念1.1.4《“十四五”大数据产业发展规划》大数据产业维度我国大数据产业的基础优势基本形成，对经济社会发展的服务支撑能力不断增强。数据基础设施建设等部分领域呈现出了先发优势，大数据的标准体系初步建立。在大数据产品和服务体系方面，数据资源、基础硬件、通用软件、行业应用、安全保障等方面的产品和服务不断丰富。我国的大数据产业生态持续优化。赋能维度从赋能的维度看，大数据产业不断地融入实体经济，成为数字经济发展的核心驱动力之一。大数据产业为数字经济提供高质量的数据要素，大数据产业深度融入产业数字化转型进程，推动传统要素数据化，改变了传统的生产方式，持续激发新业态和新模式。

1.1大数据的相关概念目录CONTENTS1.2对科学研究和经济社会的影响1.3大数据的研究现状1.4大数据的机遇与挑战1.5大数据分析的相关概念第1章大数据概述1.6大数据的应用

1.2对科学研究和经济社会的影响1.2.1对科学研究的影响大数据的产生和信息技术领域提出的面向数据的概念同时改变了科学研究的模式。著名数据库专家，图灵奖