《大数据技术与应用》核心考点.pdfVIP

《大数据技术与应用》核心考点

第1章大数据概论

1.信息技术的核心:计算机技术

2.大数据概念:大数据是指无法在有限时间内用常规软件工具对其进行获

取、存储、管理和处理的数据集合。

3.大数据的主要特征“4V”

①Volume：表示大数据的数据体量巨大

②Velocity:表示大数据的数据产生、处理和分析的速度在持续加快

③Variety：表示大数据的数据类型繁多

④Value:表示大数据的数据价值密度低

4.大数据的战略含义。

①在资源的角度，数据被视为“未来的石油”，被作为战略性资产进行管

理。

②在国家治理角度，大数据被用来提升治理效率，重构治理模式，破解治

理难题，它将掀起一场国家治理革命。

③在经济增长角度，大数据是全球经济低迷环境下的产业亮点，是战略新

兴产业的最活跃部分。

④在国家安全角度，全球数据空间没有国界边疆，大数据能力成为大国之

间博弈和较量的利器。

总之，国家竞争焦点将从资本、土地、人口、资源转向数据空间，全球竞

争版图将分成新的两大阵营：数据强国与数据弱国。

5.大数据时代的10个重大变化

①对研究范式的新认识:从第三范式到第四范式

②对数据重要性的新认识:从数据资源到数据资产

③对方法论的新认识:从基于认识到基于数据

④对数据分析的新认识:从统计学到数据科学

⑤对计算智能的新认识:从复杂算法到简单算法

⑥对管理目标的新认识:从业务数据化到数据业务化

⑦对决策方式的新认识:从目标驱动型到数据驱动型

⑧对产业竞合关系的新认识:从以战略为中心到以数据为中心

⑨对数据复杂性的新认识:从不接受到接受数据的复杂性

⑩对数据处理模式的新认识:从小众参与到大众协同

6.大数据的作用

①对大数据的处理分析正成为新一代信息技术融合应用的结点。

②大数据是信息产业持续高速增长的新引擎。

③大数据利用将成为提高核心竞争力的关键因素。

④大数据时代，科学研究的方法手段将发生重大改变。

7.数据抽取与集成方式

从数据集成模型来看，现有的数据抽取与集成方式可以大致分为四种类型:

基于物化或ETL方法的引擎、基于联邦数据库或中间件方法的引擎、基于

数据流方法的引擎，以及基于搜索引擎的方法。

8.大数据处理流程的核心：数据分析

9.大数据时代的数据分析技术面临的挑战

①数据量大并不一定意味着数据价值的增加，相反这往往意味着数据噪音

的增多。

②大数据时代的算法需要进行调整。

③数据结果的衡量标准。对大数据进行分析比较困难，但是对大数据分析

结果好坏的衡量却是大数据时代数据分析面临的更大挑战。大数据时代的

数据量大，类型混杂，产生速度快，进行分析的时候，往往对整个数据的

分布特点掌握的不太清楚，从而会导致在设计衡量的方法和指标的时候，

遇到许多困难。

10.大数据采集技术概念：大数据采集技术是指通过RFID数据、传感器数

据、社交网络交互数据及移动互联网数据等方式获得各种类型的结构化、

半结构化，、非结构化的海量数据。

11.大数据的数据源：运营数据库、社交网络和感知设备

12.数据预处理包含的部分：数据清理、数据集成和变换及数据规约

13.大数据主要的处理模式：流处理模式和批处理模式

第2章大数据与云计算、物联网、人工智能

1.云计算的服务模式

SaaS:从一个集中的系统部署软件，使之在一台本地计算机上(或从云中远

程地)运行的一个模型。由于是计量服务，SaaS允许出租一个应用程序，

并计时收费（应用层—最终客户）

PaaS:类似于laaS但是它包括操作系统和围绕特定应用的必需的服务（平

台层—应用开发者）

LaaS:将基础设施(计算资源和存储)作为服务出租（基础设施层—运维人员）

2.物联网概念:就是物物相连的互联网，是互联网的延伸

3.大数据、云计算和物联网之间的关系

①云计算为大数据提供了技术基础，大数据为云计算提供用武之地

②云计算为物联网提供海量数据存储能力，物联网为云计算技术提供了广

阔的应用空间

③物联网是大数据的重要来源，大数据技术为物联网数据分析提供支撑

4.人工智能概念：人工智能(AI)是研究、开发用于模拟、延伸和扩展人的

智能的理论、方法、技术及应用系统的一门新的技术科学。

①人工智能是一门极富挑战性的科学，属于自然科学和社会科学的交叉学

科，涉及哲学和认知科学、数学、神经生理学、心理学、计算机科学、信

息论、控制论、控制论、不定性论等

②从事这项工作的人必须懂