数据与大数据复习课件 浙江省高中学业水平考试信息技术总复习.pptxVIP

数据与大数据大数据处理;学考要点1数据与大数据

【必修1数据与计算第28～32页指导意见第9～13页】

1．大数据的概念及特征

大数据代表着信息量大、速度快、种类繁多的信息资产，需要特定的技术和分析方法将其转化为价值。数据量大并不一定就是大数据。大数据的特征有：

(1)数据体量巨大：人类社会的数据量在不断刷新一个个新的量级单位，已经从TB、PB级别跃升至EB、ZB级别。;(2)速度快：一是数据产生的速度快，包括爆发式产生和累积产生；二是数据处理的速度快，高速率实时数据处理。

(3)数据类型多：大数据的数据来源多，既有人工产生的，也有机器自动产生的。各种结构化、半结构化和非结构化数据共存是大数据的普遍现象。

(4)价值密度低：大数据蕴藏着巨大价值，但因其数据量庞大，可能发挥价值的仅是其中非常小的部分，价值密度相对较低。但价值密度低不等于价值低。

2．大数据思维;(1)大数据要分析的是全体数据，而不是抽样数据。

(2)对于数据不再追求精确性，而是能够接受数据的混杂性。

(3)不一定强调对事物因果关系的探求，而是更加注重它们的相关性。

3．大数据对社会的影响

(1)大数据让生活更便利。

(2)大数据让决策更精准。

(3)大数据带来新的就业需求。

(4)大数据带来新的社会问题。

;学考要点2大数据处理

【必修1数据与计算第123～150页，第138～150页指导意见第19～25页】

1．大数据处理的基本思想

处理大数据时，一般采用分治思想。分治就是把一个复杂的问题分成两个或更多个相同或相似的子问题，找到求这几个子问题的解法后，再找出合适的方法把它们组合成求整个问题的解法。如果这些子问题还难以解决，可以再把它们分成几个更小的子问题，以此类推，直至可以直接求出解为止。

2．大数据处理的类型和架构;

;(1)批处理计算

Hadoop是一个可运行于大规模计算机集群上的分布式系统基础架构，适用于静态数据的批处理计算。Hadoop计算平台主要包括Common公共库、分布式文件系统HDFS、分布式数据库HBase、分布式并行计算模型MapReduce等多个模块。

①分布式文件系统HDFS：主要功能是将大规模海量数据以文件的形式、用多个副???保存在不同的存储节点中，并用分布式系统进行管理。HDFS是一个高度容错性的系统，适合部署在廉价的机器上。目前，云盘、网盘的底层一般采用HDFS实现。;②分布式数据库HBase：建立在HDFS提供的底层存储基础上，采用基于列的存储方式，主要用来存储非结构化数据和半结构化数据，具有良好的横向扩展能力，可管理PB级的大数据。

③分布式并行计算模型MapReduce：能够处理大规模数据集的并行运算，主要由Map(映射)和Reduce(归纳)2个函数构成。核心处理思想是将任务分解并分发到多个节点上进行处理，最后汇总输出。

(2)流计算

通过流计算系统，可以简单、高效、可靠地实现实时数据的获取、传输和存储，在与数据库、Hadoop、编程语言等整合后可开发出功能;强大的实时计算与分析应用。处理流数据的软件系统主要有IBMInfoSphereStreams、TwitterStorm、Yahoo！S4、银河流数据处理平台(淘宝)、FacebookPuma等。

(3)图计算

目前通用的图处理软件主要包括两类：一类是图数据库，如Neo4j、InfiniteGraph、OrientDB等；另一类是并行图处理系统，如GooglePregel、ApacheGiraph、卡内基梅隆大学的GraphLab、运行于Spark平台的GraphX等。

(4)实时处理与批处理的整合

;Twitter开源了其大数据处理系统Summingbird，该系统实现了批处理和流计算在一个平台架构下的整合(Hadoop＋Storm)。开发者在同一个平台既可以做批处理，也可以做流计算，还可以进行两种模式的混合使用。

3．文本数据处理

(1)文本数据处理主要应用在搜索引擎、情报分析、自动摘要、自动校对、论文查重、文本分类、垃圾邮件过滤、机器翻译、自动应答等方面。

(2)文本数据处理的一般过程：典型的文本处理过程主要包括分词、;特征提取、数据分析、结果呈现等。

①中文分词：将连续的字序列按照一定的规范重新组合成词序列的过程，也就是将一个汉字序列切分成一个一个单独的词。常见的中文分词算法有基于词典的分词方法、基于统计的分词方法、基于规则的分词方法。

A．基于词典的分词方法：也称作基于字符匹配的分词方法，即在分析句子时与词典中的词语进行对比，词典中出现的就划分为词。常见的分词系统有jieba分词。

B．基于统计的分词方法：依据上下文中相邻字出现的频率统计，同时;出现的次数越高就越可能组成一个词。一般将其与基于词典的分词方法结合使用。

C．基于规则的分