2017公需科目-大数据时代讲解.docVIP

《大数据时代的互联网信息安全 》 讲 义 第一章 认识大数据的基本常识 大数据时代悄然而至 我们每天坐在电脑前在网上搜索、购物、发信息、发图片，用手机打电话、发彩信……很多人都在不经意中制造和使用着数据。因此，产生的数据量正在以惊人的速度增长——数据已经渗透到生活和工作的方方面面，成为时代的特征。 大数据时代已经悄然来临。在这样的背景下，人们逐渐认识到大数据给自己带来的作用。这就让人们需要一个巨大容量的存储设备。所以，大数据产生的一个显著标志就是：为了满足市场的要求，数据存储设备的容量越来越多，处理数据的速度越来越快。 数据暴涨的不仅是人数，更有因人数剧增而产生的一些技术性数据。事实上，今天的全球互联网巨头都已经意识到大数据时代数据的重要意义。包括易安信、惠普、IBM、微软在内的全球IT巨头纷纷通过收购大数据相关厂商来实现技术整合，这足以看出它们对大数据的重视。 大数据产生的背景 大数据之所以会进入主流大众的视野，我们分析得知，缘于三种趋势的合力。 第一，随着互联网的发展，许多高端消费公司为了提供更先进的、更完美的服务，加大了对大数据的应用。可以看出，大家都在利用大数据产生利益，反过来，利用大数据的人就变成了催生大数据时代到来的力量之一。 第二，人们在无形中纷纷为大数据投资。 第三，商业用户和其他以数据为核心的消费产品，也开始期待以一种同样便捷的方式来获得大数据的使用体验。所以，商业用户也成为了推动大数据发展的动力之一。 一切都可以数据化 凡事皆可量化。只要我们能够找到观察问题的方式，并从一个新的角度去衡量它，不管从这个新的角度衡量它到底精准度如何，只要它能我们知道得比以前更多，那么它就是一种可行的量化方法。实际上，对那些看似不可量化的东西，人们总能找到相对简单的量化方法。 在大数据时代，数据在以我们无法想象的速度增长着，有些问题是无法实现非常精确的计算的，而费米分解就为我们提供了很好的思路。我们要避免陷入不确定性及“无法”分析的泥潭，为了避免被显而易见的不确定性压倒，应该从知道的事情开始提问。评测我们已了解的事物的数量，是量化那些似乎根本不可量化的事物的重要步骤。 在未来的世界里，一切都可以数据化。一切都保存在互联网的数据库中，当你有一天需要的时候，数据库服务商能够将这些数据调出来给你，对其进行数字化。 统计学：解析大数据的工具 统计学的概念最早出现在古希腊的亚里士多德时期，最初的用途是计算各个城邦王国的经济和居民状况等社会经济问题。现在，统计学被广泛应用于国家管理、企业运营、科学研究各个不同领域。以统计学在社会中的作用来看，其发展经历了三个阶段。 1.城邦政情 古希腊亚里士多德撰写的“城邦政情”是最早应用统计学方法的记录。 2.政治算术 政治算术的特点是，统计方法与数学计算、推理方法开始结合，分析社会经济问题的方式，更加注重运用定量分析方法。 3.大数据时代 随着计算机和现代检测技术的发展，提取数据越来越容易。 大数据用于形容那些数量庞大到无法用人工，甚至用简单的计算机软件进行处理的海量数据。 检测技术还可以越来越成为方便地统计温度、压力、温度、亮度、粉尘颗粒等信息，从而积累大量的数据，用于分析人们在不同条件下的行为变化。 大数据现在也成为另一种概念，也就是用大量的数据信息进行统计，从看似没有关联的事物中获取有价值的规律。 大数据时代，我们离不开统计学，否则，大数据时代的建立和数据的实际运用就是一场空谈。 数据大小怎么算 人们发现，大数据的主要特点为数据量大（Volume）、数据类别复杂（Variety）、数据处理速度快（Velocity）以及数据真实性高（Veracity），合起来被称为4V。 大数据中的数据量非常大，而且这庞大的数据中，不仅仅包括结构化数据，如数字、符号等数据，还包括非结构化数据，如文本、图像、声音、视频等数据。 第二章 数据的收集管理和使用 收据数据不是最要紧的 大数据时代，不管你用与不用，数据就零零碎碎地散放在那里。但是，要想使用大数据，首先要做的是收集大量数据，但收集数据并非仅是把收集过来的数据放到硬盘里那么简单，更重要的是对数据进行分类、存放及管理。 数据的价值在于使用，不是存储。人们发现，大数据的真正价值是将数据用于形成主动收集数据的良性循环中，以带动更多的数据进入自循环中，并应用于各个行业。 “活”做数据收集 所谓“活”做数据收集，就是指用户不要局限于只收集自己用户产生的数据，还要把“别人”的数据收集过来进行综合分析。 前面提到过，数据收集，一方面是“自己用”——用其他外面的数据来增加自己手上数据的精准度，为我所用；而另一方面是“给别人用”——把我的数据贡献给很需要我的数据的人，从而提高他的数据的精准度。 做大数据