原创力文档- 1、本文档共2页，可阅读全部内容。
- 2、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。
- 3、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 5、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 6、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
I互联网+技术
nternetTechnology
大数据分析及处理综述
□董学润中国电力财务有限公司华东分公司
【摘要】如今，数据越来越成为全球科技竞争的制高点，拥有了海量数据就拥有了重要的战略资源。大数据技术在许多领域都发挥
了重要作用，大数据技术一般是以大数据分析及处理为核心，掌握大数据分析及处理技术，能获取丰富的数据资源，也能够最大限度
的开发数据价值。本文重点介绍大数据分析与处理技术。
【关键词】大数据大数据分析处理大数据发展情况
引言达99.4%，这一窘境很大程度上是因为这些含有高价值的数
在当今的大数据时代背景之下，数据发展的脚步会越来据无法采集。如何对有价值的信息数据进行采集成为了大数
越快，数据中包含的信息也会越来越丰富。而要获取数据中据发展的关键一步。
的价值，掌握大数据分析与处理方法是关键，本文的目的就1、含义
是让人们了解大数据处理的关键技术以及大数据未来的发展数据采集的另外一个名字叫做数据获取，是指从传感器
趋势。和其他待测设备等模拟和数字被测单元中自动采集信息的过
一、大数据的含义程。数据采集是进行大数据分析的先决条件，在整个分析与
大数据是当前社会科技当中的一个热点概念，各行各业处理过程中占有十分重要的位置。大数据的采集主要有以下
中我们都会听到大数据这个词，但是大数据到底是什么，大三种方式：系统日志采集法、网络数据采集法以及其他数据
部分人却不是很了解。我们当前所说的大数据包含两层含义。采集法。
一是从表意上来看，人们的各种社会行为会产生相应数据，2、方法
这些数据汇集在一起，成为表意上的“大”数据，我们也把（1）系统日志采集法。系统日志可以记录下系统中的
这样的数据称为基础数据。二是从技术层面来看，大数据是硬件、软件等的信息，同时也可以监测系统里的行为。用户
指大数据技术，也就是本文的大数据分析与处理技术。数据可以通过这一过程来检查错误出现的原因，或者时寻找受到
资源之所以宝贵，究其原因在于其可以价值化，大数据分析侵入时攻击者留下的痕迹。系统日志包括系统日志、应用
与处理技术正是将数据价值化的途径。[1]从释义上来说，大程序日志和安全日志。（百度百科）大数据平台或者说类
数据，它的英文名字是bigdata，是信息技术领域当中的一似于开源Hadoop平台会产生大量高价值系统日志信息，如
个行业术语，它是一种信息资产，具有量大、增长率高等特点。何采集成为研究者研究热点。目前基于Hadoop平台开发的
大数据的采集和处理没有办法使用普通的分析软件和工具，Chukwa、Cloudera的Flume以及Facebook的Scribe（李联宁，
而需要一个与时俱进的模式才能够挖掘出它的最大价值。2016）均可成为是系统日志采集法的典范。目前此类的采集
通俗来说，大数据的解释就是大量的数据，顾名思义，技术大约可以每秒传输数百MB的日志数据信息，满足了目
就是数量多、范围广的意思，而数据是信息等各方面的数据前人们对信息速度的需求。一般而言与我们相关的并不是此
资料，结合起来就是量多、范围广的信息数据资料。类采集法，而是网络数据采集法。
《大数据时代》中提出了大数据的四个特性：volume、
文档评论（0）