大数据分析与高速数据更新.docVIP

大数据分析与高速数据更新 　　摘 要 随着经济的发展和社会的进步，计算机技术逐渐丰富人们的生活，大数据分析技术作为近?啄晷似鸬囊幌罡呖萍迹?能够智能存储丰富的数据资源，数据的产生以及更新的速度逐渐加快，数据的种类也相对繁多。通过对大数据进行分析，能够发掘其中存在的政治、经济以及文化资源和社会价值，对于企业来说，能够存储于客户之间的大量的信息，从而提升经济价值，加速社会生活的运转，从而促进时代的进步。本文主要研究大数据系统中的主要分支，并分析其具体的应用。 　　【关键词】大数据分析 系统 高速 数据更新 　　大数据概念的逐渐兴起，带动了各大行业的发展和更新，那么大数据的具体概念究竟是什么，书中的解释是一般的软件难以概括和捕捉和分析的较大容量的数据，更大的意义是在于能够通过交换、整合海量的数据，发掘新的知识，从而创造更大的价值。大数据系统中包含仓储数据系统、图形处理系统、日志数据处理系统以及MapReduce数据系统等等。本文通过分析其中主要的几个数据处理系统中的差异和共性，分析大数据分析中的主要应用。 　　1 大数据分析系统中的Velocity 　　1.1 事物的处理系统 　　事物处理系统是传统的商业数据库中主要的应用软件之一，必须要支持大量的并存用户，由于每一位用户操作时所读取的数据只占其中的一小部分，并且会随机的分布在每一个数据系统中。例如在银行的存款中，每天都有成千上万的客户利用自动取款机或是人工服务进行交易，每一位客户对自己的银行账号进行操作，对于银行的整个数据系统中是极为微小的一部分，，是随机分布在各个银行的数据之内的。因此在大数据的时代，随着科学技术的不断普及，事物处理的规模和程度也就不断地加大。 　　在事物处理的系统当中，velocity是数据系统设计中的主要核心，引导每一位客户对其自身的业务进行准确的操作，同时需要尽可能的支持更多的并发业务，在实际的系统中，TPC-C与TPC-E是测试事物处理效率的主要依据。许多数据分析企业简化了数据分析的步骤，这样虽然能够从一定程度上减少分析的成本，提升的分析的性能，但是为了能够实现更多的分析应用，促进大数据系统的高效运行，需要程序员逐一解决实际的分析问题，将研究的重点放到ACID上。 　　1.2 数据流的系统 　　向较与事物处理系统，数据流系统的主要任务是分析流过系统中的主要数据，在每一条流过的数据中，计算出事先定义好的查询运算，例如差异监测、统计运算、复杂事件处理等等，系统中的运算需要连续不断的进行，由于不需要对数据进行大面积的存储，因此流过的数据也就是无限量的。我国数据流系统最早出现于20世纪末，最开始被应用于电信流量监控以及交通情况分析等等。同时与实务处理系统相似的是，数据流系统的核心任务也是velocity，其更加注重的是对于数据系统的吞吐量控制，单位时间内流过的数据量能够方便系统的储存，另一方面能够实现更多的恶吞吐率。 　　1.3 大数据分析系统 　　大数据的分析是确保数据价值的主要途径，通过对海量的数据进行分析，能够基本的总结出数据中蕴藏的规律，从而能够更好地理解现实，对未来的事件进行预测。大数据系分析系统与事件处理系统与数据流系统存在一定的差异，与事件处理系统相比，大数据分析系统只为极少数的客户进行服务，例如公司的数据分析师、决策人员以及对数据进行分析的管理人员，并发的用户量小于数据的处理系统，但是对于系统进行的数据处理工作并不少于事件处理系统；向较于数据流系统大数据分析系统能够处理系统中所存储的数据，而不是处理流动中的数据，虽然数据不一定 能够全部放入内存，但是大部分系统需要利用外部处理器进行处理。 　　在大数据的时代之下，velocity的作用越来越突出，数据通过不断产生、流通并加载到数据系统中，从静态的角度分析和优化数据分析系统存在一定的问题，首先是无法反应并及时更新数据，难以适应众多的在线应用需求；其次，静止的状态可能会受到数据更新的干扰，数据分析的性能无法得到最大程度的发挥。因此程序员在设计大数据分析系统的过程中，不仅要注重数据操作的本身，还应该理清整个数据分析的生命周期，从而使其设计理念充分发挥在系统应用中。 　　2 在数据系统仓储中高速数据的更新 　　2.1 传统的数据更新对数据分析操作的影响 　　分析数据系统中的查询工作，在硬盘上进行数据的顺序阅读，一般情况下，常规的数据顺序读性可能会达到100MBps，相对于传统的数据更新对数据页面进行数据的录入和插入以及修改等操作，数据的访问也比较符合前段系统的数据特征，基本上也是随机进行的。同时由于技术水平的限制，大多数硬盘只能支持每秒一百次的随机访问，系统运行的效率大打折扣。再加上随机访问可能会干扰良好的数据信号，在操作的过程中，需要不断更换硬盘的磁头才能进行后续的工作，因此