大数据技术中计算与数据的协作机制.docVIP

大数据技术中计算与数据的协作机制 　　摘 要：我们现今正处于大数据时代当中，同高性能计算系统相似，大数据系统在数据储存以及计算方面一般为基于机群实现的。为了能够在大数据环境中使数据能够同计算间获得更好的协调，在文章中，将就大数据技术中计算与数据的协作机制进行一定的研究。 　　关键词：大数据技术；计算与数据；协作机制 　　引言 　　在现今信息技术发展中，数据同计算可以说是信息技术发展过程中的两个重要主题，在这两个主题的基础上，信息技术也逐渐出现了大数据技术概念。从严格意义来说，所谓大数据技术，即是针对于海量数据的分析、存储以及发布技术。对于这部分海量数据来说，我们很难直接对其进行应用，在获得数据之后，需要在经过一定处理后才能够获得有用的数据，如何能够实现大数据时代下数据同计算的科学协作、并能够将其形成一种机制，则成为了目前非常重要的一项问题。 　　1 计算同数据协作机制对比 　　对于面对数据系统来说，其一般为分布式系统类型，即通过将计算向数据进行迁移对系统中数据传递代价进行降低，可以说是一种通过计算对数据进行寻找的方式。要想对数据进行计算，实现数据的定位可以说是一项重要的前提，而数据切分以及存储方式情况也将对计算的模式以及处理效率产生影响。对此，要想对数据同计算间的科学协作进行实现，就需要对数据在分布式文件系统中的存储方式进行研究。而由于在分布式系统当中，需要对数