原创力文档- 1、原创力文档（book118）网站文档一经付费（服务费），不意味着购买了该文档的版权，仅供个人/单位学习、研究之用，不得用于商业用途，未经授权，严禁复制、发行、汇编、翻译或者网络传播等，侵权必究。。
- 2、本站所有内容均由合作方或网友上传，本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺！文档内容仅供研究参考，付费前请自行鉴别。如您付费，意味着您自己接受本站规则且自行承担风险，本站不退款、不进行额外附加服务；查看《如何避免下载的几个坑》。如果您已付费下载过本站文档，您可以点击 这里二次下载。
- 3、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等，请点击“版权申诉”（推荐），也可以打举报电话：400-050-0827(电话支持时间：9:00-18:30)。
- 4、该文档为VIP文档，如果想要下载，成为VIP会员后，下载免费。
- 5、成为VIP后，下载本文档将扣除1次下载权益。下载后，不支持退款、换文档。如有疑问请联系我们。
- 6、成为VIP后，您将拥有八大权益，权益包括：VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 7、VIP文档为合作方或网友上传，每下载1次， 网站将根据用户上传文档的质量评分、类型等，对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
第25卷 第2期 计 算机 技 术 与发 展 Vol.25 No.2
2015年2月 COMPUTERTECHNOLOGY AND DEVELOPMENT Feb. 2015
大数据环境下数据读取关键技术研究
谢 怡,王 航,刘新瀚,陈梓洋,孙知信
(南京邮电大学宽带无线通信与传感网技术教育部重点实验室,江苏 南京 210003)
摘 要:针对大数据环境下数据读取面临的主要挑战,文中重点研究了分布式文件系统中数据读取关键技术。 根据数据
存放结构的不同,从数据加载、查询处理和存储空间利用三个方面分析比较行存储、列存储和行列混合存储的优缺点和面
临的挑战,重点介绍列存储中涉及到的压缩和物化技术,具体分析了存储压缩中经常运用的行程编码算法、词典编码算
法、位向量编码算法和元组重构中运用的延迟物化技术。 通过分析现有技术存在的问题,探讨相关的解决方案,并展望了
未来研究的发展方向。
关键词:大数据;列存储;压缩;物化技术
中图分类号:TP31 文献标识码:A 文章编号:1673-629X(2015)02-0113-04
doi:10.3969/j.issn.1673-629X.2015.02.026
Research on Data Reading Techniques Based on Big Data
Environment
XIE Yi,WANG Hang,LIU Xin-han,CHEN Zi-yang,SUN Zhi-xin
(MOE Key Laboratory of Broadband Wireless Communication and Sensor Network Technology,
Nanjing University of Postsand Telecommunications,Nanjing210003,China)
Abstract:Under thebigdataenvironment,datareadinghasfacedenormouschallenges.Inthispaper,focusonthekeytechnologiesofda-
tainthedistributedfilesystem.Analyzetherow-storage,column-storage,hybrid-storageaccordingtodataplacementstructurefromdata
loading,queryprocessingand storage spaceutilization.Besides,it introducesmaterialization techniquesusedin column-storageincluding
run-length encoding,dictionary encoding,bit-vector encoding and lazy decompression.Meanwhile,by analysis of the present problem,
discussthe relative solutions,and hasa prospect of future development.
Key words:big data;column-storage;compression;materialization techniques
0 引 言 (2)数据形式多,诸如图片、音频、视频、定位信息
信息技术的发展带来了科学计算和商业计算等领 等,而且即使是同一形式的数据,其编码格式和数据格
域的海量数据,而且数据量仍在快速增加。 在科学计 式
文档评论（0）