- 1、本文档共5页,可阅读全部内容。
- 2、原创力文档(book118)网站文档一经付费(服务费),不意味着购买了该文档的版权,仅供个人/单位学习、研究之用,不得用于商业用途,未经授权,严禁复制、发行、汇编、翻译或者网络传播等,侵权必究。
- 3、本站所有内容均由合作方或网友上传,本站不对文档的完整性、权威性及其观点立场正确性做任何保证或承诺!文档内容仅供研究参考,付费前请自行鉴别。如您付费,意味着您自己接受本站规则且自行承担风险,本站不退款、不进行额外附加服务;查看《如何避免下载的几个坑》。如果您已付费下载过本站文档,您可以点击 这里二次下载。
- 4、如文档侵犯商业秘密、侵犯著作权、侵犯人身权等,请点击“版权申诉”(推荐),也可以打举报电话:400-050-0827(电话支持时间:9:00-18:30)。
- 5、该文档为VIP文档,如果想要下载,成为VIP会员后,下载免费。
- 6、成为VIP后,下载本文档将扣除1次下载权益。下载后,不支持退款、换文档。如有疑问请联系我们。
- 7、成为VIP后,您将拥有八大权益,权益包括:VIP文档下载权益、阅读免打扰、文档格式转换、高级专利检索、专属身份标志、高级客服、多端互通、版权登记。
- 8、VIP文档为合作方或网友上传,每下载1次, 网站将根据用户上传文档的质量评分、类型等,对文档贡献者给予高额补贴、流量扶持。如果你也想贡献VIP文档。上传文档
查看更多
关于内存映射文件技术处理大文件的读写
Windows对文件的读写提供了很丰富的操作手段,如:1. FILE *fp, fstearm...; (C/C++)2. CFile, CStdioFile...; (MFC)3. CreateFile, ReadFile...;(API)...
在处理一般的文件(文本/非文本),这些足够了。然而在处理比较大的文件如几十M, 几百M, 甚至上G的文件, 这时再用一般手段处理,系统就显的力不从心了要把文件读出,再写进,耗费的是CPU利用率与内存以及IO的频繁操作。这显然是令用户难以忍受的为了解决这个吃内存,占CPU,以及IO瓶颈,windows核心编程提供了内存映射文件技术(Maping File)
至于Maping File是什么原理,我不多说了,网上转载资源一箩筐,我只想从应用层来考虑,怎样用这个技术,实现日常项目中的应用举例来说:可能项目中,会经常用到一些大量的常量,而这些大量常量用宏来替代写再源文件中显然不可取,一般是写在文件中,给常量一些编号,通过编号来索引一般文件比较小时候,常用做法也是先预读到内存中,毕竟从内存中读比从文件中读要快(IO操作的瓶颈)比较好的做法,读到STL MAP 中去:例如一个索引文件:SE汪洋中的一片叶子JIANGSHENG=蒋晟SECSDN打开文件,解析=号,在解析方面有CString操作,strtok,strstr, boost 正则表达式匹配等等,但我比较喜欢sscanf(szIndex, %[^=]=%[^=], sName, sValue);sscanf(szIndex, %[^=]=%s, sName, sValue);fscanf(stream, %[^=]=%[^=], sName, sValue);之类,然后再定义一个map:mapstring, string m_Map;m_Map[sName] = sValue;
但是文件比较大的时候,笔者做过测试,用上面方法处理一个15M, 25万行的文本文件,占用内存非常的高,达70多M,处理的速度也非常的慢,这还不包括回写到文件这时,Maping File就派上用场了,这里处理大文件就抛弃了map的应用(因为容器占用很多内存)而是直接利用字符指针来操作,不用其他封装,不多说了,请看示例:
?
#pragma?warning(disable:?4786)?#include?windows.h#include?stdio.h#include?iostream#include?stringusing?namespace?std;string?GetValue(const?TCHAR?*,?const?TCHAR?*);??//根据name得valuevoid?main(int?argc,?char*?argv[]){????//?创建文件对象(C: est.tsr)????HANDLE?hFile?=?CreateFile(C:\test.tsr,?GENERIC_READ?|?GENERIC_WRITE,????????0,?NULL,?OPEN_EXISTING,?FILE_ATTRIBUTE_NORMAL,?NULL);????if?(hFile?==?INVALID_HANDLE_VALUE)????...{????????printf(创建文件对象失败,错误代码:%d ,?GetLastError());????????return;????}????//?创建文件映射对象????HANDLE?hFileMap?=?CreateFileMapping(hFile,?NULL,?PAGE_READWRITE,?0,?0,?NULL);????if?(hFileMap?==?NULL)????...{????????printf(创建文件映射对象失败,错误代码:%d ,?GetLastError());????????return;????}????//?得到系统分配粒度????SYSTEM_INFO?SysInfo;????GetSystemInfo(SysInfo);????DWORD?dwGran?=?SysInfo.dwAllocationGranularity;????//?得到文件尺寸????DWORD?dwFileSizeHigh;????__int64?qwFileSize?=?GetFileSize(hFile,?dwFileSizeHigh);????qwFileSize?|=?(((__int64)dwFileSizeHig
您可能关注的文档
最近下载
- NDS心跳回忆女生版Girl's side(GS)·1st love 初恋》完全攻略.docx VIP
- 德龙泵压式咖啡机 De'Longhi EC 152.CD用户手册说明书.pdf
- “中华民族共同体”的理论内涵与时代价值党课ppt课件.pptx VIP
- 中华民族共同体课件ppt.pptx VIP
- 2022铸牢中华民族共同体意识的战略意义精品课件.pptx VIP
- 上机实验3:图形填充与裁剪算法的具体实现.doc VIP
- 铸牢中华民族共同体意识课件.pptx VIP
- 如何分析掌握官兵思想动态-扎实开展谈心工作演示教学.doc
- 铸牢中华民族共同体意识精品课件.ppt VIP
- 第12章 基层治理.ppt VIP
文档评论(0)