java千万级别数据处理.doc

java千万级别数据生成文件思路和优化 博客分类：? java大数据处理 javajava大数据java数据处理千万级别数据 ? ? ? ? ? ? ? 一年前写过一个百万级别数据库数据生成配置xml文件的程序,程序目的是用来把数据库里面的数据生成xml文件.程序可以配置多少文件生成到一个文件中去. ? ? ? ? ? ? ? ??程序刚开始设计的时候说的是最多百万级别数据，最多50W数据生成到一个xml文件里面去,所以在做测试的时候自己也只是造了100W的数据并没有做过多数据量的测试,然后问题就来了....由于程序使用的局点数据量巨大，需要生成xml文件的客户资料接近千万级别的程度,而现场对程序的配置大约是100W条数据生成一个xml文件里面去，程序在这样的大数据量下面偶尔会有崩溃. ? ? ? ? ? ? ??最近几天现场催的比较紧，最近抽空把这个问题处理了一下,在解决问题的过程中我把解决的步骤和方法记录了下来，正好和大家共享一下 ? 现场提的问题概况： ? ??数据量：生成xml，每个文件100W+ 条的数据 ? ??内存控制：最好不要超过512M ? ??问题详情：在处理70W左右的时候内存溢出 一、先来看一下程序要生成的xml文件的结构 Xml代码?? File?? ??FileType1/FileType?? ??RType12/RType?? ??Version03/Version?? ??BNo004/BNo?? ??FileQ5/FileQ?? ??FNo0006/FNo?? ??RecordNum1000000/RecordNum?? ??!--?上面是文件头??下面是百万个RecordList??--?? ??RecordList?? ????Msisdn10350719507/Msisdn?? ????State1/State?? ????StartDatStartDate?? ????DatDate?? ????Balance45000/Balance?? ??/RecordList?? ???...??!--?可能百万个??RecordList?块--?? ?/File?? ? 二、给大家说一下如何把大数据生成xml文件 ? ? ? ? ??1、小数据量的情况下 ? ? ?1W条数据 ? ? ? ? ? ? ? ???比较好用的方法是使用开源框架，比如XStream 直接把javabean 生成 xml ? ? ? ? ? ? ???优点：api操作简单，方便维护 ? ? ? ? ? ? ???缺点：数据量大的情况下太消耗内存 ? ? ? ? ? ??2、大数据量生成一个xml文件(本程序采用的方法) ? ? ? ? ? ? ? ???自己做的一个可以使用极少的内存生成无限制大的xml文件框架由3部分生成xml文件 ? ? ? ? ? ? ???第一部分：生成文件头 ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 例如： xxx.toXML(Object obj, String fileName) ? ? ? ? ? ? ???第二部分：通过每次向文件里面追加3000（可配置）条数据的形式生成文件块?? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 例如：xxx.appendXML(Object object); ?//object 可以是ArrayList 或者一个单独的javaBean ? ? ? ? ? ? ???第三部分：生成xml文件尾巴 ?? ? ? ? ? ? ? ? ? ? ? ? ? ? ?例如：xxx.finishXML(); ? ? ?? ? ? ? ? ? ? ???程序中的调用：调用xxx.toXML(Object obj, String fileName) 生成文件头之后，可以循环从数据库中读取数据生成ArrayList，通过xxx.appendXML(Object object) 方法追加到xml文件里面,xxx.finishXML() 对文件进行收尾 ? ? ? ? ? ? ???对框架说明：我上面提供的例子有文件头 + 文件块 + 文件尾巴. 如果和你们的实际使用文件不太一致的话，可以参考上面提供的思路修改一下即可，主要的方法是把相同的文件块部分分离出来通过追加的形式写入xml文件. ? ? ? ? ? ? ? ? ? ? ? ??有了思路之后，大家可以尝试着自己写一个类似的大数据处理框架(千万级别以上),如何有什么需要帮助的可以直接联系我，因为是公司的程序，不太敢放出来，怕...... ? ? ? 三、我是如何测试性能和优化的 ? ? ? ? ? ? ? ???1、手动排除 ? ? ? ? ? ? ?