大数据导出方法.doc

大数量据导出设计 导出方法设计思路有以下几点 1、 导出数据的格式采用CSV或者可转换xls的htm格式 2、 控制一次最大的导出数量，如果超过上限分多次导出。 3、 从数据库中读取数据后不放入集合类的容器，而是直接使用IO写入本地文件，读取一条写入一条或者合并到一定数量批量写入。 4、 导出完成后提示下载链接，让用户自行下载，而不是采用原先直接放入response弹出下载，以此减少数据流量加快导出速度。 示例 小数据量的导出 商务领航原先采用的皆是此方法，先将数据从数据库中取出然后放入集合容器中，最后再通过response导出数据流，此方法优点是适合小量数据的导出，而且可以做的比较通用。不足之处是资源占用较大，大数据量时jvm内存占用高。 public static void testExport1(){ DBConnEX db = null; BufferedWriter buf = null; String sql = select * from biz_moon_log t order by t.id desc; File f = new File(d:/log2.csv); Connection conn = null; StringBuffer stb = null; List list = null; long star = System.currentTimeMillis(); System.out.println(star); try { list = new ArrayList(); buf = new BufferedWriter(new FileWriter(f)); db = new DBConnEX(); conn = db.getConnection(); Statement stmt = conn.createStatement(); ResultSet rs = stmt.executeQuery(sql); while(rs.next()){ stb = new StringBuffer(); stb.append(rs.getString(1)+,); stb.append(rs.getString(2)+,); stb.append(rs.getString(3)+,); stb.append(rs.getString(4)+,); stb.append(rs.getString(5)+,); stb.append(rs.getString(6)); list.add(stb.toString()); // buf.write(stb.toString()); stb = null; } for(int i = 0;ilist.size();i++){ String s = (String)list.get(i); buf.write(s); } buf.close(); } catch (Exception e) { e.printStackTrace(); }finally{ Util.disConnection(conn); } long end = System.currentTimeMillis(); System.out.println(end); System.out.println(总耗时：+(end - star)+ 毫秒); } CSV格式导出 此方法针对前一方法进行了改进，不需要将数据缓存在集合类的容器中，从数据库读取数据时直接调用IO导出，此方法导出数据较快，占用资源少。但不够通用，只是方法过程的改进，格式也仅是纯文本。但纯文本的CSV格式可以被excell识别打开。 public static void testExport2(){ DBConnEX db = null; BufferedWriter buf = null; String sql = select * from biz_moon_log t order by t.id desc; File f = new File(d:/log1.csv); Connection conn = null; StringBuffer stb = null; long star = System.currentTimeMillis(); System.out.println(star); try { buf = n