批量导入设计文档.docxVIP

?使用流程 1、用户正常登录到批量导入页面以后点击点击左侧输入框选择需要导入的表名，点击右侧 “浏览”按钮选择需要导入的excel文件。 2、选择好表名和上传文件以后，点击上传开始导入程序，导入过程中如果要终止导入，可 以点击停止按钮，终止以后所有数据都不会入库；上方的导入模板用來下载导入模板, 选择好表名以后可以点击下载。 2、选择好表名和上传文件以后，点击上传开始导入程序，导入过程中如果要终止导入，可 以点击停止按钮，终止以后所有数据都不会入库；上方的导入模板用來下载导入模板, 选择好表名以后可以点击下载。 3、导入完成以后系统会自动将导入失败的数据重新生成excel文件，打开excel可以看到导 入失败的数据。 14X)1-11 Ebc■A J5?W 公式 E 書卯?10? hi汹孚宁寸叵i 7 科 1KNIK M ■砂 罚 ?”式AA M? WKh 14X)1-11 Ebc ■A J5?W 公式 E 書卯 ?10 ? hi汹孚宁寸叵i 7 科 1KNIK M ■砂 罚 ?”式 AA M? WK h A wwa ?rtw :a??电用? ■ ■ ??很 ? 牙齐庁式 OS %」 2014/02/18 4、点击“查看导入日志文件”跳转到日志下载页面，点击下载可查看插入数据库的详细信 息。根据日志提示修改数据以后重新导入。 1 MftMfK^lRfiBOOOOOOOOOOOOl 192014-03-11-13-46-)0-292.txt ? 89* (_ 文件W 换流站It况明细^0000000000001192014-03-11 -15-46-30-292? txt ?■(￡)?K(O) 閑課勰嵯韶總或溫条数:铁翩逸条数边失败T数O上匚 信息；根据口志提示修改数据以后重新导入。 6、当所有数据都能正确入库时，将跳转到成功页血。 ?类图及原理 diagnosisimport jsp HttpScrvlct AsynFileUploadServletCommit AsynFileUploadServlet #serviccODataOperate #serviccO +operation()+ge tConnec tion()+closeConnection() +terminate()+revert MarkO+GetinsertLog()+Get logListO 用户选择好上传文件和对应的表名以后，程序调用AsynFileUploadServlet类，读取导入 文件，然后启动主程序DataOperate ，多线程同时对数据进行校验和插入； DataOperate先对数据进行相关的验证，然后再导入，在导入过程中需要对导入数据 进行实时监控，能终止程序，采用生产者■消费者模式，对传入的数据一边进行验证，一边 对验证通过的数据进行插入数据库； 数据验证是在DataCheck类中，数据插入是在Datalmport类屮，两者用通道连接，对于每条数据需要进行多项验证，分成多个层进行操作，每层内都是并行，层与层之间需要串行， 如果任何一层内的一个验证错误，取消所有在运行的验证和未进行的验证，返回null到通道 中，数据验证主要分三层，第一层有：必填验证，数字验证，枚举值验证，特殊验证，级联 验证，独立唯一性验证，二选一验证；第二层验证有：表格计算，求和，勾稽关系验证，H 期验证，公式计算；第三层验证有：唯一性验证。插入时候会启动一个并行的过程，需要一 个开关来控制所有线程全部执行完成。 TerminateServlet类用来做屮断，导入过程屮停止整个过程，需要停掉当前的操作过程， 同时将数据库冋滚，关闭链接，所有数据都不会插入数据库。 PercentServlet类用来实现大文件导入时的进度条，以百分比样式展现。 导入完成以后会调用ErrorLog类打印日志，记录校验日志和插入日志。 ?数据库各表说明 对所用到的各张表以及表之间的关系进行说明。 1、 GHSJ_XM .SYS_DOMAIN 此表是批量导入专用的数据字典表，后台导入涉及需要转码的字段(如：设备状态、电 压等级)时，需要查询此表；注意：如基础数据公用数据字典表屮有字段发生改变时，需要 同步到此表中。 2、 GHSJ_XM.SYS_REGISTER 和 GHSJ_XM .SYS_TAB_R ELAT ION 这两张表作用是检查设备台账中各设备之间勾稽关系的； 当对有勾稽关系的设备表进行校验时，需要在这两张表中注册，例如：在导入【规划线 路髙抗】时，需要检查【规划线路台账】屮是否存在【规划线路高抗】所连接的线路，此时 需要做以下配置： SQL Output | Stati$bc$ select * from ghsj_xm?where id m (43r46