批量导入设计文档.docx

使用流程用户正常登录到批量导入页面以后点击点击左侧输入框选择需要导入的表名，点击右侧“浏览”按钮选择需要导入的excel文件。选择好表名和上传文件以后，点击上传开始导入程序，导入过程中如果要终止导入，可以点击停止按钮，终止以后所有数据都不会入库；上方的导入模板用来下载导入模板，选择好表名以后可以点击下载。导入完成以后系统会自动将导入失败的数据重新生成excel文件，打开excel可以看到导入失败的数据。点击“查看导入日志文件”跳转到日志下载页面，点击下载可查看插入数据库的详细信息。根据日志提示修改数据以后重新导入。点击“查看校验日志文件”跳转到日志下载页面，点击下载可查看数据验证日志的详细信息；根据日志提示修改数据以后重新导入。当所有数据都能正确入库时，将跳转到成功页面。类图及原理用户选择好上传文件和对应的表名以后，程序调用AsynFileUploadServlet类，读取导入文件，然后启动主程序DataOperate类，多线程同时对数据进行校验和插入；DataOperate类先对数据进行相关的验证，然后再导入，在导入过程中需要对导入数据进行实时监控，能终止程序，采用生产者-消费者模式，对传入的数据一边进行验证，一边对验证通过的数据进行插入数据库；数据验证是在DataCheck类中，数据插入是在DataImport类中，两者用通道连接，对于每条数据需要进行多项验证，分成多个层进行操作，每层内都是并行，层与层之间需要串行，如果任何一层内的一个验证错误，取消所有在运行的验证和未进行的验证，返回null到通道中，数据验证主要分三层，第一层有：必填验证，数字验证，枚举值验证，特殊验证，级联验证，独立唯一性验证，二选一验证；第二层验证有：表格计算，求和，勾稽关系验证，日期验证，公式计算；第三层验证有：唯一性验证。插入时候会启动一个并行的过程，需要一个开关来控制所有线程全部执行完成。TerminateServlet类用来做中断，导入过程中停止整个过程，需要停掉当前的操作过程，同时将数据库回滚，关闭链接，所有数据都不会插入数据库。PercentServlet类用来实现大文件导入时的进度条，以百分比样式展现。导入完成以后会调用ErrorLog类打印日志，记录校验日志和插入日志。数据库各表说明对所用到的各张表以及表之间的关系进行说明。GHSJ_XM .SYS_DOMAIN此表是批量导入专用的数据字典表，后台导入涉及需要转码的字段（如：设备状态、电压等级）时，需要查询此表；注意：如基础数据公用数据字典表中有字段发生改变时，需要同步到此表中。GHSJ_XM.SYS_REGISTER和 GHSJ_XM .SYS_TAB_RELATION这两张表作用是检查设备台账中各设备之间勾稽关系的；当对有勾稽关系的设备表进行校验时，需要在这两张表中注册，例如：在导入【规划线路高抗】时，需要检查【规划线路台账】中是否存在【规划线路高抗】所连接的线路，此时需要做以下配置：这样配置以后，就完成了【规划线路高抗】的注册。GHSJ_XM.SYS_UPlOAD此表是批量导入校验方式的配置表。对每种验证的详细说明必填校验：CHECK_TYPE填：1；CHECK_CONTENT：不填。数字验证：CHECK_TYPE填：2；CHECK_CONTENT：填写对应字段的精度（例如：【架空长度】精度为：NUMBER(38,6)，那么这里就填：38,6）。日期验证：如果数据库是以Date类型存放,CHECK_TYPE填：3，CHECK_CONTENT填：DATE；如果数据库是以VARCHAR2类型存放，CHECK_TYPE填：3，CHECK_CONTENT填：VARCHAR2。联合唯一验证：CHECK_TYPE填：4；CHECK_CONTENT：不填。枚举验证：CHECK_TYPE填：5，CHECK_CONTENT填：相对应数据字典ID（例如【电压等级】字段对应的数据字典ID为30，那么这里就填：30）。特殊集合校验：CHECK_TYPE填：6；CHECK_CONTENT：填写对应的特殊字符集合（例如：配网【电压等级】要求填写内容必须为：“110kV、66kV”其中一项，那么此处就填：110kV,66kV）。级联必填项：CHECK_TYPE填：7；CHECK_CONTENT：填写对应的级联关系（例如：:若【是否农网项目】为“否”时，则【农网建设性质1】不必导入；若【是否农网项目】为“是”时，则【农网建设性质1】必须填写；那么此处填写：SFNWXM=是）。独立唯一性：CHECK_TYPE填：8；CHECK_CONTENT：不填。（例如：项目编码可以为空，但项目编码重复的数据不允许导入）。表格自动计算：CHECK_TYPE填：9；CHECK_CONTENT：c1+c2。（例如：线路总长度(千米