各数据导入ORACLE处理说明.docx

结构化文本文件入库常见非结构化数据格式如下：文件类型数据格式CSV文件按照逗号作为字段分割符，以每行作为一条记录的数据格式文件。TXT文件按照特定字符作为字段分隔符，以每行作为一条记录的数据格式文件。XLS/XLSX文件OFFICE2003/2007的规范化数据文件。XML文件符合DOM规范的XML规范化数据文件。格式化WORD文件在WORD文件中包含规范化表格信息，以每个表格作为一条记录的格式化数据。其他规范文件如：HTML文件、PPT文件等包含符合某些规范的数据文件。CSV文件/TXT文件入库CSV文件TXT文件以上文件统一采用KETTLE数据抽取工具进行入库，如下图说明：利用大文本编辑工具打开数据（超大文本文件忽略此步骤），点击【视图】中【显示空格/制表符】可准确定位数据分隔符。选择要导入的文件。内容设置文件格式及分隔符。格式固定选择mixed可有效避免格式引起的错误编码格式根据数据预览情况进行修改若数据起始行不在第一行则根据实际修改,若没有字段名则去掉头部后面的√根据第一步填写分隔符直接点击获取字段即可，建议将类型全部设置为string确保顺利入库，点击下方的预览记录查看数据正确性。注意1：较大文件直接获取字段，通过获取到的数据判断数据分隔符后，修改分隔符重新获取即可注意2：无字段名数据可自定义字段名后预览数据，确定自定义字段个数不少于文件数据列数定义文件来源（可忽略），该步骤可将文件名称、文件路径等信息写入到目标表中。（通用）配置目标表,点击【新建】按钮。数据库SID数据库服务IP在目标表已存在的情况下可直接将表名称填入目标表。若目标表不存在可先定义好表名称并填入目标表后，点击下方的【sql】按钮，生成建表语句后，点击【执行】按钮，自动建表。数据映射抽取（通用）目标表建成后配置字段映射以及定义错误输出。定义错误数据文件路径及名称保存，运行完成导入。注意1：当源字段与目标字段不一致时（如：姓名-名称），需勾选下方标注地方确保转换正常运行。XLS/XLSX文件入库XLS/XLSX文件选择XLS/XLSX文件。获取XLS/XLSX文件SHEET页，即如果存在多个SHEET页数据，可以自定义选择导入。标注处可定义该文件的起始行，针对标题做了合并单元格操作的XLS文件有很大用处。获取XLS/XLSX文件中字段列的信息，可以根据导入需求进行自定义处理，在导入过程中对每个字段值的前后空格、精度以及类型进行配置处理。注意：文件存在多个Sheet页时，若结构不一致要分别进行导入。若多个sheet页结构一致，则可一次导入（获取字段是有以下效果）。XML文件导入XML文件数据存放位置利用大文本编辑工具打开XML文件，确定数据存放位置。在XML中获取数据位置，选择对应的数据主节点，即为数据的行信息。获取该主节点信息的各数据字节点，即为数据列信息。与TXT以及XLS文件处理方式相同。导入想要导入的数据库中即可。格式化WORD文件对于WORD中含有格式化表格数据（如：人员简历信息等），我们采用定制开发数据导入工具的模式，对WORD中表格信息进行读取，并导入数据库中。格式化WORD文件其他类型数据文件如PDF（文字信息）、PPT、HTML等具有完全规范化/部分规范化的数据文件，均可以采用定制开发工具与已有ETL工具相结合的模式对数据进行规范格式化入库处理。文件批量入库对于同目录下存在多个相同格式的数据文件，进行文件入库，采用通配符的方式，通过ETL工具对数据进行批量入库处置。通配符文件存放路径定期自动增量同步使用ETL工具创建定期调度作业任务进行处理，可以实现如下几种场景：同格式文件目录下，数据文件不断更新增加的情况。同格式压缩包文件，自动解压，将新数据文件导入对应数据库中。不同格式数据文件的自动整合汇集到数据库中。数据库文件入库常见数据库文件格式数据库类型数据格式oracle数据库dmp文件（exp、dxpdp）、sql文件sqlserver数据库sql文件、mdf和ldf文件、bak文件mysql数据库sql文件、frm,myd,myi文件、dump文件Access数据库mdb文件其他数据库文件DBF文件db2数据库ixf文件,message文件ORACLE数据导入-DMP文件IMP导入方式oracle数据库的dmp文件可直接以命令行的方式入库，具体命令如下：imp?用户名/密码@数据库名?file=xxx.dmp?full=y ignore=y如果要导入到指定表空间可利用show=y 查看dmp文件中的建表语句手动建表并指定表空间后在进行忽略创建错误导入。此处经常遇到版本不一致问题，可用ue修改dmp文件版本号。如果文件太大，可直接放置服务器上导入。若服务器也安装了低版本的客户端，可修改环境变量后导入。数据泵方式导入数据泵技术是Oracle