1. 您所在位置：
  2. 网站首页
  3. 文档分类
  4. 行业资料
  5. 国内专利

一种基于Spark和Impala高效采集数据库的实现方法.pdfVIP

  • 1
  • 0
  • 约4.81千字
  • 约 6页
  • 2023-06-06 发布于四川
  • 举报

一种基于Spark和Impala高效采集数据库的实现方法.pdf

    本发明公开了一种基于Spark和Impala高效采集数据库的实现方法，涉及数据处理技术领域，其包括以下步骤：S1、根据模板封装采集任务报文；S2、解析采集任务报文；S3、根据报文、创建数据连接；S4、检查目标库是否存在对应的表，如果存在，执行S6后继续向下执行，如果不存在，执行S5后跳到S9继续向下一步执行；S5、根据报文，创建数据连接；S6、根据新增字段，修改目标表；S7、获取缺失字段；S8、通过源与目标表字段类型对比，生成类型转换语句。该基于Spark和Impala高效采集数据库的实现方法，

    (19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 112783923 A (43)申请公布日 2021.05.11 (21)申请号 202110237793.9 (22)申请日 2021.03.04 (66)本国优先权数

    您可能关注的文档

    最近下载

    文档评论（0）

    1亿VIP精品文档

    更多 >

    相关文档

    更多 >