一种hadoop采集系统的运行方法.pdfVIP

  • 2
  • 0
  • 约8.92千字
  • 约 8页
  • 2023-05-28 发布于四川
  • 举报
本发明公开了一种hadoop采集系统的运行方法,包括如下步骤:S1)在数据存储层采用hadoop和关系型数据库的混搭架构,存储数据应用层和数据服务层产生的数据;S2)在数据获取层通过基于hadoop的ETL加工过程,对数据应用层和数据服务层产生的数据进行处理,并在数据存储层形成企业数据仓库和数据集市。本发明提供的hadoop采集系统的运行方法,通过利用HADOOP的计算和存储优势,对海量数据、非结构化数据进行采集预处理整合,提升海量数据采集效率,有效缩短部分流程的超长等待时间;并可提升数据分析及

(19)中华人民共和国国家知识产权局 (12)发明专利申请 (10)申请公布号 CN 112380221 A (43)申请公布日 2021.02.19 (21)申请号 202011313731.3 (22)申请日 2020.11.20 (71)申请人 上海新炬网络信息技术股份有限公

文档评论(0)

1亿VIP精品文档

相关文档