面向异构农情数据的分布式采集与智能分析平台构建.docxVIP

面向异构农情数据的分布式采集与智能分析平台构建

目录

一、内容概述．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．2

二、需求分析与系统功能规划．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．3

三、整体架构设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

3.1系统架构总体框架．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．4

3.2分布式系统关键技术选型．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．7

3.3微服务架构规划．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．9

3.4数据管道设计．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．13

四、分布式数据采集模块实现．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

4.1数据来源接入策略．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．17

4.2轻量级爬虫服务开发．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．19

4.3实时流式数据处理方案．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．．22

4