2019年农业大数据技术前沿与应用.pptVIP

农业大数据技术前沿与应用 许世卫 研究员 农业部农业信息服务技术重点实验室 主任 中国农业科学院农业信息研究所 所长 2014 年 10 月 南京 内 容 一、农业进入大数据时代 二、前沿技术 三、主要应用 四、未来展望 一、农业进入大数据时代 “大数据”,主要是来描述和定义信息爆炸时代产生的海量数据，并命名与之相关的技术发展与创新。互联网行业是大数据应用的领跑者，目前，大数据正在加速向农业领域拓展。 基础架构 关键分析 主要应用 开源的项目 随着传感器、智能移动设备、互联网等的发展，数据呈现爆炸式增长。 农业的新变化 数据无处不在 数据无时不有 数据无物不生 数据无人不感 地域性 季节性 多样性 周期性 农 业 农业大数据（Big data）是指在现代农业生产、经营、管理等各种活动中形成的，具有潜在价值的、海量的、活的数据。 是现代农业建设、发展、管理的“基准线”。 目前，中国每年产生并被存储的数据总量超过800EB（1018字节），相当于全人类讲过的话160倍。 KB （103字节）  MB (兆，106字节)  GB (吉，109KB ） TB (太，1012字节)  PB (拍，1015字节)  EB (艾，1018字节)  ZB (泽，1021字节) 农业每年产生的数据量约为8000PB （1015字节） 农业数据每年将以50%-80%的速度增长 农业生产数据2500PB 农业管理数据1200PB 农业自然资源数据3500PB 农业市场数据800PB （数据来源：ZDNET《数据中心2013：硬件重构与软件定义》年度技术报告） 农业进入大数据时代 全球气候观测系统（Global Climate Observing System） 2012年每天新增超过250GB，政府间气候变化专门委员会（IPCC）第四次评估报告中采用了超过了29,000个观测资料序列，第五次报告中使用的数据量达到了2.3PB。 （1）气象数据 1.农业大数据的类型 1984年，由NIH创办的基因数据库（GenBank）； 截止2011年4月，在传统数据存储区，共有1.35亿条序列记录，包含1265亿个碱基对；在WGS（Whole Genome Shotgun）分区内包含1914亿个碱基对，6272万个基因组序列。 全部数据若是装订成册，将载满700多辆卡车。 （2）生物信息数据 对地观测（遥感）技术农业资源研究提供空间数据，而且，遥感监测一直向高时空分辨率、高光谱、多频段方向发展，数据生产能力越来越强； 美国NASA和USGS研究生产的包括GLS1975、1990、2000、2005和2005（EO-1）五个子集的一套Landsat卫星影像，总数据量超过5TB； （3）资源环境数据 实时监测仪器、设备全天候监测，随着设备种类的增长、价格的降低，监测点将成指数级增长，所产生的数据，将快速增长。 仪器监测每10分钟采集1次数据（60多个指标*5万次/年）+市场监测数据+统计监测数据+视频监测数据 15G/年 （4）作物生长监测数据 （5）农业统计数据 农业部统计报表 农业综合调查制度 农村经营管理情况统计报表制度 全国乡镇企业统计报表制度 农业资源环境信息统计报表制度 全国土壤肥料专业统计报表 全国植保专业统计报表 农业机械化管理统计报表制度 种子管理机构报表 种子企业报表 …… 953个品种，全国1000家市场，每日价格等11个指标的信息，每天超过1000万个数据…… 大数据最大的作用在于给人们带来了思维上的转变 农业大数据思维 数据文化：尊重事实、强调精准推崇理性 万物皆比特，一切皆数据! 数据制度：数据立法、用数机制尚数环境 数据治理：事前管理、科学决策数据创新 资源配置：精准化、智能化、高效化 二、前沿技术 农业大数据的发展对传统的数据处理技术体系提出了巨大的挑战，需要我们在数据采集、数据标准、数据处理、数据分析、数据展现等方面做全新的技术升级。 实时性 精准性 全面性 系统性 规范性 1.数据精准获取技术 15 可穿戴式的信息获取技术 可植入、可嵌入式数据获取技术 微型移动信息获取技术 生物传感、微纳米传感器、便携式传感器等新型设备。 2.数据标准化技术 农业领域数据标准化变得极为迫切，信息采集、传输、存储、汇交的标准规范亟需大量出台。农业基准数据库亟需建立。 大数据数据标准化标准体系框架 传输速率 编码标准 传输方式 传输冗余 …… 汇交方法 汇交内容 汇交分类 汇交范围 …… 采集内容 采集方式 采集时间 采集地点 …… 存储格式