采伐机数据预处理平台研建.pdfVIP

摘要 摘要 带有计算机控制系统的智能采伐机在作业过程中，采伐头控制系统及数据采集设 备实时记录了大量定位、采伐及造材数据。这些采伐作业数据对精准林业以及基于大 数据的森林经营管理相关研究具有很高的利用价值。本文根据基于采伐机数据进行森 林建模相关研究的实际需要，分析了采伐机数据集的数据结构特征和数据噪声来源。 根据噪声数据形成原因，总结出了满足一致性、唯一性、合理性的数据清洗原则，结 合数据清洗规则梳理处理采伐机数据预处理流程。并在此基础上设计并实现了采伐机 数据预处理平台。该平台具有依据规则自动过滤数据，标记问题数据，填充缺失数据， 自动计算采伐木胸径和树高，模拟切割，生成干形数据，数据可视化，元数据管理， 以及数据查询和导入导出等功能。平台可为后续研究提供整洁的可用数据集。根据系 统分析与用户需求，采伐机数据预处理平台采用 B/S 系统架构，选择 Django 作为服 务端框架，Layui 为前端页面，MYSQL 与 Redis 作为数据库，采用 pandas 处理数据。 针对大量数据清洗过程的耗时问题，选用多线程与矩阵运算的方式，提高系统运算效 率。选用 Celery 进行任务管理，以任务队列管理方式处理异步任务，避免阻塞问题。 经运行测试，该系统支持线上数据预处理、模拟切割、干形数据生成等功能，并具有 较好的用户体验。本研究实现了采伐机数据预处理、数据集加工共享的设计目标，提 高了研究人员工作效率。 关键词：采伐机数据，数据清洗，数据预处理，清洗规则 I 目录 目录 1 绪论 1 1.1 研究背景 1 1.2 采伐机数据应用研究2 1.3 数据清洗概述 2 1.4 数据处理平台概述3 1.5 研究目标与内容 4 1.5.1 研究目标 4 1.5.2 研究内容 4 1.6 关键技术简介 5 1.6.1 技术选型 5 1.6.2 Django 框架5 1.6.3 Python 数据处理 6 1.6.4 多线程程序加速6 1.6.5 多任务管理 6 1.7 技术路线与说明 7 1.8 论文组织结构 8 2 预处理流程分析 9 2.1 预处理流程分析 9 2.2 数据清洗规则提炼 10 2.2.1 一致性清洗规则 12 2.2.2 唯一性清洗规则 14 2.2.3 合理性清洗规则 15 2.2.4 清洗结果总结 16 2.3 干形数据生成 17 2.3.1 生成方法 17 2.3.2 实施流程与结果 18 2.4 模拟切割 19 2.4.1 切割方法 19 2.4.2 实施过程与结果 19 2.5 小结 20 3 系统分析与设计 21 3.1 系统需求分析 21 3.1.1 用户操作 21 3.1.2 数据文件管理 22 3.1.3 后台管理 23 3.2 系统业务流程分析23 3.2.1 前台业务分析 23 3.2.2 后台业务分析 33 III 目录 3.3 开发平台简介 34 3.4 平台结构简介 35 3.4.1 软件体系设计 35 3.4.2 系统部署 36 3.5 数据库设计 37 3.5.1 数据库安全策略37 3.5.2 数据表结构 37 3.6 本章小结 40 4 系统实施 41 4.1 用户操作模块 41 4.1.1 用户注册 41 4.1.2 用户登录 42 4.2 数据文件管理模块42 4.2.1 文件上传 42 4.2.2 输入元数据 43 4.2.3 规格校正 44 4.2.4 数据可视化 44 4.2.5 数据预处理 45 4.2.6 干形数据生成 46 4