基于物联网视角农业环境大数据系统设计关键技术研究.pdf

SOFTWARE2023软 件第 44 卷 第 9期2023 年Vol.44,No.9作者简介：李涛（1976），男，河北赵县人，本科，高级工程师，研究方向：农业大数据分析。基于物联网视角农业环境大数据系统设计关键技术研究李涛 （农业农村部信息中心，北京 100026）摘要：本文基于物联网视角，研究了农业环境大数据系统的设计关键技术。首先，介绍了物联网的基本原理和构成要素，以及其在农业领域的应用现状。然后，分析了农业环境大数据系统的需求和功能，提出了基于物联网的农业环境大数据系统的设计框架，在此基础上，重点研究了系统的关键技术，包括传感器网络技术、数据采集和传输技术、数据存储和管理技术、数据处理和分析技术等。最后，通过实验验证了系统的可行性和有效性。研究结果表明，基于物联网的农业环境大数据系统可以实现对农业环境数据的实时监测、分析和管理，为农业生产提供科学依据，促进农业可持续发展。关键词：物联网；农业环境；大数据系统；关键技术中图分类号：S126;TP391.44;TN929.5 文献标识码：A DOI：10.3969/j.issn.1003-6970.2023.09.032本文著录格式：李涛.基于物联网视角农业环境大数据系统设计关键技术研究J.软件,2023,44(09):127-129Research on Key Technologies of Agricultural Environment Big Data System Design Based on Internet of ThingsLI Tao(Information Center of Ministry of Agriculture and Rural Affairs,Beijing 100026)【Abstract】：Based on the perspective of the Internet of Things,this paper studies the key technologies for the design of big data system for agricultural environment.Firstly,the basic principles and components of the Internet of Things are introduced,as well as its application in the agricultural field.Then,the requirements and functions of the agricultural environment big data system are analyzed,and the design framework of the agricultural environment big data system based on the Internet of Things is proposed.On this basis,the key technologies of the system are studied,including sensor network technology,data acquisition and transmission technology,data storage and management technology,data processing and analysis technology.Finally,the feasibility and effectiveness of the system are verified by experiments.The results show that the agricultural environment big data system based on the Internet of Things can realize real-time monitoring,analysis and management of agricultural environment data,provide scientific basis for agricultural production and promote sustainable development of agriculture.【Key words】：Internet of Things;agricultural environment;big data system;key technology设计研究与应用0 引言对物联网信息技术简单地理解，就是物与物相连的互联网信息科技，能够借助信息网络系统将物与物、物与人和人与人之间紧密地联系在一起，实现对参数信息的控制，也就能够强化对数据信息潜能的挖掘，目前已经广泛应用于智慧城市建设、医疗体系和智能家居行业中。基于物联网视角农业环境大数据系统设计研究，主要是将农业生产过程中涉及的各项参数数据，以动态化的监管方式完善，通过对植物、动物、生产工具、环境因素和生活工具等的应用，将各式各样的功能连接在一起，实现对农业环境数据的收集、分析、提取和应用，进而使农业环境数据信息能够指导现实生活和农业生产过程，为我国智慧农业的建设打下基础。因此，本文对基于物联网视角农业环境大数据系统设计关键技术的分析研究，也就具备重要理论意义和现实价值。1 大数据系统概述大数据是数据学科的关键分支，大数据系统是将数据的基本原理和计算机信息技术、物联网技术、大数据128软 件第 44 卷 第 9 期SOFTWARE信息技术等融合的系统，能够实现数据信息的高效率采集、数据处理、数据标准化等，较传统模式下的数据信息处理有着质的飞跃。2 需求分析基于物联网视角的农业环境大数据系统的需求分析作为其开发设计的第一环节，在用户和软件的开发设计过程中能够建立起共识。在此过程中，系统的需求分析主要包括以下几点内容：（1）庞大体量的农业数据生产涉及的各种类型的数据信息，要求环境大数据系统具备较强的兼容性，能够实现各类结构、数据信息的统一存储1；（2）环境大数据系统要强化对数据仓储信息、数据分析和存储的支持，打造集成化的数据挖掘模块；（3）现有数据库资源的结构优化，要能够支持和传统数据库间的连接；（4）要确保基于物联网视角的农业环境大数据系统的整体安全，保障环境具备高度的安全性2。3 基于物联网视角农业环境大数据系统设计关键技术3.1 基础数据框架基于物联网视角的农业环境大数据系统设计中，基础数据框架结构设计是关键的一环，框架设计不科学与不合理，将直接影响到基于物联网视角农业环境大数据系统的功能应用及其后期的扩展。本文设计的基于物联网视角农业环境大数据系统采用 ApacheHadoop 框架，借助该框架模式能够对农业生产环境中大体量的数据信息进行快速挖掘收集和分布式处理的优势，快速挖掘大数据潜能，整个框架体系的核心组件主要包括分布式计算机 MapReduce 和分布式文件系统两个部分，两部分之间的紧密配合能够实现参数信息的稳定收集与处理、实现对数据信息的高效率存储、实现对数据的快速运算，以便最终获取参数信息。以其中的分布式文件系统 HDFS 为例详细分析可知3，分布式文件系统 HDFS作为 Hadoop 系统的关键核心之一，能够借助其强大的处理功能实现交流形式的大型文字、数据的处理与研究，也能够借助 HDFS 结构中的 Master/Slave 架构模式，强化对文件传输信息系统的管理，包括对数据信息中的 NN 模式和 DN 模式两种截然不同的类型节点的处置。在此过程中，分布式文件系统 HDFS 中的 NN 管理文件系统的命名，要以能够全面覆盖其中的运行空间为标准，维护架构设置中的系统树和内部文件的表示元数据等，分布式文件系统 HDFS 中的 DN 管理模块则能够接收 NN 模块的运营调度。此外，在分布式文件系统 HDFS 的任务分配过程中，其把计算任务分配到各个 DN 模块结构上，在 DN 模块结构的计算过程中，任意类型的节点宕掉后，分布式文件系统 HDFS 中的其余节点仍旧会严格按照策略接替上一个节点的任务，也就能够保证分布式文件系统 HDFS 中的数据不会丢失，确保了整个分布式文件系统 HDFS 中进程的连续性，如图 1 所示即为分布式文件系统 HDFS 的基本架构示意。NNNN1NN2NN3图 1 分布式文件系统基本架构示意图Fig.1 Basic architecture diagram of distributed file system3.2 系统架构基于物联网视角的农业环境大数据系统架构，依托数据信息挖掘模块和存储任务分配模块，结合分布式文件系统中的各项参数任务，将其作为基于物联网视角的农业环境大数据系统的集群节点，在此基础上利用分布式文件系统进行多次模拟、计算和存储，借助数据挖掘技术实现模块底层信息的调用，完成数据挖掘任务，并将最终的参数信息通过图形输出。3.3 主要功能模块基于物联网视角的农业环境大数据系统架构的功能模块主要分为基础计算与存储模块、数据管理模块、数据挖掘模块和用户交互模块四个部分。系统整体采用了层次化的模块设计，以从底层到顶层的结构模式，构成基础计算与存储模块、数据管理模块、数据挖掘模块和用户交互模块四个部分，再结合基于物联网视角的农业环境大数据系统架构的设计4，按照从底层到顶层的模式，实现对数据信息的挖掘，整体示意图如图 2 所示。在此过程中，以基础计算与存储模块为例详细分析可知，基于物联网视角的农业环境大数据的系统架构，利用文件系统具备的并行计算环境和功能，向上一层的数据管理模块提供参数信息，实现从下往上的计算功能和数据管理存储功能，在此过程中支持文件系统对各类型的数据进行结构化、半结构化甚至是非结构化的数据类型改变，便于整个文件系统能够用更低的成本实现参数信息的高效率储存。3.4 系统实现在基于物联网视角农业环境大数据系统设计过程中，整个系统的实现主要包括硬件资源配置、虚拟环境配置、Hadoop 集群安装和数据挖掘功能实现四个部分的内容。就基于物联网视角农业环境大数据系统设计硬件资源配置而言，该系统存在的目的主要是为了确保分布式文件系统 HDFS 中的 DN 管理模块完成运算任务，也是为了保证分布式文件系统 HDFS 中的 NN 管理模129李涛：基于物联网视角农业环境大数据系统设计关键技术研究块实现管理与调度功能，因此，本文设计的基于物联网视角农业环境大数据系统配置了 2 个 NN 和 8 个 DN，确保后期系统运算和联系功能能够完整实现。就虚拟环境配置而言，本文设计的基于物联网视角农业环境大数据系统以 Linux 虚拟机为基础进一步创建新的虚拟机，然后根据基于物联网视角农业环境大数据系统在运行过程中需要的各项需求，为虚拟机分配不同的 IP 地址，以此为 Hadoop 集群提供良好的安装环境。4 功能介绍在基于物联网视角农业环境大数据系统完成基本架构、软硬件设置之后，进一步分析该系统具备的各项功能，主要包括了实时监测环境信息、标注和实时监控地块参数信息、环境变化趋势分析、生长模型构造和联网设备控制管理等部分内容。以分析环境变化趋势为例详细探究可知，本文设计的基于物联网视角农业环境大数据系统能够将不同类型的环境数据信息以时间为尺度，将某一周期范围内的数据信息拟合出趋势变化图，然后根据趋势变化图观察农作物的整体变化情况，并合理推测其在短时间范围内的生产变化。同时，基于物联网视角农业环境大数据系统还能够根据数据拟合出最适合农作物生产的环境曲线图，使生产人员能根据趋势图的参数变化做出必要的处理，进而根据 MapReduce 计算框架自身挖掘得到拟合性强的函数关系，更有效地分析分布式文件系统中的数据信息，使得数据能够真实驱动农业生产。基于物联网视角农业环境大数据系统生长模型的构建，主要是利用该系统覆盖范围内的农作物的生长环境和自身的生长状况，结合农作物的生产过程，建立独特的指导农作物增产增量的生长模型，在此基础上，根据农作物的生长环境判断农作物在生长过程中需要的营养条件、光照条件等诸多参数信息，将其作为后期农作物生产的指导，为农作物的播种、施肥、收获提供建议。5 结论本研究强化对农业环境大数据的分析，在概述大数据系统的基础上，分析了基于物联网视角农业环境大数据系统设计的需求，探究了基于物联网视角农业环境大数据系统设计的关键技术，认为基于物联网视角农业环境大数据系统设计要构建更加完善科学的系统架构，形成基于物联网视角农业环境大数据系统的主要功能模块，并为实现系统各项功能奠定更扎实的基础，最后详细介绍了基于物联网视角农业环境大数据系统的功能，旨在为我国大数据系统挖掘农业生产赋能产业优化奠定基础。参考文献1 林科业.茶叶种植环境大数据采集平台J.物联网技术,2023,13(2):129-130+135.2 魏晓梦.大数据环境下的智慧农业物联网系统研究J.无线互联科技,2019,16(9):38-39.3 王巍.基于物联网技术的智慧农业发展的研究以杨凌智慧农业建设为例J.福建电脑,2016,32(7):91+127.4 杨亚飞,汤军,宋树华,等.基于大数据技术的农业物联网应用系统J.电脑知识与技术,2017,13(34):232-234.用户用户交互模块 权限管理任务定制结果输出数据挖掘模块数据处理统计分析机器学习文本处理数据管理模块基础计算与存储模数据管理元数据管理监测预警HDFSMapReduce存储服务图 2 功能模块示意图Fig.2 Schematic diagram of function module