基于边缘计算的农业物联网数据流处理设计.pdf

2023 年第 8 期102计算机应用信息技术与信息化基于边缘计算的农业物联网数据流处理设计苏 兵1SU Bing 摘要 在农业物联网体系的数据流处理过程中，主要目标是快速感知、发送和处理数据，提高物联网数据流的价值。本设计在现有物联网数据流处理技术的基础上，提出了基于边缘计算的数据处理体系结构模型。通过对基于感知和边缘计算层、传输层、云计算和数据共享层、应用层的数据处理和分析，探讨了农业物联网应用系统中数据流的采集和处理方法，对推进物联网农业信息边缘计算、云边协同和共享数据，提高农业现代化精确数据处理水平有着较大的促进作用。为农业物联网数据处理的进一步研究打下了良好的基础。关键词 边缘计算；农业；数据；物联网；EMQX；共享doi：10.3969/j.issn.1672-9528.2023.08.0221.广东培正学院 广东广州 510830 基金项目 广东省高等教育学会“十四五”规划 2022 年度高等教育研究课题:“思产学研”四位一体协同育人模式研究与实践，项目编号：22GYB165；教育部产学合作协同育人项目 2022 年第一批立项项目：网络空间安全产学研校企共建实践条件和实践基地项目，项目编号：2206010202529380 引言在农业物联网系统中有许多网关和节点，每个节点采集大量数据并上传到网关，然后每个网关将数据发送到中心云服务器进行处理，这势必会对服务器造成过大的压力，严重时甚至会导致服务器崩溃1-2。目前，农业物联网技术的应用面临诸多问题，例如：网络覆盖范围小、数据传输成本高、终端设备供电时间短等，限制它的发展。本文结合农业物联网、边缘计算、云计算机等相关技术，设计出适用于农业环境监测的覆盖范围更广、时延更低、功耗更低的智能物联网监测架构，重点研究数据流系统，更全面、准确、及时地了解农业环境因素，更好地提供精准种植。为农业生产的可视化管理与智能决策提供更准确的服务3。1 基于边缘计算的农业物联网体系结构设计边缘计算是一种分布式计算架构，它将应用、数据和服务的计算从中心云服务器转移到网络逻辑中的边缘节点4。边缘计算是云计算机的延伸，它能够分解中心云服务器处理的大型服务，并分发到边缘节点进行处理。边缘节点离数据源更近，可以加快数据的处理和传输速度，减少时延5。在此框架下，数据的分析和知识的生成更接近数据的源头，因此更适合处理农业物联网所产生的大数据。目前，物联网所应用的边缘计算技术能够在数据边缘就可以控制边缘的设备，无需经过中心云服务器处理 6。这无疑将大大提高处理效率和用户体验，减少数据传输成本和中心云服务器的负载。因为边缘计算离用户更近，能够更快的响应用户的需求，在边缘解决就能他们的需求，无需向中心云服务器发起请求。该基于边缘计算的农业物联网体系结构设计依据物联网的架构原则和农业产业的实际需求，提出了对农业物联网分层的结构模型，该模型由五层组成，分别是：感知层、边缘计算层、网络层、云边缘协作与共享数据层和应用层，如图 1 所示。感知层使用主流的农业物联网传感器采用原始的农业数据，并及时地物联网传输协议将数据上传边缘计算层。边缘计算层自动地将数据处理任务分配到离农业物联网终端设备更近的边缘节点进行处理，从而大大降低了网络传输延迟，提高了数据处理的实时性，另外，边缘计算可以避免敏感数据通过公共网络进行传输，并且边缘计算层应用主流的信息安全机制直接与农业工作者进行通讯，不但提高数据隐私性和安全性，而且提高用户体验。网络层应用互联网传输协议将边缘计算层的数据同步到多外边缘计算节点或中心云端服务器，以便于恢复和重建出现异常的数据。应用层可以连接边缘计算节点或中心云端服务器，为农业工作者提供高价值的信息。图 1 农业物联网体系结构 2023 年第 8 期103计算机应用信息技术与信息化采用边缘计算技术的农业物联网体系能降低网络延迟，减少数据传输成本，提高数据处理效率和数据隐私性，同时也提高农业工作者的使用体现。2 农业物联网体系的数据处理周期在农业物联网系统运行过程中，传感器采集大量的原始数据，边缘计算技术能及时对其进行处理，产生有价值的信息，然后以多种方式发送给用户，如文本、图像、图表、电子表格等。因此可将农业物联网系统的数据处理周期分为三个基本阶段：输入和边缘计算阶段，云边缘协作和共享数据阶段，输出阶段，如图 2 所示。图 2 农业物联网体系的数据处理周期2.1 输入与边缘计算阶段输入是一个基本阶段，后续的数据处理和输出完全依赖于此。数据由各种农业传感器采集，转换成机器可读的形式，然后无线传输到就近的边缘计算节点进行处理7。在边缘处理数据可以保证更短的响应时间和更好的可靠性。为了提高数据的时效性，边缘计算节点引入了边缘计算数据库。2.2 云边缘协作和共享数据阶段农业物联网系统的传感器将采集大量数据，除了边缘计算处理数据外，云边缘协作将有效提升其价值。并利用共享数据，有效控制农产品检测、生产、销售和出口流程，降低食品安全风险，确保高质量产品8。2.3 输出阶段输出阶段有 2 种连接模式：边缘模式和云模式。当农业工作者用户终端靠近边缘计算节点，它们会自动地连接边缘计算节点，从而减少对集中云的高质量连接的依赖，实现实时访问农业数据，进而达到农业精细化管理；当用户终端远离边缘计算节点，将自动地通过 5G 或 Wi-Fi 连接中心云服务器，用户也能远程监控农业数据9。另外，用户也可通过手动设置连接模式来满足自身的需求。3 农业物联网体系中数据处理设计在农业物联网的数据处理过程，感知层对数据的采集和传输，边缘计算层对数据的实时处理和优化，网络层、云计算和共享数据层对数据的传输进行云边缘协同操作，共享和存储数据，最后在应用层对数据进行处理并输出给用户，同时也为用户提供个性化的信息查询业务。3.1 采集和传输数据数据的采集是农业物联网至关重要的一个环节，为了高效地采集海量的农业数据，采集数据的设备采用性能超强的STM32F103ZET6 单片机。该单片机能够连接各种传感器来采集农业生产的环境数据，例如温度、湿度、渗透率、土壤pH 值等，这些传感器种类众多，例如光敏传感器、土壤温湿度传感器、土壤 pH 值传感器等，它们能够对环境中的各项数据进行采集，是系统的基础部分，如图 3 所示。该单片机也能够连接控制传感器模块、Wi-Fi 模块等外设，采用 6 V的太阳能电池板供电，解决了该边缘设计的供电问题。图 3 STM32F103ZET6 单片机连接框图STM32F103ZET6 单片机采用 Cortex-M3 内核，具有高性能、低功耗、高代码密度和高可靠性等特点。Cortex-M3内核支持单周期乘法、单周期硬件除法，以及 DSP 指令集，能够大大提高数字信号处理的效率。该处理器还支持外部存储器接口和 80 多个外设，包括 12 位 ADC、DAC、定时器、PWM 输出、USART、SPI、I2C、USB、CAN、SDIO 等，并且其功耗也特别低，可以满足对农业原始数据采集和传输的需求10。该单片机通过丰富的外设接口连接控制模块、数据传输模块和各种采集农业原始数据的传感器，例如光敏传感器、土壤湿度传感器土壤 pH 值传感器等，以下是这些外设的工作过程。（1）光电传感器在没有光的情况下，光电二极管的饱和或暗电流非常小，因此光电二极管处于关闭状态。当被照射时，光电二极管通量的饱和率显著增加。（2）当土壤湿度传感器探测器悬挂时，晶体管的基极处于开路环境中，因此三极管的基极断开，三极管输出是零。当探头进入地面时，接地电阻值根据地面的含水量而变化。它通过下降环将“高湿度”和“低湿度”信号传输到编码器，编码器将信号传输到主控制器以确定控制状态。2023 年第 8 期104计算机应用信息技术与信息化（3）在农业生中风的作用非常重要，通过对风速和风向的测量来发展农业。风速风向传感器将风速大小和风向转换为电压信号，再由 A/D 转换芯片和运算放大器将这两个模拟信号转换为数字信号。（4）采用了 DHT11 的空气温湿度传感器对空气温湿度的采集非常准确，通过集成温湿度传感器和微处理器于内部，它能够实现数据采集、处理和传输的功能。（5）土壤pH值传感器一般被埋在作物根部的周围硬件，利用化学反应中的氧化还原反应产生的电流，而电流数值传输给单片机。（6）控制模块可以对常用的农业生产设备进行控制，有效地促进农作物健康生长，如：水泵、湿帘风机、喷淋滴灌器、遮阳设备、加温补光灯等。同时也能控制 LED 灯和蜂鸣器等来提示农业工作者各种设备的工作状态，便于维护采集和传输数据的设备。（7）Wi-Fi 模块采用 ESP8266，并使用 MQTT 协议与边缘节点进行通讯，从而有效地实现农业原始数据的上传和将边缘节点的命令下发至单片机，再由 STM32F103ZET6 单片机执行下发的命令。3.2 边缘计算处理数据通过在靠边农业数据源的地方搭建 EMQX 服务器处理来自原始的农业数据流，能满足亿级的 MQTT 服务订阅。MQTT 三种身份：发布者、代理、订阅者11，发布者和订阅者都为农业工作者用户终端，代理为 EMQX 服务器，同时消息的发布者也可以是订阅者。如图 4 所示，用户终端或边缘设备先订阅或发布相关主题，然后数据库保存数据设备产品项目定义主题，同时也存到 Redis 中，接着 EMQX 服务器通过主题做出相关数据分析，最后将分析结果向需求方输出，这使得农业工作者实时掌握所需的农业数据，从而做出及时的解决方案。在带宽空闲时，EMQX 服务器自动上传数据到中心云服务器，为后期做决策准备数据。图 4 MQTT 集群EMQX 支持分布式集群架构，其高可用性、可扩展性及容错性使得它能处理海量客户端和消息。集群中所有节点者能通信，能够轻松地实现共享订阅、发布消息等信息，并且节点间自动分配负载和维护数据的多个副本来提供数据冗余，使得集群能正常地运行。EMQX 将消息转发和投递给各节点上的订阅者，同一个主题的订阅者可能会绑定到不同节点，需要在集群中维护与之相关的数据结构：订阅表，路由表，主题树。主题树存储有关主题层次结构的信息，用之匹配消息与订阅客户端。当订阅客户端完成订阅后，EMQX 会维护相应的主题树和路由表，主题树被复制到集群的所有节点。当一个客户端发布消息，它所在的节点会查找路由表，并根据消息主题将消息转发到对应的节点。然后，接收到消息的节点会查找本地订阅表，并将消息发送至对应的订阅者。下面是一个主题-订阅关系的例子，如表 1 所示。（1）客户端 03 连接节点 03，并发布一条主题为 t/a 消息；（2）节点03 通过查询主题树获取匹配的三个主题：t/#，t/a，t/b，并通过查询路由表获取节点 01 关联 t/a，节点 2 关联 t/#，节点 4关联 t/b；（3）节点 03 路由消息到节点 01、节点 03 和节点04，这些节点获取到消息，并根据各自的订阅表将消息推送给各自的订阅客户端。表 1 主题-订阅关系表客户端节点订阅主题客户端 01节点 01t/+/x，t/a客户端 02节点 02t/#客户端 03节点 03t/+/x客户端 04节点 04t/+/y，t/b3.3 云边协作和多云共享数据农业传感器采集数据后，将数据上传到边缘节点，边缘节点将立即执行部分处理，只将复杂和困难的信息上传到中心云服务器。另外，当带宽空闲时，边缘节点将数据同步到中心云服务器。储存在中心云服务器的数据一般为非实时，且长期的数据，用于农业生产决策场景，而边缘节点的数据是实时的和短期的，对局部决策非常有用。通过与国内外授权机构共享农业物联网数据，能够大大提高农业大数据的价值，为决策者保障国家和世界粮食安全提供科学依据。如政府监管、企业管理、消费者查询服务等，充分发挥一图给用户的原则，汇总所有数据，灵活显示数据。4 结语边缘计算的出现大大地减轻中心云服务器的负载，本省了传输的成本，并且有效地提高了数据的价值和用户的体现。通过云边协作和多云共享数据，让农业大数据的价值更显价值。边缘计算节相比中心云服务器更接近数据源，通过先进的 STM32F103ZET6 单片机连接多种农业传感器采集农业原始数据，对采用的数据通过 MQTT 协议上传到就近的边缘节点，部署了EMQX服务器的边缘节点高效地对数据进行处理，并及时地将结果发送给农业工作者，便于他们在田边的决策。2023 年第 8 期105计算机应用信息技术与信息化边缘节点的数据也定期上传至中心云服务器，方便云边协作和多云共享数据，也为农业生产的重要决策提供支持。针对农业物联网存在的问题，本文从基于边缘计算的农业物联网进行论述，设计出基于边缘计算的农业物联网体系结构，探讨了该结构的数据处理周期，设计出农业物联网的采集和传输数据的边缘设备，并采用了高性能的物联网服务器 EMQX 来分析和处理复杂的农业原始数据，而且探讨了云边协作和多云共享数据。该设计对提高农业现代化精确数据处理水平和促进农业智能化有着较大的作用，为农业生产的决策提供科学的数据支持。参考文献：1 CHEN B T,WAN J F,ANTONIO C,et al.Edge computing in IoT-based manufacturingJ.IEEE communications magazine,2018,56(9):103-109.2 卢玉华,高文俊,张伟.基于边缘计算技术的终端设备远程部署节点智能识别研究 J.计算技术与自动化,2022,41(1):175-179.3 吴建伟.中国农业物联网发展模式研究 J.中国农业科技导报，2017,19(7):10-16.4 金乐乐.基于边缘计算的智能型全站仪自动监测系统研究D.成都：西南交通大学,2021.5 祝文军,李炎,杨成,等.基于电力物联网的边缘计算技术应用 J.电子技术,2021,50(5):182-183.6 陈晓江,叶运球,蒋道环,等.基于边缘计算技术的智能集中器多元负荷管理设计 J.电测与仪表,2021,58(8):17-27.7 严峥晖.边缘计算技术在安防行业的发展及应用 J.无线互联科技,2019,16(7):145-146.8 彭智.边缘智能与智能边缘计算技术的分析 J.集成电路应用,2021,38(3):70-71.9王辉.移动边缘计算技术在未来移动通信网络中的应用J.信息通信,2019(6):238-239.10 陆洋,陶杰.基于 STM32F103ZET6 的水培生菜生长环境远程检测系统设计 J.电子制作,2021(17):25-27.11 胡启洲.MQTT EB/OL.(2022-05-15)2023-02-01.https:/ 修回日期：2023-04-21）交互，并且数据的增、删、改、查都是内存操作，大幅降低了数据操作的延迟，保证了系统的高并发和高性能。数据在辅存中有完整的备份，即使服务器宕机，重启后 Redis 可以重新加载数据。此外，系统采用分布式架构，每台服务器上的数据至少有 1 个副本，保证数据的安全性。参考文献：1 杨帆,李飞,舒继武.安全持久性内存存储研究综述 J.计算机研究与发展,2020,57(5):912-927.2 詹天晟,陈德华,乐嘉锦,等.基于海量搜索历史数据的用户兴趣模型 J.计算机应用,2014,34(2):126-129+139.3 夏秀峰,张赫男.基于 NoSQL 的 PDM 版本管理 J.计算机技术与发展,2016,26(10):22-26+31.4 李俭,郭川军,姜微.计算密集型海量数据查询处理关键技术分析 J.交通科技与经济,2015,17(4):110-113.5 周恩强,张伟,卢宇彤,等.一种面向大规模数据密集计算的缓存方法 J.计算机研究与发展,2015,52(7):1522-1530.6 杨亮亮.Oracle 数据库处理海量数据的技术分析 J.信息技术与信息化,2020(11):25-27.7 施晓峰.基于分布式 NoSQL 数据库的档案大数据存储与检索方案研究 J.计算机应用与软件,2019,36(5):15-20.8 闵昭浩,杨卓凡.NoSQL 数据库与关系型数据库对比 J.电子技术与软件工程,2021(14):199-201.9 吴广君,王树鹏,陈明,等.海量结构化数据存储检索系统J.计算机研究与发展,2012(S1):1-5.10 陆会明,周钊,廖常斌.基于实时数据库系统的历史数据处理 J.电力自动化设备,2009,29(3):127-131.【作者简介】刘辉（1981），男，河北唐山人，硕士，高级工程师，研究方向：民航信息化技术。李亮（1977），男，湖南祁阳人，硕士，高级工程师，主要研究方向：民航信息化技术。李莉（1980），女，北京人，硕士，高级工程师，研究方向：民航信息化技术。卢钰新（1983），男，北京人，学士，工程师，研究方向：民航信息化技术。（收稿日期：2022-12-10 修回日期：2023-01-15）(上接第 101 页）