基于Linux 的模块化图像采集系统设计.pdf

1522023 年 10 月下Agricultural Machinery and Equipment农业机械与装备基于 Linux 的模块化图像采集系统设计余靓辉1，吴刚1，石金进2（1.三峡大学机械与动力学院，湖北 宜昌 443002；2.福建工程学院交通学院，福建 福州 350118）摘要：【目的】近年来，图像采集技术已广泛应用于各大智能装备领域，但传统图像采集系统因过度依赖PC，导致整个智能机械体积大、成本高，不利于企业研发生产。【方法】研究小组设计了一种基于Linux的模块化图像采集系统取代PC，该系统主要包括硬件设计和系统程序设计。其中，硬件设计主要为外围设备的电路设计，包括图像采集、图像传输、图像显示等硬件模块部分，而系统程序设计主要为嵌入式Linux系统搭建、外围设备驱动程序和摄像头采集图像信息流程。【结果】对系统进行了测试验证，摄像头采集的图像信息在HDMI显示屏上显示正常，并且可以设置摄像头的亮度、曝光、白平衡等信息。网口网速平均可达938 MB/s，稳定且不丢包，满足该系统高速传输功能需求。【结论】该系统各模块工作正常，能够达到预期效果，适合工厂批量化生产，在未来的农业生产、医疗器械、产品检测等智能机械领域有着非常广阔的应用前景。关键词：图像采集；嵌入式；模块化；智能机械中图分类号：TP274 文献标志码：A DOI：10.3969/j.issn.1672-3872.2023.20.040图像采集技术是利用摄像头实时获取图像信息的手段1，图像信息能够更加真实地反映事物的外观特点，且精确程度较高。因此，该技术在工业和科学领域应用越来越广泛并受到相关研究人员的关注，尤其是在智能机械领域，但也随之呈现出不足之处。传统的图像采集系统依靠摄像头进行拍摄，而后期的显示处理则需依靠个人计算机（Personal Computer,PC），一台智能机器配备一台PC，对于空间有限的工业安装非常不友好，并且成本和功耗都较高。综上所述，本文对传统的图像采集系统进行改进，设计了一种基于Linux的模块化图像采集系统2，该系统所需体积小、成本低，可以满足大部分智能机械需求。1 系统总体架构该图像采集系统设计主要分为硬件和软件两个部分。硬件部分主要包括主控芯片、图像采集模块、图像显示模块和数据传输模块；软件部分主要包括嵌入式Linux系统、外围设备的驱动程序以及图像采集与显示流程。系统总体架构如图1所示。2 硬件结构设计图像采集系统的硬件平台设计方案采用主控开发板加外围设备的方式，硬件结构框图如图2所示。主控芯片使用的是国产厂商瑞芯微生产的RK33993，该芯片一共有6个核心处理器，主频最高可达2.0 GHz。另外，此芯片支持千兆以太网网络通信，接口资源丰富，支持USB3.0、HDMI、MIPI双摄像头等设备接口，整体性能优异。在功能上也有很大的优势，能够播放各种超高清4K视频，能处理复杂的互动操作等。系统通过摄像头采集图像信息，采集完的图像信息经过ISP编码压缩4，而后通过通用串行总线（Universal Serial Bus,USB）Type-C接口传输至操作系统进行解码处理，系统处理后的图像再通过高清多媒体接口（High Definition Multimedia Interface,HDMI）传输至显示屏进行显示。而最终的图像信息需提供给用户分析储存，因此在上述基础上添加了以太网传输模块，用户可通过以太网网线直连，将图像信息高速传输至PC。其他驱动以太网驱动嵌入式系统（Linux内核）Type-C驱动HDMI图像采集驱动图像显示图1系统总体架构2.1 图像采集模块图像采集模块采用第三代嵌入式图像采集技术5，该技术可以提高图像实时性，增大传输距离，提高图像质量，同时还能够对采集到的图像进行高速压缩作者简介：余靓辉（1999），男，湖北钟祥人，在读硕士研究生，研究方向为嵌入式系统。2023 年 10 月下153Agricultural Machinery and Equipment农业机械与装备处理，来降低视频图像对传输速率和存储空间的要求。在接口设计上采用Type-C接口，它是USB的一种硬件接口标准，集充电、显示、数据传输等功能于一身6。Type-C接口最大的特点是支持正反两个方向插入，传输速度可达10 GB/s，向下兼容USB1.0和USB2.0，并且支持热插拔。在Linux系统下，Type-C有V4L2标准协议支持，并且可以将驱动加载于系统当中，因此非常适合应用在获取和传输图像数据的过程中，其电路原理图如图3所示。USB摄像头USB以太网EMMCHDMIRK3399PCHDMI显示器核心板图2硬件结构框图图3Type-C电路原理图摄像头在 Type-C 接口正常工作只需要 4 根线，两根差分信号线DN和DP用于数据传输，VBUS用于给外围设备提供电源和 GND，保证接口的通信正常。2.2 图像显示模块图像显示模块采用 HDMI 接口，它是一种较新的视频和音频传输接口7，目前在功能上已基本替代 VGA（Video Graphics Array）接口。相较于VGA，HDMI 可以传输音频且插拔方便，简化了设备的接口和连线，也提供了更高的数据传输带宽，能够传输高清无压的视频和音频信息，其电路原理图如图4所示。开发板先给 HDMI 模块提供 5 V 电源，供电正常后，该模块会检测IIC总线通信是否成功，此处可检测 HDMI 的热插拔功能是否正常。通信成功后，HDMI接口只发送、不接收，以此完成数字图像信息的传输。图4HDMI接口电路原理图2.3 以太网传输模块以太网是现实世界中最普遍的一种计算机网络，它实现了网络上无线电系统多个节点发送信息的想法。相较于目前使用广泛的无线局域网，以太网网线直连的稳定性、抗干扰性则要强很多，也正因此特性，常常选择使用以太网进行系统的图像数据传输，其电路原理图如图5所示。图5以太网模块电路原理图该模块含 4 对差分信号线（MDI0+/MDI0-,MDI1+/MDI1-,MDI2+/MDI2-,MDI3+/MDI3-），差分信号线两对发送两对接收，等长设计，旨在解决千兆以太网通信缓慢和丢包的问题。利用修改线长TXDLY/RXDLY使4对差分信号线延时统一，实现千兆以太网的最佳通信8。2.4 其他模块除了以上的图像采集、图像显示和以太网传输模块，还需要其他模块的支撑，例如用于测试的串口模块，通过串口通信的方式实现核心板与PC的连接9，便于程序开发和功能调试；还有开发板必需的存储模块EMMC，该模块可以提供开发板固件的烧录地址，使开发板得以正常运行。3 系统程序设计该图像采集系统主要包括底层驱动开发和上层应用开发两大部分。底层驱动是与硬件直接联系在一起的，包含了引1542023 年 10 月下Agricultural Machinery and Equipment农业机械与装备导加载程序、Linux操作系统内核、根文件系统和外围设备的驱动程序，它们组合在一起形成了一个完整的嵌入式Linux系统，并运行在核心板上。上层应用是根据底层驱动提供的设备节点去通信和调用的外围设备，在底层驱动的基础上，设计ISP图像编解码和图像显示的程序10。3.1 嵌入式Linux系统搭建系统搭建主要由以下几个步骤完成。步骤1：移植引导加载程序，完成内存初始化等基本工作，启动内核并把CPU控制权交给内核。步骤2：定制Linux操作系统内核，为上层应用提供必需的设备节点，裁剪不需要的功能，提升内核的启动运行速度。步骤3：搭建根文件系统，为系统提供配置文件载体，为上层应用程序提供所需的稳定环境。步骤4：修改内存地址分区表，使程序能够烧录并稳定运行在开发板中。3.2 图像采集与显示流程模块化图像采集系统流程如图6所示。开始摄像头采集图像ISP图像处理RK3399图像显示结束YUVRGB编码解码图像处理Type-CHDMIPC以太网图6图像采集流程图由摄像头采集得到外部最原始的图像信息，而后，ISP 模块对图像进行处理，将最原始的 YUV 格式图像信息转换为能更好地被该系统处理的RGB格式，对转换后的图像信息进行编码压缩，便于传输；压缩后的文件经Type-C高速传输至主控RK3399，主控对文件进行解码后可通过千兆以太网将信息传输至PC查看分析，也可直接通过HDMI接口将信息传输至显示屏上显示。4 系统测试本系统的最终目的是实现核心板替代PC，因此，最重要的是保证外围设备驱动在核心板的程序下正常运行，通过内核配置驱动，可在文件系统中查看外围设备相应的设备节点，同时，摄像头采集的图像信息会在显示屏上实时显示，如图7所示。图7摄像头采图摄像头采集的图像信息在HDMI显示屏上显示正常，并且可以设置摄像头的亮度、曝光、白平衡等信息。为保证以太网高速传输的功能正常，对网口网速也进行了测试，如图8所示。图8以太网测试由图8可知，该模块网速平均可达938 MB/s，稳定且不丢包，满足该系统高速传输功能需求。5 结束语本文提出了一种基于Linux的模块化图像采集系统，该系统可以采集外部图像信息，将采集的信息实时有效地传输至显示屏显示，并且可以通过以太网传输模块将图像数据高速传输至PC端供用户查看分析。该系统相较于传统的图像采集系统，具有体积小、成本低、传输速度快等特点，适合工厂批量化生产，在未来的农业生产、医疗器械、产品检测等智能2023 年 10 月下155Agricultural Machinery and Equipment农业机械与装备机械领域有着非常广阔的应用前景。参考文献：1 任天乐.基于机器视觉的农业机器人自主作业研究J.南方农机，2020，51(16)：26-27.2 胡锦欣，秦工，裴思垚，等.基于Linux的图像采集及通信系统J.电子世界，2020(22)：131-132+135.3 柯飞雄.基于RK3399多主机系统实现方法J.通讯世界，2020，27(4)：51-52.4 黄晨宇.基于Linux的图像实时解码系统软件设计与优化D.武汉：华中科技大学，2021.5 李秋红，范世坤，牟向阳，等.基于嵌入式的植物生长补光灯设计J.南方农机，2023，54(5)：128-131.6 王明成.一种嵌入式USB图像采集系统的优化方法J.福建电脑，2021，37(12)：64-66.7 陈梅金，张赛男.基于HDMI输出的大屏幕显示系统研究与设计J.电子技术与软件工程，2020(2)：110-112.8 李林.基于FPGA的千兆以太网传输系统设计和实现J.南方农机，2023，54(4)：30-35.9 胡庆，杜小丹，陈辉.基于ARM9的嵌入式图像采集与显示系统设计J.成都大学学报（自然科学版），2017，36(2)：176-178+208.10 段梦月，赵宏亮.微型CMOS图像采集存储系统设计J.仪表技术与传感器，2021(9)：78-81+86.造中深受关注与重视。我国提出了制造2025规划以及国际上工业4.0战略的发展，全球制造行业已经呈现出智能化的发展趋势。工业智能化生产制造的模式势必会取代传统制造业以往陈旧落后的生产制造模式，在工业生产中将会更加广泛地应用智能机床、工业机器人以及打印机等智能设备，进而在智能产品与设备的应用下形成更加先进的表现。在工业智能化的发展趋势下，包括理念、技术、装备以及产品上的创新，将会促使制造企业实现转型升级，充分节约生产成本并提升生产制造效率。作为智能工厂以及智能生产的代名词，工业机器人的应用是工业智能化的前沿应用手段，并且实现了更加有效的生产制造，作为智能化基础，工业机器人的存在是智能化工业生产车间的基础设施应用。而在工业机器人之间呈现出更加复杂的智能化发展趋势的背景下，对于远程监控以及故障诊断技术等提出了更高的要求，为更好地为智能化生产提供保障，在进入到大数据时代之后，应对远程监控以及故障诊断技术加以创新，促使其逐渐呈现出智能化的应用趋势，在今后的发展中能够更好地为工业机器人以及工业智能化生产领域提供服务。5 结语综上所述，在工业机器人的应用领域，基于远程监控与故障诊断的技术流程，包括信息采集处理系统、远程监控系统以及故障诊断模块，在跟随现代科学技术不断发展的过程当中，将会形成更加智能的应用表现。融合网络技术、人工智能以及计算机系统等形成了具有高精度、高可靠性的远程监控与故障诊断应用，将会为工业机器人的应用提供更加良好的保障。参考文献：1 王晓蓥，李帅永.基于参数联合优化VMD-SVM的工业机器人旋转部件故障诊断方法J.计算机测量与控制，2023，31(5)：62-72.2 徐淑琼，袁从贵，甘伟.基于协同模糊支持向量机的工业机器人故障诊断研究J.现代制造技术与装备，2023，59(3)：196-199.3 胡旭东.基于网络的异构工业机器人集成技术研究D 杭州：浙江大学，2004.4 康晋.基于LoRa无线通信的工业机器人远程监控系统设计J.计算机测量与控制，2022，30(9)：119-124+132.5 禹鑫燚，应皓哲，郑坤.虚实结合的低延时工业机器人监控调试系统J.高技术通讯，2022，32(12)：1273-1282.6 朱文玲.工业机器人故障诊断技术的发展趋势J.南方农机，2020，51(20)：185-186.7 傅贵武，田英，王兴波.基于SDK通信接口的工业机器人远程监控系统设计J.机床与液压，2020，48(17)：29-33.8 关金祥，王国乾，刘杰.基于视觉检测的机器人分拣系统及其远程监控的设计J.自动化应用，2019(9)：78-79.9 陈亮，杨晓艳，彭林.工业机器人在线控制和远程监测系统设计与实现J.机电工程技术，2019，48(9)：121-123+170.10 侯智，陈进.工业机器人远程监控与故障诊断研究综述J.机床与液压，2018，46(15)：172-176+168.（上接第149页）