AR SAM在邮包测量上的应用研究.pdf

第39 卷第5期2023年9 月DOl:10.13955/j.yzyj.2023.05.02.06邮政研究Studies onPostsVol.39 No.5Sept.2023AR+SAM在邮包测量上的应用研究李岩，王彦明，孙宁，王月春*（石家庄邮电职业技术学院，河北石家庄0 50 0 2 1）摘要：详细介绍了一种智能测量系统，该系统主要由终端App和后台服务器组成，可以实现对待测物体的快速和精确测量。在包裹揽收作业中，系统可以自动生成最小包围盒，准确计算物体的长、宽、高和体积，从而提升揽收效率，优化揽收流程，节约人力成本。关键词：AR；SA M；包裹揽收；体积测量；智能；自动计费中图分类号：F61文献标识码：A随着电子商务的蓬勃发展，邮政快递包裹处理量急剧增长，仅在2 0 2 2 年的元旦假期，就处理了超过2 1.3亿件包裹。随着服务深人到千家万户，收件员计费的准确、标准、方便、快捷化越来越成为管理人员关注的问题。依据中国邮政邮件计费规则，邮件资费收取的依据是重量和体积，按照既定资费标准和计算公式计算。目前，揽收人员使用电子秤和刻度尺分别测量邮件的重量和体积。然而，在体积测量方面，使用刻度尺的步骤繁琐且效率低下、准确度不够。此外，复杂的资费计算使寄件人不得不依赖揽投人员的计费结果。随着移动设备硬件性能的提升以及增强现实和深度学习算法的快速发展，使得利用移动设备摄像头实现邮件体积的智能测量成为可能。因此，如何将先进的增强现实和物体识别技术应用于物流快递行业，实现一键测量物体体积，并自动计算给定重量和区域的邮费，从而节约时间成本并提升寄件基金项目：河北省高等学校科学技术研究项目资助（项目名称：基于VIO算法的AR量方软件研究与实现；项目编号：ZC2022067)。作者简介：李岩（19 8 8 一），男，山西灵丘人，硕士，讲师，主要从事虚拟现实、增强现实研究；王彦明（19 9 5一），男，河北辛集人，硕士，讲师，主要从事大数据与人工智能研究；孙宁（19 9 0 一），男，河北行唐人，硕士，讲师，主要从事机器学习、图像识别等研究；王月春（19 7 3一），男，河北迁安人，通信作者，副教授，主要从事大数据、云计算、人工智能等研究。收稿日期：2 0 2 3-0 5-31人体验，成为邮政服务的一个值得深入研究的课题。本文试图通过增强现实（AR）技术、图像分割技术，研究智能测量系统的开发方案，以期解决传统测量效率和准确度低、计费繁琐的问题。1智能测量系统技术方案选择智能测量系统的研究与开发，旨在创建一个用于揽收人员测量邮件尺寸的智能测量系统，力图便捷、高效、易推广。在系统性能方面，尽可能做到人机友好，减少用户的操作步骤，实现一键式测量。此外，系统直接显示计费结果，无需工作人员进行二次计算，能显著缩短测量时间，从而大幅提升整体工作效率，改善用户体验，同时节约人力成本。在系统推广方面，注意两个重要因素：一是测量设备应具有易于普及性，因为手机是在现代生活中普及性较强的移动设备，因此系统应满足把手机作为客户端安装运行的条件，并且兼容iOS和Android本刊网址：8第5期系统；二是服务成本需要保持在合理的较低水平，推广使用该系统不仅能提升作业效率，还可以降低企业的成本。在当今科技高速发展的环境中，有许多技术可以应用于物体测量并满足上述需求，包括计算机视觉技术、激光测距技术、传感器技术以及AR技术。计算机视觉技术是一种基于图像处理的测量方法，能够实现对图像中物体的尺寸、形状、位置等信息的检测和识别。然而，由于计算机视觉技术对光照条件、拍摄角度等因素较为敏感，且需要复杂的算法支持，因此在实际应用中存在精度不高、计算复杂度大等问题。激光测距技术通过发射激光束并接收其反射回来的光束来测量距离，从而计算出物体的大小。尽管这种技术的精度相对较高，但是激光测距设备通常价格较高，且需要专业人员进行操作，不适合大规模推广使用。传感器技术通过传感器测量物体的尺寸、质量等信息。传感器种类繁多，包括超声波传感器、红外传感器等。然而，这种技术需要硬件设备支持，安装和维护成本相对较高，且可能受到温度、湿度等环境因素的影响。AR技术通过在现实环境中加入虚拟的计算机生成的信息，使用户能够在现实环境中实时地感知和互动。AR技术结合了计算机视觉和传感器技术的优点，同时降低了硬件设备的依赖性，且具有良好的用户交互体验。对比各种技术优劣，系统选择AR技术作为环境识别技术。AR技术在特定应用场景中存在一定的局限性，例如无法直接支撑物体的选择与分割，因此需要引人其他技术以实现更准确的测量。目前，有多种技术可以实现物体的选择与分割，例如传统的图像处理技术、传感器技术及深度学习技术。传统的图像处理技术，如边缘检测、阈值分割等，虽然实现简单，但在处理复杂场景和不规则形状物体时，准确度难以保证。传感器技术，例如红外传感器或超声波传感器，能够提供相对准确的测量结果，但需要特定的硬件设备支持，增加了系统的复杂性和成本。深度学习是一种模仿人脑工作原理的机器学习算法，能够从大量数据中自动学习和提取复杂特征。对于邮包测量问题，深度学习可以自动提取出邮包的特征，从而实现精确的邮包分割。综上所述，鉴于深度学习技术在处理复杂场景和不规则形状物体上的优越性，以及其强大的自我学习和适应一9李岩等：AR+SAM在邮包测量上的应用研究1.1AR环境认知在计算机视觉识别和测量邮件过程中，环境认知是一个重要步骤，也是AR技术的核心之一；其通过采集视图和相机位置参数来识别当前会话场景，理解视图与相机的位置关系，并构建环境的三维结构信息。在现有的AR技术中，主要框架包括苹果的ARKit、谷歌的ARCore、微软的HoloLens以及跨平台的ARFoundation等。ARKit是苹果公司开发的一种AR开发框架，能够为iOS设备提供强大的AR功能。ARKit支持空间追踪、环境理解、物体检测与跟踪等功能。但是，ARKit只能用于iOS设备，无法适用于其他操作系统。ARCore是谷歌公司开发的AR技术，功能与ARKit相似，同时，ARCore只能用于Android设备，无法适用于其他操作系统。微软的HoloLens则是一款具备自我运算能力的混合现实（MR）设备，可以在真实世界中展现和交互虚拟物体。HoloLens提供了强大的空间追踪、物体识别和手势识别等功能，但其硬件价格昂贵，且主要面向企业用户。ARFoundation是一款Unity引擎提供的跨平台的AR开发框架，其集成了ARKit和ARCore，能够在iOS和安卓设备上提供统一的开发接口，简化了跨平台开发的复杂性。此外，ARFoundation还支持各种AR特性，如空间追踪、平面检测、光照估计、物体跟踪等。综合比较，系统选择使用ARFoundation作为开发框架。ARFoundation能够兼顾iOS和安卓两大主流平台，同时具备了ARKit和ARCore的主要特性，无论是在功能性、兼容性，还是易用性、普及难度方面，都能满足系统的需求。ARFoundation为智能测量系统提供具备环境认知能力的AR会话，主要提供已识别的特征点群（点云）。每个特征点包含当前会话场景下此点的三维坐标数据和一个唯一标识符。此外，ARFoundation还能生成与用户当前在屏幕上看到图像一致的二维图像。在测量系统中，确定位于待测物体内部的特征点群即可以确定该物体的最小包围盒及其顶点，再通过测量顶点之间的距离来计算包围盒的体积。然而现有的AR框架并不提供物体边缘识别功能。第39 卷能力，系统选择深度学习作为邮包选择与分割的核心技术。第5期因此本研究提出了一种筛选待测物体内特征点群的方案：首先，利用Unity场景与屏幕坐标转换API将所有特征点转换为屏幕坐标点；其次，引导用户触摸屏幕上待测量物体区域，并记录手指坐标点；最后，将当前位图、转换后的特征点列表和触摸坐标上传至服务器。服务器根据用户触摸坐标确定待测物体区域，并筛选位于该区域内部特征点群并返回给终端。这样，复杂的三维边缘识别问题就转化为相对简单的二维边缘识别问题。终端接收到服务器回传的特征点列表，则可以根据该点云生成最小包围盒，对包围盒标记顶点，测量边长，从而计算出物体体积。1.2服务器图片分割模型服务器接收到终端传递参数后，根据手指触摸点位置选择待分割平面图像中物体，并对其进行分割。在过去的几年里，深度学习的进步使得图片分割的准确度显著提升。现在，有许多预训练的深度学习模型可以用于物体分割，包括U-Net、M a s kR-CNN、YO LA C T 和 SAM等。U-Net是一个用于生物医学图像分割的卷积神经网络（CNN），其使用一种对称的编码一解码结构，通过跳跃连接捕获不同级别的特征。Mask R-CNN则是一种基于区域的卷积神经网络（R-CNN），其在检测到的目标区域上应用一个额外的全连接网络，以产生精确的物体掩膜。YOLACT是一种用于实例分割的实时方法，其将实例分割视为直接生成预测掩膜和预测框的问题。SAM是一种新型的深度学习模型，其主要特点是可以处理任意形状和大小的物体，并且可以在各种背景下工作。不同于其他模型，SAM使用一种特殊的物体感知机制，能够在每一个像素点上生成精确的分割掩膜。这使得SAM在处理多样化和复杂的邮包测量任务时，表现出了极高的准确度和鲁棒性。尽管其他模型在特定场景下也有优秀的表现，但是考虑到邮政物流场景中物品形状、大小和背景的多样性，SAM模型是本系统的理想选择。因此，本研究将使用SAM模型进行邮包测量任务的实现，以达到高测量精确度和效率的目标。在SAM模型中，输入的数据是一张位图和识别点坐标，输出的数据是与输入图像像素相同遮罩矩阵。其中，选中物体的区域内坐标点被标记为TRUE，其他区域为FALSE。获得遮罩矩阵后，对一10邮政研究特征点列表进行遍历。当特征点坐标在遮罩矩阵中对应位置的值为TRUE时，将该特征点标记为待测物体内部的特征点。1.3通信方案在终端和服务器之间的信息传递方面，常见的通信协议主要有 HTTP、T CP/I P、FT P、W e b So c k e t等。TCP/IP是一个包括网络互连、传输控制和应用程序接口的协议集，是整个互联网的基础。TCP/IP能够提供可靠的、面向连接的网络通信，但其复杂性和开销较大。FTP（文件传输协议）是用于在网络上进行文件传输的协议。FTP允许用户在远程主机和本地计算机之间复制文件，但是这种方法在大量数据传输和实时反馈上较为缓慢。WebSocket是一种为实现全双工通信而设计的协议，可以在客户端和服务器之间提供实时、双向的通信。然而，WebSocket的复杂性和对资源的需求使得其在移动设备上的应用受到限制。相较之下，HTTP（超文本传输协议）具有许多优点。首先，HTTP是一个无状态的协议，每一次的请求和响应都是独立的，这使得其处理大量短期连接时非常高效。其次，HTTP的通信过程是明文的，容易理解，也方便开发者进行调试。最后，HTTP可以配合SSL/TLS等技术实现安全的通信，保护数据的安全性。因此，本研究选择了更为安全高效的HTTP传输协议。终端采用UnityWebRequest组件发送HTTP请求，通过请求不同的URL地址启用不同的服务器功能模块，同时接收服务器的响应。服务器端采用Nodejs的Express框架作为服务器来监听终端的请求。当终端传输位图等数据时，Node.js使用Spawn方式启动SAM程序，并以流的形式向模型传递初始数据。等待模型运算完成后，Express服务器接收计算结果并将结果封装后回传给终端。在数据格式方面，可选的数据格式有XML、JSON、PRO T O BU F等。XML是一种用于表示文档和数据的格式，具有极高的自由度和灵活性，可以自定义标签，但其复杂的语法和穴长的标记使得其在解析和传输时效率较低。PROTOBUF是Google开发的一种数据格式，具有高效的编码性能和强大的扩展性。然而，PROTOBUF的语法较复杂，需要额外的工具来生成和解析数据。相比之下，JSON具有许多优点。首先，JSON的语法简第39 卷第5期洁易懂，可读性强。其次，JSON的数据结构与许多编程语言的数据结构相容，使得其在数据解析和生成上非常高效。最后，JSON是一种轻量级的数据格式，其小巧的数据体积使得在网络传输中更加快速。综上，系统采用易于序列化的JSON字符串作为信息数据的格式。终端上传的信息数据主要包括以Base64格式编码的图片和数组格式的特征点列表。服务器回传的信息数据主要包含状态码和筛选后的特征点列表。信息数据在HTTP传输过程中的格式为序列化后的字符串。2智能测量系统整体操作流程智能测量系统由终端App与后台服务器两部分构成。当揽件作业时，揽收人员首先打开App扫描待测量物体，在此步骤中，要保持待测量物体占总环境的三分之二。当App提示可以开始测量时，揽收员将待测包裹移动与视图对齐，并在终端屏幕用手指点击待测量物体，App向服务器发送识别请求。App接受到服务器返回数据后，判断能否生成最小包围盒，能生成即在屏幕中显示包围盒并标注运算后的长宽高与体积，如不能生成则引导揽收员重新扫描。在App生成包围盒后，揽收员判断包围盒体积是否匹配待测物体体积，若能，则进入订单场景输入重量、出发地与目的地并上传服务器计算。最终，App显示此包裹的信息与计费结果，待寄件人下单缴费后，结束整个揽收流程（见图1）。开始李岩等：AR+SAM在邮包测量上的应用研究3.1.1环境认知场景环境认知场景的主要功能是认知被测量物体及周边环境，构建环境三维结构信息。在这个场景中，ARFoundation框架调用底层ARSDK来识别当前环境，并根据颜色、环境、光照等因素生成特征点。每个生成的特征点都包含会话三维坐标信息与一个唯一的识别码。由于在ARFoundation中,随着时间的变化，框架将之前生成的特征点销毁，只保留部分特征点，其数量不足以支撑体积测量运算，因此，场景将ARFoundation生成的所有特征点转存到一个列表中，以期达到存储所有特征点的目的。在场景中，环境认知完成的标志是特征点达到一定的数目，这个数目称为“标志数”，在此之前，场景使用进度条提示用户持续扫描物体。同时，该场景需要去除特征点列表的无效特征点。当一个特征点在屏幕上的投影坐标超出屏幕之外，就可以认为这个特征点不在测量场景范围内，这个特征点就是一个无效特征点。标志数的设置关系到系统的效果与用户体验：标志数越大，特征点就会越多，生成待测量包围盒的准确率就越高，测量效果越好，待测量邮件确认环境扫描认知完成第39 卷3智能测量系统功能智能测量系统功能分为终端App与后台服务器两个方面，其核心功能如图2 所示。3.1丝终端App核心功能位图、特征点云、触摸点等HTTPSAM数据预处理筛选后特征点云SAM图像分割判断是否能生成最小包围盒是输人重量、起点、终点等信息通过计泡算法计费图1智能测量系统操作流程一11一显示计费与订付费单信息订单完成流程结束第5期邮政研究第39 卷智能测量系统终端ApP后台服务器环境认知场景图像分制模块计费模块测量场景订单场景后台管理模块测量功能结果展示功能数据处理功操作提示功能点云识别功能下单功能付费功能SAM模型计费功能收款功能能员工管理功能业务数据管理图2 智能测量系统功能结构但扫描时间与要求也会更高；标志数越小，所需存储的特征点数目越小，扫描的时间就越少，用户体验越好，但测量的准确率越低。从目前的实验效果看，将标志数设置在10 0 是一个比较均衡的选择。环境认知完成后，场景UI提示用户选择被测量物体，用户单指触摸选择屏幕中物体，场景处理、打包信息数据并上传至服务器。3.1.2测量场景测量场景的核心功能是通过服务器返回的筛选后特征点列表，生成物体最小包围盒，并测量包围盒长宽高。当场景接收服务器回传的列表后，场景提示用户将终端微调使得待测物体视角对齐，随后生成最小包围盒并将包围盒的8 个顶点设为锚点。场景UI为用户展示长宽高三条边的长度，并显示物体的体积。在这个场景中，用户需要判断生成的最小包围盒是否刚好紧贴待测量物体，如果差距较大，还需要返回环境认知场景重新识别环境。3.1.3订单场景订单场景主要包含快递下单、邮资收费、展示单号等功能。当对邮件测量完成后就可以在订单场景输入参数并计费下单了。在订单场景中，用户填写邮件的重量、出发地（场景采用GPS自动识一12别）、目的地等参数，单击提交将数据上传服务器进行资费计算。接收到服务器回传数据后，场景展示资费、收款二维码等内容。寄件人缴费后，场景自动下单并展示下单成功的单号。3.2后台服务器核心功能3.2.1图像分割模块图像分割模块是智能测量系统中最核心的模块，其作用是分割终端上传的图片中用户选择的物体，筛选在此物体内的特征点群并回传给终端。此模块中包含一个使用Python语言实现的SAM模型，模型负责图像分割与特征点筛选。Express服务器接收终端数据后解码数据，启动模型并接收结果，再将结果编码后回传给终端。3.2.2计费模块计费模块的核心功能，一是依据邮政速递物流邮件计泡规则与终端订单场景上传的订单数据计算邮资；二是调用支付宝、微信等金融SDK生成收款二维码并响应寄件人付款行为；三是在寄件人付款后对接物流系统下单并将单号返回给终端。计费模块实现了业务从下单到下单成功的系统化，使收费系统化、标准化，提升了客户体验。3.2.3后台管理模块后台管理模块主要包括管理员工信息、推送第5期新加坡邮政荣获最佳创新策略奖和可持续发展承诺奖新加坡邮政公司在“2 0 2 3年世界邮政和包新加坡邮政的创新体现在POPDrop和裹奖”中荣获最佳创新策略奖和可持续发展承诺POPStops等全面支持电子商务的业务中。奖（高效碳生态系统和可持续包装）。POPDrop是一种自助投递箱，内置可追踪和新加坡邮政建立端到端的碳高效交付生态RFID技术，使商家能够通过端到端跟踪功能运系统。利用其广泛的邮政网络和基础设施，新加送包裹，提升整体用户体验。POPStops是专门坡邮政希望推动可持续发展，并鼓励行业中的绿服务于电子商务行业和消费者的人工服务中心，色电子商务。实现该目标的途径包括：日益精简在所有邮政局提供服务。POPStops为电子商务投递到邮政站点和信箱的流程，使其更加方便和行业和消费者提供新加坡最普遍和最方便的交付安全，扩大收件和投递点，所有包装均采用可回解决方案。收材料制成的环保包装。截至2 0 2 3年3月，新新加坡邮政曾经于2 0 17 年获得世界邮政和加坡邮政已将其在新加坡30%以上的快递车队包裹奖的便利零售客户奖，并在2 0 18 年获得技转为电动车，并承诺，到2 0 2 6 年实现自有配送术奖。车队的全面电气化。业务数据等功能，同时，模块还提供一个后台网站方便管理人员操作。员工设备管理功能：在智能测量系统中，区分不同员工揽收业务是通过终端上传数据时携带的设备码实现的。在员工设备管理功能中，管理员可以通过管理页面进行绑定员工工号与设备码、接触员工工号与设备码联系、添加员工、设置员工禁用等操作。业务数据推送功能：每当揽收员下单成功，模块都向对应的邮政员工的统计系统发送一条信息，方便统计系统统计员工业务量。业务数据查询与导出功能：系统可以通过此模块为管理员提供查询业务数据页面，包括时间区域内业务总量、时间区域内个人业务量、时间区域内地区业务量等。同时，管理员亦可以通过此模块下载数据报表。4结束语本文探讨了智能测量系统的构成及运作过程，并着重阐述了其核心功能。系统依靠终端App与后台服务器的紧密配合，能够迅速而精确地测量包裹的体积，结合重量的输入，快捷准确地计算出资费，优化了整个揽收流程，从而大幅提升了揽收效率，节约人力成本。李岩等：AR+SAM在邮包测量上的应用研究+.+.人包裹重量，这一步骤的人工参与性使得系统的智能化程度不够理想。在进一步的研究中，首先考虑系统集成传感器自动测量包裹重量问题，以提升系统的智能化程度。在深度学习SAM算法的计算方面，系统的运算效率还有进一步优化的空间，以减少计算时间，提升系统的工作效率。综上所述，尽管目前的智能测量系统在具体应用中仍有所欠缺，但其便利性和巨大的改进潜力均展示了其强大的发展前景。通过持续的改进迭代，可使系统在未来能够提供更优质、更便捷的服务，以更好地满足用户的需求。参考文献1权美香基于多传感器信息融合的单目视觉SLAM算法研究D哈尔滨：哈尔滨工业大学，2 0 2 12国家邮政局元且假期邮政快递业实现恢复性增长N：消费日报，2 0 2 3-0 1-0 53岳坤明，周大伟基于Lidar点云的货车载货体积测量应用研究J：农业装备与车辆工程，2 0 2 3（2）4 Kirillov A,Mintun E,Ravi N,et al.Segment anythingJ.arXiv preprint arXiv,20235汪祥春ARFoundation增强现实开发实战（A RC o r e 版）M北京：清华大学出版社，2 0 2 2一13第39 卷（彭朝霞译）+当前阶段的开发成果，还需要揽收员手动输