基于YOLOv5和RCF的足部尺寸测量系统.pdf

市场主流基于传统图像处理的足部尺寸测量算法存在工作运行效率低、测量结果误差大等问题针对该问题，本文提出一种基于深度学习与传统图像处理相结合的足部尺寸测量系统首先，使用 （）检测出 纸的有效区域，再采用 （）边缘检测方法提取 纸及足部的边缘信息，通过 纸的边缘估计出个顶点来进行图像矫正最后，对已矫正的图像使用降噪、滤波与二值化处理，从而计算出足部尺寸在自行收集的足部样本数据集上进行测试，准确性为 实验结果表明，本文提出的基于 和 的足部尺寸测量系统，提高了足部测量的精度以及运行效率，可帮助用户更便捷更高效更精确地获取个人足部数据，具有较好的实用价值和较广的应用前景关键词：足部尺寸测量系统；目标检测；边缘检测；仿射变换中图分类号：文献标志码：文章编号：（）引言随着线上消费购物发展趋于成熟，消费者购买鞋靴的方式也从线下转变为线上许多鞋靴品类销售商家为了帮助消费者找到更加舒适合脚的鞋靴、降低店铺商品的退货率，往往会针对自家鞋靴内部构造特点提供相应的鞋靴鞋码推荐与足部尺寸测量的方法由于不同商家提供的推荐测量方法大都没有准确的定义且存在一定误差，同时商家售卖鞋靴的内部构造设计偏差导致鞋码标准不统一，因此市场上现有的鞋靴鞋码推荐与足部尺寸测量方法均存在一定的局限性基础有效的鞋码推荐服务应该直接针对消费者脚部基础数据进行，即在完成对消费者足部尺寸数据准确测量的基础上，根据商家的鞋码规格，利用用户的脚部基础数据，实现不同鞋靴鞋码的推荐深度学习近年来逐渐成为人工智能领域的研究热点和主流发展方向，在计算机视觉和自然语言处理等领域取得了重大突破，使人工智能迎来新一轮的爆炸式发展目前已有学者将深度学习和图像测量相结合，一定程度上提高了测量的速度和精度但本文提出的基于 和 的足部尺寸测量系统，是在传统图像处理的基础上，利用深度学习中的目标检测方法和边缘检测方法，更准确更高效即先利用深度学习模型寻找目标位置并处理图像的边缘信息，再使用传统的 图像处理方法框选足部完成测量该方法和三维测量方法相比，更加方便、快捷与高效基于 和 的足部尺寸测量系统旨在利用 模型和 边缘检测技术解决消费者线上购买鞋靴不合脚的问题足部尺寸测量系统能够根据用户拍摄的足部照片完成足部尺寸数据的测量，再按照商家售卖鞋靴内部构造特征推荐适合脚型的鞋靴尺码该系统可植入到线上商城或小程序中，让用户在购买鞋靴的过程中体验到足部尺寸测量系统带来的便捷性与准确性该系统主要的目标用户人群是线上购买鞋靴的消费者，受益者包括线上购买鞋靴的消费者和线上商城的鞋靴商家消费者的主要需求是使用足部尺寸测量系统完成自身足部尺寸的测量和依据自身足部特征推荐合适的鞋靴尺码而商家的主要需求是利用足部尺寸测量系统让消费者买到更加舒适合脚的鞋靴，从而降低店铺线上销售的换退货率和销售成本仅根据单一脚模量产的传统鞋靴并不适合所有消费者的脚型，穿着不合脚的鞋靴会出现挤脚、部分空间过宽等问题我国脚部畸形发病率较高，依照鞋模量产的鞋靴对于畸形脚的匹配程度更低部分消费者购买鞋靴时只是根据尺码进行盲选，频繁地退换鞋靴款式增加了商家销售鞋靴的成本本文提出一种基于 和 的足部尺寸测量系统，用于提高足部尺寸测量的结果准确性和检测效率首先使用 模型对 纸进行检测和框选，并进行图像裁剪，提高 纸的图像占比其次使用 边缘检测模型提取 纸边缘，用于搜寻 纸顶点并进行图像矫正最后采用滤波处理和二极化处理，框选足部范围，通过等比计算获得足部长度与宽度数据实验结果表明，本文提出的基于 和 的足部尺寸测量系统提高了测量的精度以及运行效率，帮助用户更便捷更高效更精确地获取个人足部数据相关工作介绍 基于传统图像处理的方法图像处理技术在 世纪 年代就开始研究在图像分割领域上，曾是计算机视觉领域的一个经典难题图像分割是指根据灰度、彩色、空间纹理、几何形状等特征把图像划分成若干个互不相交的区域，使这些特征在同一区域内表现出一致性或相似性，而在不同区域间表现出明显不同，以此寻找图像中感兴趣区域（）的边界图像中目标区域的准确分割对于计算机辅助诊断、制订手术计划、目标三维重建以及放射性治疗评价等都具有重要意义在图像边缘检测领域上，它是图像处理和计算机视觉中的基本问题边缘检测通过提取图像的特征值，保留了图像重要的信息，以进行相关的分析基于图像处理测量物体数据，如今在许多领域里取得优秀的成果杨云涛等采用非接触测量的方法，利用计算机视觉的图像处理技术，通过系统标定、图像采集、图像预处理、边缘检测、几何参数计算等步骤，实现了对螺纹几何参数的自动测量；刘长青等用 摄像头连续采集旋转台上的玉米果穗图像，经过图像处理，获得玉米穗的图像区域，进而得到玉米果穗的穗长和穗宽参数；雷霆等用图像处理的方式实现钢直尺刻度线纹位置识别，同时利用高精度光栅尺，配合钢直尺刻度误差算法，实现钢直尺刻度示值误差自动获取，等等基于图像的足部尺寸测量方法不需要重建物体的三维形状，而是采用先进的图像处理技术对目标物体进行测量与三维测量相比，基于图像的测量技术更加方便快捷它只需通过拍摄被测物体的图像来完成测量在实际测量过程中，数据的获取过程不可避免地会受到各种噪声的影响，因此有必要对图像进行降噪以及滤波处理在此基础上，采用边缘检测方法获取图像边缘信息，再通过算法对该边缘信息进行分析，完成测量基于图像的足部尺寸测量技术具有数据采集简单、处理速度快、精度高等优点 基于深度学习的方法随着计算机硬件设备的性能提升以及图像处理技术的发展，深度神经网络在计算机视觉和自然语言处理领域得到了广泛应用基于深度学习的方法可以直接或间接地从大量数据中学习到图像中的信息，通过多层非线性映射将图像中各种复杂的因素分开，提取出更有效的图像特征并且深度模型可以重复利用杭州师范大学学报（自然科学版）年中间层的计算单元，表达能力更强，学习效率更高图像测量包含图像分割、边缘检测等方面对于图像分割而言，随着深度学习以及现代计算机技术在近 年的快速发展，在分割任务中可以选择更多优秀的神经网络根据实际的分割应用程序以及任务，图像分割可以大致分为个研究方向：语义分割、实例分割和全景分割在图像测量上，主要使用实例分割进行目标区域的划分，以进行下一步的处理 等以全卷积神经网络为基础设计了 网络模型，其前半部分作用是特征提取，后半部分是上采样 同时具备捕捉上下文信息的收缩路径和允许精确定位的对称扩展路径，因此上下文信息可向更高层分辨率传播，使更多的信息能流入最终复原的分割图像；并进行卷积和上采样工作，以此整合更多信息进行图像分割汪鹏飞等人提出一种多尺度特征图像分割方法，用于有效提取车道线李智超等人提出了一种改进的迭代阈值图像分割算法，提升了白细胞图像分割的精度和效率对于边缘检测，采用深度学习方法不仅可以提高算法的运行效率，而且可以提高算法结果的准确性 等人提出了一个新的基于 的整体嵌套边缘检测网络（，），该算法试图训练一个 的网络，并从中集成和学习较精确的边缘预测图 具有整体图像训练与预测、多尺度多特征学习等特点，其边缘检测效果优于 目前已有很多基于深度学习边缘检测的相关应用，李忠瑞等提出一种融合语义分割网络和边缘检测网络的深度卷积神经网络，边缘检测流通过反向误差传播反馈语义分割流完善提取边缘语义信息，进行海岸线边缘检测；翁玉尚等使用改进的边缘检测模型进行电缆绝缘层的边缘检测基于深度学习的方法，可以利用现有的数据集，训练出符合当前预期的模型，一定程度上提高了测量的速度和精度足部尺寸测量系统介绍 足部测量系统架构设计本系统在传统计算机视觉图像处理技术的基础上，结合基于深度学习的 目标检测模型和 边缘检测模型，构建了一个基于图像和深度学习的足部尺寸测量系统移动终端配备微信小程序，使用微信云数据库进行数据存储和操作同时，前端使用 将请求发送到后端并返回响应结果在后端构建中，系统采用 框架，这是一个面向 的微型网络开发框架 框架不仅灵活、轻量级，而且可以结合设计模式进行开发算法端采用 进行编写，为了更好地训练模型并适应环境，采用 深度学习框架，对 模型与 模型进行训练与测试，以提高测量结果的准确性 足部测量算法实现图系统功能设计流程图犉 犻 犵 犛 狔 狊 狋 犲 犿犳 狌 狀 犮 狋 犻 狅 狀犱 犲 狊 犻 犵 狀犳 犾 狅 狑犮 犺 犪 狉 狋本文结合深度学习和传 统 的 图 像 处 理 技术，提出一种基于图像识别和边缘检测技术的足部 尺 寸 测 量 算 法 系统，即先识别目标物体，然后利用相关的边缘信息完成足部测量该算法以标准 纸张为背景，仅通过简单的图像处理技术即可获得足部图像信息在测量足部尺寸时，系统可以快速、第期温铭浩，等：基于 和 的足部尺寸测量系统准确地完成足部尺寸测量，而无须经过三维重建过程测量算法主要分为部分：纸图像框选；纸边缘检测；纸仿射变换与矫正；足部尺寸计算测量过程如图所示 纸图像框选在采集数据的过程中，发现图像中 纸张周围背景环境的边缘信息比较复杂，这会在一定程度上干扰实验结果的准确性因此，通过目标检测来识别 纸张的范围，并对原始图像进行切割，调整 纸张的整体图像比例，从而提高算法的鲁棒性 （）是一种基于深度神经网络的目标识别和定位算法的目标检测方法它具有运行速度快、精度高的特点，可用于实时系统同时 是基于整个图像进行的推断，可以在一张图片上进行多目标检测，并且能直接完成检测性能的优化因此，模型极大地提高了目标检测任务的效率，本地搭建的系统也能胜任实时目标检测任务 使用训练好的 模型检测图像中的 纸，如图所示首先读取并压缩足部图像，然后 检测图像上的 纸，最后确定 纸的检测范围并计算目标置信度图犢 犗 犔 犗模型执行过程犉 犻 犵 犢 犗 犔 犗犿 狅 犱 犲 犾 犲 狓 犲 犮 狌 狋 犻 狅 狀狆 狉 狅 犮 犲 狊 狊 纸边缘检测在 纸张边缘检测过程中，由于光照和背景的复杂性，传统的图像处理技术无法很好地检测 纸张的边缘 ，是一种使用更丰富卷积特征的精确边缘检测算法，其在 的 算法架构上进一步改进，充分利用 体系结构当中的中间层，形成更丰富的卷积特征 将所有卷积特征封装成一种更具区别性的表示，充分利用卷积的丰富特征层次，并通过反向传播进行训练 能够利用目标的多尺度、多层次信息，全面地实现图像对图像的预测此外，还具有自动学习能力，可以充分利用 中各层的信息，在互补组合的基础上，实现目标结果在不同尺度上的精确表示 在 边缘检测方法中，只采用每个卷积阶段最后一层的卷积特征，没有充分利用 丰富特性的层次结构本文采用的 边缘检测算法，可以提高边缘信息的提取效果，通过自动学习将所有卷积层的信息结合起来，获得更多不同尺度的精细特征，从而选取合适的特征映射，确保后续算法的成功为了保持边缘检测网络的速度，避免过度占用显存，将输入图像按原始比例压缩到宽为 在实验的早期阶段，直接对图像进行边缘检测但研究发现，背景边缘信息可能会造成干扰，不易准确提取 纸的边缘轮廓为了防止此干扰，提高算法的鲁棒性和准确性，在边缘检测步骤之前，先采用 对 纸进行检测并裁剪，再进行边缘检测两种结果对比如图所示，经过 裁剪以及 的边缘检测，有效地减少其他边缘信息的干扰杭州师范大学学报（自然科学版）年图两种边缘信息图的对比分析犉 犻 犵 犆 狅 犿 狆 犪 狉 犻 狊 狅 狀犪 狀 犪 犾 狔 狊 犻 狊狅 犳 狋 狑 狅犲 犱 犵 犲 犻 狀 犳 狅 犵 狉 犪 狆 犺 犻 犮 狊使用著名的 基准评估最终模型训练的效果，模型训练效果保持了较快的速度（），同时也实现了 （）为 的高评价指标，即证明试验方法是较有效的 纸仿射变换与矫正 纸仿射变换与矫正的流程如图所示，在获取边缘图像的基础上，使用一系列的 函数提取图片中的边缘信息，并使用相关算法获取 纸的个顶点对于包含边缘信息的图片，可以采用二极化的方式获得边缘信息，也可以采用 内置的边缘信息获取函数并使用优化算法获取最为有效的个边缘坐标点，最后使用 的仿射变换函数对含有边缘信息的图像进行矫正图犃 纸仿射变换与矫正过程犉 犻 犵 犃 狆 犪 狆 犲 狉犪 犳 犳 犻 狀 犲 狋 狉 犪 狀 狊 犳 狅 狉 犿 犪 狋 犻 狅 狀犪 狀 犱犮 狅 狉 狉 犲 犮 狋 犻 狅 狀狆 狉 狅 犮 犲 狊 狊 计算足部尺寸完成图像的矫正后，需要框选出足部的最小面积矩形即需要先使用 内置函数进行图像降噪处理，再通过二极化处理以获取足部的边缘信息，最后在当前 纸图像上进行处理来获取足部的长度和宽度根据实际 纸的长度和宽度，通过等比转换计算出实际的长度和宽度数据计算公式如下：犉犉犃犃，犉犉犃犃（）其中犉和犉分别表示足部在现实世界中的实际宽度和实际长度，犉和犉分别表示足部在计算机处理过程中的像素宽度和像素长度；同样地，犃和犃分别表示 纸的实际宽度和实际长度，犃和犃分别表示 纸在计算机处理过程中的像素宽度和像素长度计算执行过程如图所示第期温铭浩，等：基于 和 的足部尺寸测量系统图足部尺寸测量过程犉 犻 犵 犉 狅 狅 狋 狊 犻 狕 犲犿 犲 犪 狊 狌 狉 犲 犿 犲 狀 狋狆 狉 狅 犮 犲 狊 狊实验 犢 犗 犔 犗模型训练与有效性测试 模型的训练过程中，使用大量的图片，包括不同性别、年龄的足部照片，以适应各种 纸的空白占比，也包括各种背景颜色的图片，以适应复杂的背景环境对 纸识别的影响模型训练共使用 张图片，训练集、验证集和测试集按照的比例分配按照 的官方训练要求修改相关配置后，图片将以 为，为 的参数进行训练训练结果如图、图所示图犢 犗 犔 犗训练结果犉 犻 犵 犢 犗 犔 犗狋 狉 犪 犻 狀 犻 狀 犵狉 犲 狊 狌 犾 狋 狊图犢 犗 犔 犗训练参数的可视化图犉 犻 犵 犞 犻 狊 狌 犪 犾 犻 狕 犪 狋 犻 狅 狀狅 犳犢 犗 犔 犗狋 狉 犪 犻 狀 犻 狀 犵狆 犪 狉 犪 犿 犲 狋 犲 狉 狊训练完成后共获得 和 两个权重文件，分别对这两个权重文件进行测试，发现 的框选 纸范围比 更加优秀，因此最终确定使用 使用 模型进行检测时，平均预处理速度为 ，平均图像推理速度为 ，平均（）处理速度为，即使面对大量数据集时也可以快速完成目标检测使用 对测试集进行 检测，实验结果准确率高达 ，其余的图像由于拍照角度问题，导致框选范围存在一定的误差 犚 犆 犉模型训练与有效性测试训练采用的数据集是 ，该数据集是伯克利大学 提供的专门用于图像分割和物体边缘检测的模型训练 官方对 数据集进行了扩充，包括旋转、翻转、尺度缩放等图像处理训练完成后对经过 处理的图片进行测试，过程如图所示由图可知，不同卷积层所获得的边缘信息逐渐加粗，背景环境的边缘干扰逐渐减弱 共有 和 两个版本的测试结果，通过对比两种图像测试结果，发现 的边缘特征更为明显，抗环境干扰能力更强，后续测试与分析也表明 的边缘信息图具有较高的处理精度，因此采用该边缘信息图两者对比图如图所示杭州师范大学学报（自然科学版）年图不同卷积层边缘信息结果犉 犻 犵 犈 犱 犵 犲 犻 狀 犳 狅 狉 犿 犪 狋 犻 狅 狀狉 犲 狊 狌 犾 狋 狊狅 犳犱 犻 犳 犳 犲 狉 犲 狀 狋 犮 狅 狀 狏 狅 犾 狌 狋 犻 狅 狀 犪 犾 犾 犪 狔 犲 狉 狊图犚 犆 犉模型的两个检测结果犉 犻 犵 犜 狑 狅犱 犲 狋 犲 犮 狋 犻 狅 狀狉 犲 狊 狌 犾 狋 狊狅 犳 狋 犺 犲犚 犆 犉犿 狅 犱 犲 犾 测试结果与分析基于本系统开发了小程序，使用本文算法测试了收集的 组照片和足部数据通过误差分析统计，对于男生和女生的足部测量结果，总体误差在以内的数据集占总体样本的以上，表明本文的足部测量算法误差较小，可适用于鞋码推荐等用途在本系统中，评估算法的性能指标为测量误差本文依照欧码的标准，单位码数之间相差，所以本算法测量的足部尺寸与真实尺寸误差不超过的样本数据视为合格在去除拍摄角度与预期角度差别过大的样本后，测量误差不超过 的样本占比为 总体而言，在确保拍摄角度正确的情况下，使用基于深度学习的图像处理算法测量足部尺寸可以获得更准确的测量数据，且该算法具有更快的运行速度和更好的算法鲁棒性，可满足不同背景环境下的足部测量需求结论与展望本文提出一种基于 和 的足部尺寸测量系统与传统的手工测量相比，本文测量算法具有更快的速度、更高的效率、高达 的精确度和更强的算法鲁棒性与基于三维重建的测量方法相比，测量过程更简单，测量方法更方便快捷，只需按照要求拍照即可完成测量本文的算法设计共包括个阶段 纸图像框选阶段，采用基于深度学习的 模型进行 纸检测，该模型的稳定性强、运行速度快、检测与框选准确率高 纸边缘检测阶段，采用基于深度学习的 边缘检测模型，提取图像的边缘信息 模型增强 纸与足部的边缘特征，弱化背景环境的边缘特征，提高本算法获取 纸顶点的精度 纸仿射变换与矫正和足部尺寸计算这两个阶段，采用传统的 方法，对图像进行加工处理，计算出最终的足部尺寸实验阶段，经过 模型训练、模型训练以及足部尺寸测量和算法优化从最终的实验结果可以看出，本文的足部尺寸测量算法误差较小，准确度高然而，本文的算法仍然存在一些不足之处例如，最终的测量结果容易受到拍摄角度的影响，即便确定好拍照规则，仍会出现不可控的轻微偏差；并且基于二维图像的足部测量只能获得足部的长度和宽度参数，缺少一定的数据分析价值未来将会尝试在拍摄过程中，自动判断当前摄像机的拍摄角度是否垂直，从而提高整体算法的稳定性第期温铭浩，等：基于 和 的足部尺寸测量系统和准确性同时可以尝试拍摄多个角度的足部照片，以获取足部的其他数据如趾围、脚背宽等信息，从而提高数据的利用率参考文献：杨云涛，关贞珍基于图像处理技术的螺纹几何参数测量计量与测试技术，（）：刘长青，陈兵旗基于机器视觉的玉米果穗参数的图像测量方法农业工程学报，（）：雷霆，胡平，曾博才，等基于图像处理技术的钢直尺测量系统设计计量与测试技术，（）：，：（）：汪鹏飞，沈庆宏，张维利，等基于多尺度特征图像分割的车道线提取方法南京大学学报（自然科学），（）：李智超，曹益平基于改进迭代阈值的白细胞图像分割方法光学与光电技术，（）：，（）：李忠瑞，崔宾阁，杨光，等基于深度学习的海岸线边缘检测网络模型计算机工程与科学，（）：翁玉尚，肖金球，汪俞成，等改进 算法的电缆绝缘层边缘检测光学技术，（）：，：，（）：，：，（）：，：，（）：，（）：犉 狅 狅 狋 犛 犻 狕 犲犕 犲 犪 狊 狌 狉 犲 犿 犲 狀 狋 犛 狔 狊 狋 犲 犿犅 犪 狊 犲 犱狅 狀犢 犗 犔 犗 狏 犪 狀 犱犚 犆 犉 ，（，；，）犃 犫 狊 狋 狉 犪 犮 狋：，犓 犲 狔狑 狅 狉 犱 狊：；杭州师范大学学报（自然科学版）年