基于相机阵列混叠评价的测距系统.pdf

2023年/第11期 物联网技术iCAN论坛 iCAN Forum3天津大学薛博文，沈佳慧，赵燕飞，茹明明，黄浩杨摘 要：传统基于数字重聚焦进行深度估计的方法，因光场角度采样的稀疏性而容易出现混叠现象，进而影响测量精度。本作品以多视图几何和计算摄影理论方法为基础，基于自行研制的相机阵列，根据标定参数进行射影变换、数字重聚焦、两点间欧氏距离的测量等。相对于传统测量算法，本方法使用基于方差的评价因子对重聚焦序列图像进行评价，避免了混叠现象导致的测量误差。多组不同场景的深度估计实验表明，与基于清晰度评价进行深度估计的方法相比，本文方法在部分深度下测量相对误差可降低 20%。关键词：数字重聚焦；相机阵列；混叠效应；重聚焦序列图像基于相机阵列混叠评价的测距系统1 作品介绍自行设计的相机阵列测量系统主要由 44 相机阵列、16路图像采集卡、高精度电动位移台组成。目前主流的阵列相机图像采集模式主要有两种：单个相机高精度二维电控位移台、实际装配相机阵列。相较于前者，搭建实际的相机阵列可以进行动态目标光场的采集，且其制造装配精度更符合实际工业生产的模式；而前者只能采集静态场景的图像且基本不考虑相机的制造装配误差问题，仅仅适用于原理性验证，距离实际生产与应用仍较远。因此本文实验装置采用装配相机阵列的模式。相机阵列中的相机个数影响了角度采样的密集程度，更密集的采样有利于减少数字重聚焦之后的混叠现象，提升测量精度。但受制于体积和成本，相机个数的增加有上限，且随着相机个数的增加，像质的提高逐渐放缓。综上考虑，确认阵列为 44 的大小。由相似三角形原理得到：fZBd=（1）式中：f 为焦距；Z 为物体距离；B 为基线距离；d 为视差大小。在一定范围内增加基线距离 B，也即增加视差，有利于提高测量精度。但这也同样受系统体积限制，综合考虑采用 30 mm的基线距离，系统长和宽均在 150 mm 左右。考虑到相机阵列的体积限制，单个传感器体积应较小。因此采用面型小且成本低的 SONY1/3 英寸 CCD 图像传感器作为阵列单元。传感器的数据接收使用 Microvision 公司 MV-1528 型图像采集卡配合台式电脑完成。采集卡可完成 16 路图像的同步采集。镜头经过标定，为焦距约 7.91 mm 的定焦镜头，接口为M120.5 标准监控镜头规格。由于制造装配误差，标定时发现这一批 16 个镜头的焦距有约0.4 mm 的浮动，可以在后续算法中进行校正。确定了相机阵列大小、传感器参数和排布之后，还要考虑如何设计支架来尽量减小制造装配误差、提高装置的精度，特别是保证 16 个相机的光轴互相平行且基线距离为 30 mm。初版方案为多层夹板式，此方案下支架结构简单易加工。但是如果出现装配误差会导致所有的孔位出现偏移。因此，最终选择单层板，加工为阶梯孔的形式。支架的背面走线，正面安装相机底座。材质使用硬度更高、性状稳定的尼龙，尼龙支架由四角的 M3 铜柱固定，四个铜柱再连接内层的铝合金 支架。高精度电动位移台为 Zolix公司生产的，单向移动范围达到1 m，满足验证性实验要求。2 技术原理如图1所示，相机阵列采集原始图像后，根据提前标定好的相机阵列内外参数对子图像进行射影变换，通过叠加取均值获得重聚焦图像。随后选取目标物进行子图像之间的特征点匹配，通过计算序列图像的方差评价因子得到物体与相机的纵向距离。物体和相机阵列主光轴之间的横向距离由成像公式得出。在实际计算中可以先选定目标物，随后仅仅对特征点进行变换，从而提高计算效率。在任意两点间欧氏距离的测量实验中，由标定结果的相机内参数矩阵以及平移矩阵计算出控制16 张图像平移的两个 44 矩阵。因物体布置距离较远，且横向范围大，故本实验选择将相机固定在直角板上。直角板固定在光学平台上，保证相机阵列平面垂直于水平面。如图 2 所示，物体 A 和 物体 B 被放置于平坦的实验室地面上，高度分别为 24.5 cm和 17.6 cm。物联网技术 2023年/第11期 iCAN论坛 iCAN Forum4图 1 具体实施方案流程图 2 1 号相机采集的 A、B 两物体图像改变两个物体位置，进行多次实验。将单个 B 物体放置于距离相机阵列 40 400 cm 的位置，每间隔10 cm 进行一次拍摄，共获取 37 组图像数据。因测量距离远，参考量值不再通过电控位移台获得。纵向距离参考量值由钢卷尺测量。横向距离参考量值由米尺测量。点击选择图 3 所示的软件界面中的“选择图像”按钮可以将一组16 张图像录入 MATLAB 进行处理。图 3 软件界面选择目标物后，点击“物体 A 纵向距离”按钮，即完成纵向距离计算。界面会显示目标物的特征匹配结果。随后根据每一个 slope 计算对应“重聚焦”图像的每一个特征点位置坐标的方差。在计算过程中，slope 值的步长取为0.01，范围为（-120，0）。最终发现计算结果的稳定性显著高于清晰度评价曲线。使用鼠标在图像中的物体 A 和 B上分别选取两点，点击“横向距离测量”按钮，完成物体 A 左侧至物体 B 右侧的横向距离测量。同理可以完成垂直方向距离测量。最后根据式（1）计算两点之间的欧氏距离。rWHZ=+222 （2）式中：r 为最终距离；W 为横向距离；H 为垂直方向距离；Z 为纵向距离。为测量方便，在鼠标选点步骤中，分别选取了图 4 中物体 A、B 左右两侧的点。真实距离为 28.2 cm，测量结果为 28.0 cm，相对误差为 0.7%。考虑到鼠标选点精确度较低，因此横向测量结果相对误差在可接受范围内。两物体纵向距离分别为 80 cm 和 100 cm，相对误差分别为 5.86%和 0.41%。将物体在 80 460 cm 范围内按一定间隔布置，使用本系统进行计算。同时，选取间隔120 mm 的两个相机上物体的相同点，进行同等条件下基于双目的深度估计。本方法与双目测量结果对比如图 4 所示。图 4 本方法与双目测量结果对比3 创新点及应用前景目前国内对于光场测量的研究较少，已有的算法多为原理性验证实验，即使用单个相机高精度电控位移台的形式模拟阵列相机的成像效果，可以很方便地改变相机型号和采样密度，但这些算法普遍没有考虑相机的位置误差等问题，这与实际应用相差较远。在此基础上，我们自行设计相机阵列，并以此为基础完成整套算法的设计与实验验证。具体创新点如下：（1）提出了一种阵列相机的总体设计方法，具有体积小、重量轻的特点，提升了现有相机阵列系统应用场景的灵活性；（2）设计了基于混叠效应的深度估计算法，选择因子评价重聚焦序列图像的发散和汇聚程度，得益于误差平均效应，使得系统相比双目具有更高的测量精度。（3）提出了计算图像上两点间欧氏距离测量方法，通过鼠标操作即可获得空间中两点之间的距离，提升了计算结果的准确度和可读性。以相机阵列为基础的计算摄影技术可以从多个成本较低的相机中恢复出更高维度的信息，可用于对场景的深度估计。采用基于数字重聚焦的方法进行深度估计，计算速度快，在机载成像、安全监控、工业产品质量检测、显微诊断等领域有较好的应用前景。