基于ZYNQ的双目视觉处理系统设计_张宏宇.pdf

年第期 基于 的双目视觉处理系统设计张宏宇，焦新泉，贾兴中（中北大学 电子测试技术国家重点实验室，太原 ；中北大学 仪器科学与动态测试教育部重点实验室）摘要：针对现代工业需求，设计了一种基于 的图像采集、畸变矫正、代价计算、代价聚合的双目视觉系统。实验结果表明，该系统仅以 功耗完成图像的采集矫正并最终得出视差图，计算速度较传统 有极大提升，计算结果误差仅为 个像素。关键词：双目视觉；图像处理；中图分类号：文献标识码：，（，；，）：，：；引言双目视觉基于视觉差原理，得出双目相机所处环境的深度信息。实现双目匹配算法，常用的平台有 、和。双目立体视觉中的图像采集、矫正以及匹配算法通常包含大量重复的操作，虽然 执行立体匹配算法有与生俱来的优势，但是在无人端领域，对双目匹配算法的实时性和低功耗有较高的要求，可根据算法特点设计加速结构，用较低的功耗实现。设计方案设计方案如图所示，主要由图像采集、图像校正、立体匹配、图像输出部分组成。其中，图像采集模块由两个高分辨率的 图像传感器以及 的 端完成，负责将图像传感器采集到的图像通过 总线传送至 端。图像校正主要由 的 端以及 实现，负责将采集模块采集到的图像极线校正与畸变校正后存入 中。立体匹配由 部分单独完成，主要负责时校正后的图像进行双目匹配并得出视差图。图像输出由 、组合完成，主要负责将得图设计方案到的视差图编码后发送到 接口。图像采集设计 图像输入设计图像输入由两个 图像传感器组成，配置寄存器接口为 接口，通过该接口设置 输入窗口大小、预缩放窗口大小、输出窗口大小以及输出格式等。与 芯片连接如图所示，与 为 接口，场同步信号 用于标识一帧数据的开始与结束，行同步信号 用于标识一行数据的开始敬请登录网站在线投稿（）年第期 图 与 芯片连接方式与结束，数据像素时钟 提供读取数据时钟。图像缓存设计图像缓存由 的 与片外 组成。中例化了个 核，分别为 、和。如图所示，双目相机左右初始化配置源于两个不同的 核，输出的像素时钟 相互独立，导致左右相机输出的图像数据无法对齐。所以使用两个异步 对图像数据进行缓存。和 的输入时钟为各自的像素时钟，但其读出时钟由 端提供，能够同步读出数据。图异步 存储 的频率为 的两倍，将行同步信号、场同步信号与数据信号编帧并同步存入 。读出后，与数据信号的相位可以保持不变。由 的 逻辑分析仪可以看出，左目右目的数据信号、行场同步信号均同步，如图所示。图左目右目同步后像素信号 用于高速数据流传输，非存 储 映 射 接口。使用 核可以将 同 步 后 的 数据与行、场同步信号转换为 协议，数据流在 内部高效传输。转换后的数据通过 核存入 中。选择外置的 存储器帧缓存。因为 片内 存储容量仅为 ，而 图片分辨率为 ，存储一帧图像需要的容量为：整个片内 不能存储两帧图像，所以需要使用片外 存储器。图像校正设计在生产双目相机时，由于其制造工艺不同，内部的透镜产生不同程度的光学畸变，得到的图像与实际不同。为了提高立体匹配时的准确性，对相机进行标定偏差校正。图像的校正包含图像的重映射和双线性差值。图像重映射主要为对 的内存操作，双线性插值使用大量的浮点型计算，所以 端处理更加合适。芯片封装了两个独立的 处理器，使之分别对一个摄像头进行校正，实现双目并行校正。相机的标定根据相机的几何模型，图像由世界坐标到数字坐标需要次坐标变换，首先，世界坐标需要变为相机坐标，其关系式如下：式中，、为世界坐标，为物体的实际位置；、为相机坐标；矩阵代表平移向量；矩阵代表旋转矩阵，为相机外参。相机坐标系通过透视变换变为图像坐标系，其中点 到点关系如下（其中为相机的焦距）：然后，模拟图像坐标需转换为像素图像坐标，它们之间只是原点不同，没有旋转变换，故只需要进行二次变换，其关系如下：式中，、分别表示焦距在数字图像坐标系中的轴和轴方向的尺度关系，（，）为图像平面中 年第期 心的坐标点。其中 为内参矩阵，只与摄像机内部结构相关，用于矫正相机的径向畸变和切向畸变。在实际中，常使用如下泰勒级数展开的前项来表示径向畸变：（）（）此外，还存在切向畸变，公式如下：（）（）为了得到相机的内参与外参，使用 中立体相机标定工具箱对双目摄像头进行标定。将双目相机固定放在某一空间，相机前放置一块不断随机改变与摄像头之间的空间关系标定板，获得不同角度下的标定板图像，再利用 函数角点检测，如图所示。图角点检测通过工具箱得出的内参、外参矩阵如下：图像重映射得到摄像头内参和外参后，对其进行畸变校正和极线校正。校正采用逆向映射方法，实现校正后图像到原图像的映射。扫描校正后的像素点利用函数映射矩阵的逆矩阵计算出该像素点在原图像中的对应坐标，其计算需要经过非常复杂的矩阵、乘法以及浮点运算，实时坐标计算将会严重影响图像的处理速度，所以将计算好的映射坐标存入 中，再利用查表法得到逆向坐标。双线性插值通常情况下，校正后图像上的像素点经过逆向映射到原图像后，坐标通常为非整数，无法得出像素数据，可以利用双线性内插法，在垂直和水平两个方向分别进行一次线性插值，得出矫正后图像像素点的灰度值。像素点之间的距离为，则 离 最 近 的 个 像 素 点 分 别 为，、，、，和，其水平方向的差值公式为：（），（），垂直方向插值为：（）之后可以得到校正后的图像，如图所示。图校正结果 立体匹配设计立体匹配是双目相机的关键部分，也是最耗费设计资源和时间的部分，立体匹配的效果直接影响视差图的好坏。由于全局算法需要极高的运算量，因此选用了半全局（）算法，以互信息为匹配代价，以某一行一维能量最小近似代替了全局能量最小，极大提高了计算速度。立体匹配模块在 端利用硬件加速完成，使用完全对称流程处理左右目图像，实现了双目并行。转灰度图灰度图可以在保证大部分图像信息的基础上减小图像处理计算量。转灰度图的方法可以根据下式求得：在 中得出灰度值，需要采用高位补充低位的方法，将之前得到的 格式转换为 格式，用 分量的高三、二、三位补充到低位。为避免浮点运算，敬请登录网站在线投稿（）年第期 先将每个分量扩大 倍，再向右移位，公式变形为：（）项乘法项可并行执行，占用一个周期，项相加占用一个周期，最后的移位占用一个周期，所以转灰度共需个周期。代价计算在 算法中，使用互信息的匹配测度来计算匹配代价，其中包括 变换和汉明距离的计算。变换能够较好地检测出图像的结构特征。其主要流程为：在图像的某区域划定一个矩形窗口，用这个矩形窗口遍历整个图像，中心点作为参考点，将每个像素灰度值与中心点作比较。比较公式如下：（）为得到一个的窗口，例化个双端口 ，其宽度为，深度为 。将这些 首位相连，从中取出一个窗口，将这些窗口中的值同时与中间值作比较，并将比较结果发送给输出端口，实现了用一个时钟周期完成 变换。下个周期将的窗口向右滑动，就得到下个 变换的比特串值。汉明距离即两个比特串的对应位不相同的数量，其计算公式如下：（）（）代价聚合在图像中，某个点视差不仅与其对应的匹配点有关，还与其周围的像素点有关，需要通过代价聚合的方式对视差进行优化。为了保证视差值的正确性与连续性，根据前面的代价值增加一个额外的约束，通过惩罚相邻差异的变化来增加平滑性。通过该式对视差变化较小的使用较低的惩罚，对于视差变化较大的同样也保留了不连贯性。其公式如下：（），（）最小化全局能量函数是 完全问题，通常将其转换为多个方向的一维路径上平等地进行代价聚合，然后使用赢者通吃求解视差，其公式转换为：（，）（，）（，），（，），（，），（，）（，）在 操作中，同样也使用了多级的比较树并行操作，大量节省了运算所需时间。视差优化代价聚合后的视差图通常存在孤立噪点，而中值滤波可以有效消除这些噪点。中值滤波的一般方式是以某点为中心画出矩形窗口，对窗口内的数据排序，取排序后的中间值为当前点的滤波输出。为了在 中可以高效得出中值，本系统选择采用流水线的操作方式。例化两个 ，将图像前两行的数据存入 中，当前输入的图像数据作为第行数据。当行数据采集结束时，从 中读出前行像素点对应的前两行数据，便得到一个行列的像素数据，重复次得到所求矩阵。求中值时，首先求出行中的最大值、中间值、最小值，排序后组成新的矩阵，再依次求出最大值中的最小值、中间值中的中间值，最小值中的最大值，得到的个值再取中间值，便可求得个值的中值。试验验证及分析系统采用赛灵思公司研制的 系列 芯片作为主控芯片，编写语言为 ，软件开发平台为 。处理过程如图所示，最后得到的视差图效果较好，与 计算的结果误差仅为 个像素。处理所需时间与 端 对比如表所列，其中 的 分配时钟为 ，每个时钟周期为 。该系统极大提高了双目处理的速度，且设计功耗仅为 ，远低于 功耗。图双目处理过程 年第期 表 与 所需时间参数（时间）（时钟）个 结语双目视觉采集与处理系统充分发挥了 的 端并行高速以及 端浮点运算的优势。试验结果证明，该系统实现了图像的校正、代价计算、代价聚合，后续可添加多条代价聚合的路径，得出更好的视差图。在现代工业生产中，该双目视觉可以应用于各自无人平台，为其带来深度信息感知周围环境，从而进行自主作业、完成对空间目标的实时定位。参考文献郑瑞基于 的双目立体视觉和目标识别导盲系统研究与实现南充：西华师范大学，于蕾，李欣泽，潘大鹏，等基于 平台的双目图像采集实验案例设计与实现 实验科学与技术，（）：徐艳平 基于双目视觉扭梳式油茶果实采摘设计与试验合肥：安徽农业大学，宋逸凡基于 的全向双目视觉系统设计与实现广州：华南理工大学，邓洪权基于 的双目立体视觉系统的设计成都：成都理工大学，黄飞基于 的双目立体视觉三维传感系统及其 实现 南京：南京理工大学，周禹辰 基于 的三维相机系统研究 北京：中国人民公安大学，潘雨坤 基于双目立体视觉的运动目标检测系统设计与实现 上海：华东师范大学，李春田 基于 的手术导航光学定位关键技术研究广州：华南理工大学，段偲丽基于 双目视觉弹体姿态测量方法研究南京：南京理工大学，费雅倩基于 的双目视觉浇筑识别定位系统设计电子世界，（）：赵复阳基于 的双目立体视觉系统的研究天津：天津科技大学，焦新泉（教授），主要研究方向为微纳米器件及测试技术；张宏宇（硕士研究生）、贾兴中（高级工程师），主要研究方向为电路与系统设计。通信作者：焦新泉，。（责任编辑：薛士然收稿日期：）兆易创新全系列车规级存储产品累计出货亿颗业界领先的半导体器件供应商兆易创新 宣布，旗下车规级 和 系列产品全球累计出货量已达亿颗，广泛运用在如智能座舱、智能驾驶、智能网联、新能源电动车大小三电系统等，这一重要里程碑凸显了兆易创新与国内外主流车厂及 供应商的密切合作关系。兆易创新致力于为汽车领域客户打造具备高可靠性、高安全性、覆盖不同电压、不同容量的车规级存储产品，在应用端得到了充分的验证并深受客户认可。全系列创新产品覆盖，满足行业所需随着自动驾驶、车联网和新能源汽车的快速发展，在紧凑空间中，车载电子系统设计的复杂度显著提升，对于存储产品而言，大容量、实时响应、高可靠性和安全性必不可少，兆易创新车规级 和 具有丰富的产品选择，如 全容量覆盖、高达 的数据吞吐率、保障安全的 功能、提升可靠性的 算法和 校验、延长产品寿命的 万次擦写和 年数据保持能力、适应空间受限的紧凑型封装等，这些完善的产品组合能够全面满足汽车电子应用所需，实现一站式选择。严苛的品质管理，为汽车变革护航质量是兆易创新产品保障的基石，质量体系建设和持续改善，是强化品质管理、增强客户信心的关键途径之一。从研发到生产，每一颗产品在出厂前都会历经严苛的测试，兆易创新将零缺陷质量管控的理念贯穿至每一个环节，致力于为全球客户提供高品质产品。稳定便捷的供应和支持，保障汽车有序生产稳定的供应能力是保障汽车生产研发有序进行的硬性标准之一。作为存储行业的领跑者，兆易创新具有多元化的供应链管理体系，与众多晶圆厂、封测厂建立了长期合作伙伴关系，灵活的满足客户所需。同时，配有专业的本土化技术支持团队，可以快速响应客户需求，及时应对市场变化。兆易创新自 年开始布局汽车电子领域，并在 年和 年陆续完成了 和 全容量 车规级认证，经过长期的技术沉淀和积累，凭借着产品的创新、可靠的质量和稳定便捷的供应和支持，兆易创新车规级存储产品累计出货量达亿颗，这也进一步凸显了兆易创新持之以恒的投入和承诺。未来，兆易创新将紧跟市场，持续完善车规级相关产品和解决方案的布局，助力行业发展。