基于边缘曲线编解码的结构光三维重建方法.pdf

收稿日期:基金项目:吉林省发改委产业技术与开发项目(C );长春市重大专项(G D )作者简介:郭敏(),女,汉族,山东济宁人,长春工业大学讲师,博士,主要从事三维图像处理和机器视觉方向研究,E m a i l:g u o m i n c o m 通信作者:李贞兰(),女,朝鲜族,吉林长春人,吉林大学教授,主任医师,博士,主要从事神经系统疾病大脑可塑性研究,E m a i l:z h e n l a n l i c o m第 卷 第期 长 春 工 业 大 学 学 报 V o l N o 年 月 J o u r n a l o fC h a n g c h u nU n i v e r s i t yo fT e c h n o l o g y A p r D O I:/j c n k i c n /t 基于边缘曲线编解码的结构光三维重建方法郭敏,孙繁奇,吕源治,李贞兰(长春工业大学 计算机科学与工程学院,吉林 长春 ;中国科学院长春光学精密机械与物理研究所,吉林 长春 ;吉林大学 白求恩医学部,吉林 长春 )摘要:首先对预处理后图像进行像素级和亚像素级边缘曲线特征提取,然后进行边缘曲线解码以及码值匹配,最后依据三角测距原理获取三维点云.实验结果表明,该方法对平面的重建偏差为 mm.关键词:结构光;三维重建;边缘曲线;二次优化中图分类号:T P 文献标志码:A文章编号:()At h r e e d i m e n s i o n a l r e c o n s t r u c t i o nm e t h o db a s e do ne d g ec u r v ec o d i n g d e c o d i n gGUO M i n,S UNF a n q i,L YUY u a n z h i,L IZ h e n l a n(S c h o o l o fC o m p u t e rS c i e n c e&E n g i n e e r i n g,C h a n g c h u nU n i v e r s i t yo fT e c h n o l o g y,C h a n g c h u n ,C h i n a;C h a n g c h u nI n s t i t u t eo fO p t i c s,F i n eM e c h a n i c sa n dP h y s i c s,C h i n e s eA c a d e m yo fS c i e n c e s,C h a n g c h u n ,C h i n a;N o r m a nB e t h u n eH e a l t hS c i e n c eC e n t e r,J i l i nU n i v e r s i t y,C h a n g c h u n ,C h i n a)A b s t r a c t:E d g ec u r v e f e a t u r e sb yp i x e l s u b p i x e la r ee x t r a c t e df r o mp r e p r o c e s s e di m a g e s,a n de d g e c u r v ed e c o d e da n dc o d e v a l u em a t c h e d W e c a l c u l a t e Dp o i n t c l o u db a s e do n t h e t r i a n g l em e a s u r e m e n tp r i n c i p l e E x p e r i m e n t a l r e s u l t s i n d i c a t e t h a tp l a n er e c o n s t r u c t i o ne r r o r i s mmK e yw o r d s:s t r u c t u r e d l i g h t;t h r e e d i m e n s i o n a l r e c o n s t r u c t i o n;e d g ec u r v e;s e c o n d a r yo p t i m i z a t i o n 引言随着计算机视觉技术和光电技术的发展,三维重建技术在医疗诊断、文物保护、工业设计等领域得到广泛应用 .其中结构光三维重建技术因其具有精度高、速度快、成本低等优点,成为最具潜力的三维重建技术之一.按照编码策略的不同,结构光编码技术可分为时间编码、空间编码和直接编码.时间编码方法通过投射多组编码图案进行三维重建,具有容易实现、鲁棒性高等优点,常被用于静态场景.常用的方法有自然二进制码、格雷码和正弦光栅等 ,其中格雷码编码方法由于其具有稳定性好、可靠性高的特点而被广泛使用.传统格雷码编码方法解码精度最多提高到个像素,因此许多研究者通过改进边缘检测和边缘解码算法来提高重建精度.秦绪佳等 通过改进的c a n n y算子来提取编码图像的条纹边缘,根据条纹边缘建立编码二叉树并进行解码,该方法降低了阴影和遮挡问题引起的解码误差,但是只能进行像素级精度的解码.T r o b i n aM 通过投射正反编码,寻找其灰度曲线的交点来实现亚像素边缘检测,但是只能在理想投射不存在边缘扩散的情况下对边缘进行准确提取.孙帮勇等 投射幅格雷码编码图像,根据图像中条纹边缘两侧的编码值对包裹相位进行解码,但是存在条纹边缘错误提取导致解码结果跳变的问题.在实际场景中,目标物体存在遮挡、阴影和表面反射率不一致等状况.传统边缘检测算法和解码算法存在抗干扰性和鲁棒性差的问题,无法满足实际三维重建的需求.针对上述问题,文中提出基于边缘曲线编解码的结构光三维重建方法.通过基于二次优化的亚像素边缘检测算法提取边缘曲线,提高了边缘检测精度,通过基于边缘曲线的方法进行解码,提高了码值的正确率.方法描述文中提出基于边缘曲线编解码的结构光三维重建方法流程如图所示.图结构光三维重建方法流程首先对采集到的编码图像进行预处理,得到二值化图像和有效重建区域;其次按照投影顺序将编码图像进行分层,并标记为d,k层空间,在每一层空间中对该层图像进行条纹边缘曲线提取,得到初始像素边缘曲线;然后将其映射回编码图像,利用基于二次优化的亚像素边缘检测算法对初始像素边缘曲线进行优化,得到精确的亚像素边缘曲线;最后通过基于边缘曲线的解码方法进行解码,利用极线约束和码值相等两个条件进行匹配,并依据三角测距原理获取三维点云.图像预处理为避免采集图像中非目标物体区域的影响,文中通过明暗照明差值法对有效区域进行提取,额外投射全亮和全暗图案,比较两幅图像中对应像素点灰度值的差异,将有效区域设为s,则其数学表达式为s(i,j),w(i,j)b(i,j)T,s(i,j),w(i,j)b(i,j)T,()式中:w(i,j)全亮图像上点(i,j)的灰度值;b(i,j)全暗图像上点(i,j)的灰度值;T阈值,通过大津法 进行确定.由于解码时需要获取像素点的二值序列,所以,文中通过自适应阈值方法对编码图像进行二值化,向被测物体投射正反编码图案,正反编码图像中对应像素点的灰度值会有所不同,设第m幅正向编码图像上点(i,j)的灰度值为gm(i,j),其对应的 反 向 编 码 图 像 上 点(i,j)的 灰 度 值 为gm(i,j),将Tgm(i,j)gm(i,j)/设为该像素点的阈值,则其数学表达式为gm(i,j),gm(i,j)T,gm(i,j),gm(i,j)T.()边缘曲线提取在二值化图像中黑条纹的灰度值为,白条纹的灰度值为,将图像中自身灰度值为,且左侧像素点灰度值为的边缘点定义为上升沿;将图像中自身灰度值为,且左侧像素点灰度值为的边缘点定义为下降沿.边缘曲线提取的具体步骤为:)通过c a n n y算子对第d层二值化图像进行边缘检测,提取条纹的像素级边缘,并计算边缘点的方向.)将第d层的二值化图像用连通域进行标长 春 工 业 大 学 学 报 第 卷记,并将像素级边缘映射回该层二值化图像.然后从图像左上角开始搜索边缘点,当搜索到第一个边缘点时,将该边缘点设为边缘曲线的起点,再开始搜索第条边缘曲线,并记录该边缘点的位置、方向和连通域序号.然后检测下一行中是否含有与该边缘点相同的连通域序号,如果未检测到,则该边缘曲线结束;否则以该边缘点在下一行中的对应点为中心建立个的窗口,一个窗口存储边缘方向,一个窗口存储连通域序号.如果两个窗口内含有边缘方向和连通域序号与上个边缘点相同的点,则认为该点与上个边缘点处于同一条边缘曲线,并对该点的位置、方向和连通域序号进行记录.重复该步骤,直到该边缘曲线结束,然后搜索下一条边缘曲线,直到所有边缘曲线都完成搜索.)循环)和),直到每层空间中的所有边缘曲线都完成搜索.亚像素边缘检测简单的像素边缘检测不能满足三维重建精度的需求,可通过基于二次优化的亚像素边缘检测算法对像素边缘进行优化,具体流程如图所示.图基于二次优化的亚像素边缘检测算法流程)在第d层空间中,将该层的像素级边缘曲线映射回编码图像,然后通过交点法提取亚像素边缘曲线.交点法即在正反编码图像上选取像素边缘点附近的区域,构造两条灰度曲线,灰度曲线的交点就是亚像素边缘点.)从图像左上角开始搜索,当搜索到第一条边缘曲线时,检测该曲线中是否存在缺失点,如果存在,则通过三次样条插值的方式对缺失点补齐,进行初次优化,否则跳到).)使用滑动窗口平滑法对边缘曲线进行二次优化,减小边缘的波动性.设边缘曲线中第i行某个边缘点的位置为(i,ai),滑动窗口平滑法优化后的位置为(i,bi),它们之间的数学表达式为biaiNi(aiiaii)N,iN,biai,iN,()式中:N窗口宽度.)循环)和),直到第d层所有边缘曲线都完成优化.)循环),直到每层空间中的边缘曲线都完成亚像素边缘细化.边缘曲线解码针对噪声和阴影导致的边缘点解码错误问题,根据双目格雷码辅助线移编码策略中同一条纹的边缘曲线中所有边缘点对应的格雷码序列相同的特点,提出基于边缘曲线的解码方法,具体步骤如下:)在第d层图像中按照所属的边缘曲线不同,即将所有边缘点划分为不同的解码区域,并分别标记为v,v,vu(u为边缘曲线的数量).)对vu中所有边缘点进行格雷码解码,格雷码解码即将边缘点对应的格雷码序列转化为自然二进制码序列,再转换为十进制码.假设采用n位格雷码GnGnGG,将其转化为n位自然二进制码编码BnBnBB,二者之间的转换公式为Bn Gn,BuGuBu,u,n.()统计vu中各边缘点码值的出现次数,将其中出现次数最多的码值作为该区域中所有边缘点的码值.)循环),直到所有边缘点完成解码.实验结果实验环境为验证所提算法的有效性,利用双目结构光系统进行三维重建实验,如图所示.第期 郭敏,等:基于边缘曲线编解码的结构光三维重建方法图双目结构光系统图其中结构光三维扫描仪主要由P o i n tG r e yG S U S M C工业相机、C o m p u t a r M MP镜头和投影模块构成,其硬件参数分别见表和表.表相机参数表参数值分辨率 像素大小 m m帧率 帧/s表投影模块参数表参数值光学分辨率 光源()mm帧率 帧/s结构光三维扫描仪和被测物体之间的工作距离保持 mm.计算机配置为I n t e l(R)C o r e(TM)i HC P U,GH z,G内存.实验过程中,采用位格雷码加步线移的编码策略,投影模块依次向目标物体投射幅格雷码图案及其反码图案、幅二进制编码图案及其反码图案和幅全亮与全暗图案,总共投射 幅图案,图案受到物体调制发生形变,然后由左目相机和右目相机进行同步采集,并将采集到的图像传至计算机中进行处理.玩具模型实验为了验证文中算法的鲁棒性,选取结构复杂的K i t t y模型作为实验对象进行三维重建实验,相机拍摄的K i t t y模型图像如图所示.图K i t t y模型图像双目相机采集到的其中一组K i t t y模型编码图像如图所示.(a)左目编码图像(b)右目编码图像图K i t t y模型编码图像长 春 工 业 大 学 学 报 第 卷编码图像中除了拍摄物体还存在非物体区域,这部分区域会对三维重建实验造成干扰,所以需要对图像进行预处理,得到仅包含拍摄物体的掩码图像,掩码图像中K i t t y模型区域的灰度值为,其余区域的灰度值为.对掩码图像中灰度值为的区域进行边缘曲线提取,提取到的某一条边缘曲线如图所示.(a)初始像素边缘(b)优化的亚像素边缘图某一条边缘曲线图(a)为提取到初始像素边缘,该边缘呈锯齿状,经过文中算法进行优化后,得到精确的亚像素边缘(见图(b),边缘的光滑性和连续性有所提升.使用文中算法对边缘曲线进行解码,再对解码结果进行匹配,并生成点云,得到K i t t y模型的点云和重构结果如图所示.(a)点云图(b)三维重构图图文中算法三维重建由图可以看出,该点云完整没有孔洞,重构结果平滑且细节清晰,符合K i t t y模型的形状,说明文中算法可以对物体进行有效三维重建.平面实验为了验证文中提出算法的精度和优越性,文中设置对照实验,在相同环境下分别通过文中算法和传统线移法对平面进行三维重建,拍摄平面图像如图所示.图拍摄平面图像双目相机采集到的其中一组平面编码图像如图所示.使用采集的平面编码图像进行三维重建的实验结果如图 所示.第期 郭敏,等:基于边缘曲线编解码的结构光三维重建方法(a)左目编码图像(b)右目编码图像图平面编码图像(a)传统线移法(b)文中算法图 平面点云图图(a)为传统线移法重建出的点云,存在点云孔洞,图(b)为本算法重建出的点云,该点云表面比传统线移法的点云更加平滑,且没有孔洞.同时传统线移法的点云数量为 ,文中算法的点云数量为 ,文中算法得到的点云数量较传统线移法增加了 个.通过最小二乘法对两组点云进行平面拟合,得到参数见表.表平面点云参数表算法R s q u a r eRM S E/mm传统线移法 文中算法 从表可以看出,文中算法点云的标准偏差较传统线移法更小.综上说明文中算法优于传统线移法.结语提出一种基于边缘曲线编解码的结构光三维重建方法.针对格雷码线移结构光三维重建精度低的问题,从边缘检测和解码两方面入手,通过基于二次优化的亚像素边缘检测算法对像素边缘进行优化,减小边缘的波动性,同时通过基于边缘曲线的解码方法进行解码,提高解码结果的正确率.通过实验对文中算法进行验证,实验结果表明,文中算法可以有效、准确地实现结构光三维重建.长 春 工 业 大 学 学 报 第 卷参考文献:C h e nJ,W a nZC,Z h a n gJC,e ta l M e d i c a l i m a g es e g m e n t a t i o na n dr e c o n s t r u c t i o no fp r o s t a t et u m o rb a s e do n D A l e x N e tJ C o m p u t e r M e t h o d sa n dP r o g r a m si n B i o m e d i c i n e,D O I:/j c m p b 张宗华,于瑾,高楠,等高反光表面三维形貌测量技术J红外与激光工程,():张天宇,夏仁波,赵吉宾,等基于结构光的焊缝表面质量检测 J组 合机 床 与 自 动 化 加 工 技 术,():林晓梅,裴建国,牛刚,等医学图像三维重建方法的研究与实现J长春工业大学学报:自然科学版,():左超,张晓磊,胡岩,等 D真的来了吗?三维结构光传感器漫谈J红外与激光工程,():G e n gJ S t r u c t u r e d i g h t Ds u r f a c e i m a g i n g:a t u t o r i a lJ A d v a n c e si n O p t i c s&P h o t o n i c s,():陆丽莲,吴周杰,张启灿基于错位格雷码的动态三维形貌测量方法J光学学报,():Y uS,Z h a n gJ,Y uX,e t a l U n e q u a l p e r i o dc o m b i n a t i o na p p r o a c ho fg r a yc o d ea n dp h a s e s h i f t i n gf o r D v i s u a l m e a s u r e m e n tJO p t i c s C o mm u n i c a t i o n s,:李付谦,陈文静正交光栅相移轮廓术的相位误差分析及其校正J光学学报,():S o n gZ,C h u n gR,Z h a n gX T A na c c u r a t ea n dr o b u s tS t r i p E d g e B a s e ds t r u c t u r e d l i g h tm e a n s f o rs h i n ys u r f a c em i c r o m e a s u r e m e n t i n DJ I E E ET r a n s a c t i o n so nI n d u s t r i a lE l e c t r o n i c s,():秦绪佳,赵海,张勤锋,等基于边界信息的结构光编解码方法J计算机辅助设计与图形学学报,():T r o b i n a M E r r o r m o d e lo fac o d e d l i g h tr a n g es e n s o rJ T e c h n i c a lR e p o r t,:孙帮勇,吴思远格雷码与六步相移编码融合的三维结构光学测量方法J强激光与粒子束,():吴昊,沈建新,戴家隆,等基于调制度分析的有效测量区域 自 动 分 割 算 法 J传 感 器 与 微 系 统,():,第期 郭敏,等:基于边缘曲线编解码的结构光三维重建方法