视觉检测系统报告.doc

2011 年 春 季学期研究生课程考核（阅读报告、研究报告）考 核 科 目:视觉测量系统 学 所 在 院 （系）:电气工程及自动化学院学 生 所 在 学 科:仪器科学与技术学 生 姓 名:*学 号:10S001*学 生 类 别:工学硕士考 核 结 果: 阅卷人: 视觉测量系统课程报告第一部分 视觉测量系统发展现状综述机器视觉自起步发展到现在，已有15年的发展历史。应该说机器视觉作为一种应用系统，其功能特点是随着工业自动化的发展而逐渐完善和发展的。 目前全球整个视觉市场总量大概在6070亿美元，是按照每年8.8%的增长速度增长的。而在中国，这个数字目前看来似乎有些庞大，但是随着加工制造业的发展，中国对于机器视觉的需求将承上升趋势。 一、机器视觉的定义及特点 简言之，机器视觉就是用机器代替人眼来做测量和判断。机器视觉系统是指通过机器视觉产品（即图像摄取装置，分CMOS和CCD两种）将被摄取目标转换成图像信号，传送给专用的图像处理系统，根据像素分布和亮度、颜色等信息，转变成数字化信号；图像系统对这些信号进行各种运算来抽取目标的特征，进而根据判别的结果来控制现场的设备动作。 机器视觉系统的特点是提高生产的柔性和自动化程度。在一些不适合于人工作业的危险工作环境或人工视觉难以满足要求的场合，常用机器视觉来替代人工视觉；同时在大批量工业生产过程中，用人工视觉检查产品质量效率低且精度不高，用机器视觉检测方法可以大大提高生产效率和生产的自动化程度。而且机器视觉易于实现信息集成，是实现计算机集成制造的基础技术。 正是由于机器视觉系统可以快速获取大量信息，而且易于自动处理，也易于同设计信息以及加工控制信息集成，因此，在现代自动化生产过程中，人们将机器视觉系统广泛地用于工况监视、成品检验和质量控制等领域。在中国，这种应用也在逐渐被认知，且带来最直接的反应就是国内对于机器视觉的需求将越来越多。 二、机器视觉在国内外的应用现状 在国外，机器视觉的应用普及主要体现在半导体及电子行业，其中大概40%50%都集中在半导体行业。具体如PCB印刷电路：各类生产印刷电路板组装技术、设备；单、双面、多层线路板，覆铜板及所需的材料及辅料；辅助设施以及耗材、油墨、药水药剂、配件；电子封装技术与设备；丝网印刷设备及丝网周边材料等。SMT表面贴装：SMT工艺与设备、焊接设备、测试仪器、返修设备及各种辅助工具及配件、SMT材料、贴片剂、胶粘剂、焊剂、焊料及防氧化油、焊膏、清洗剂等；再流焊机、波峰焊机及自动化生产线设备。电子生产加工设备：电子元件制造设备、半导体及集成电路制造设备、元器件成型设备、电子工模具。机器视觉系统还在质量检测的各个方面已经得到了广泛的应用，并且其产品在应用中占据着举足轻重的地位。除此之外，机器视觉还用于其他各个领域。 而在中国，以上行业本身就属于新兴的领域，再加之机器视觉产品技术的普及不够，导致以上各行业的应用几乎空白，即便是有，也只是低端方面的应用。目前在我国随着配套基础建设的完善，技术、资金的积累，各行各业对采用图像和机器视觉技术的工业自动化、智能化需求开始广泛出现，国内有关大专院校、研究所和企业近两年在图像和机器视觉技术领域进行了积极思索和大胆的尝试，逐步开始了工业现场的应用。其主要应用于制药、印刷、矿泉水瓶盖检测等领域。这些应用大多集中在如药品检测分装、印刷色彩检测等。真正高端的应用还很少，因此，以上相关行业的应用空间还比较大。当然、其他领域如指纹检测等等领域也有着很好的发展空间。 三、中国机器视觉未来发展趋势 在机器视觉赖以普及发展的诸多因素中，有技术层面的，也有商业层面的，但制造业的需求是决定性的。制造业的发展，带来了对机器视觉需求的提升；也决定了机器视觉将由过去单纯的采集、分析、传递数据，判断动作，逐渐朝着开放性的方向发展，这一趋势也预示着机器视觉将与自动化更进一步的融合。 需求决定产品，只有满足需求的产品才有生存的空间，这是不变的规律。机器视觉也是如此。 未来，中国机器视觉发展主要表现为以下一些特性：1随着产业化的发展对机器视觉的需求将呈上升趋势 机器视觉发展空间较大的部分在半导体和电子行业，而据我国相关数据显示，全球集成电路产业复苏迹象明显；与此同时，全球经济衰退使我国集成电路产业获取了市场优势、成本优势、人才回流等优势；国家加大对集成电路产业这一战略领域的规划力度，“信息化带动工业化”，走“新兴工业化道路”为集成电路产业带来了巨大的发展机遇，特别是高端产品和创新产品市场空间巨大，设计环节、国家战略领域、3C应用领域、传统产业类应用领域成为集成电路产业未来几年的重点投资领域。 此外，中国已成为全球集成电路的一个重要需求市场。据相关数据显示，2002年我国集成电路市场需求规模为1135.5亿元人民币，占世界市场规模的9.76%。2002年中国集成电路市场总销量为283.2亿块，总销售额为1135.5亿元，同比增长26.2%。中国已成为近年来世界半导体投资的热点。在全国许多地区，特别是长江三角洲地区，都有新的IC制造线和封装测试线投资兴建，IC设计公司的数量每年成倍增长。在产业政策的引导下，上海、北京、天津和深圳等地出现投资IC的好势头：天津Motorola投资15亿美元，月投2.5万片的8英寸芯片生产线和上海中芯国际投资14亿美元，月投8英寸芯片硅片4.2万片的项目已经投入运行。另外，中国半导体行业协会最新调研数据表明，2000年6月到2002年8月两年间，中国IC产业的投资总额约300亿元，相当于过去40年的投资总和。全国IC设计单位数量两年之间翻两番，已激增到389家，收入过亿元的达78家；专业测试公司已有10家左右，我国的IC测试业初具雏形。 就以上数据显示，中国的半导体和电子市场已初具规模，而如此强大的半导体产业将需要高质量的技术做后盾。同时他对于产品的高质量、高集成度的要求将越来越高。恰巧，机器视觉将能帮助他们解决以上的问题，因此该行业将是机器视觉最好的用武之地。同时，对于机器视觉的需求将蒸蒸日上。2统一开放的标准是机器视觉发展的原动力 目前国内有近数家机器视觉产品厂商，与国外机器视觉产品相比，国内产品最大的差距并不单纯是在技术上，而且还包括品牌和知识产权上。另一现状是目前国内的机器视觉产品主要以代理国外品牌为主，以此来逐渐朝着自主研发产品的路线靠近，起步较晚。未来，机器视觉产品的好坏不能够通过单一因素来衡量，应该逐渐按照国际化的统一标准判定，随着中国自动化的逐渐开放，将带领与其相关的产品技术也逐渐开放。因此，依靠封闭的技术难以促进整个行业的发展，只有形成统一而开放的标准才能让更多的厂商在相同的平台上开发产品，这也是促进中国机器视觉朝国际化水平发展的原动力。3基于嵌入式的产品将取代板卡式产品 从产品本身看，机器视觉会越来越趋于依靠PC技术，并且与数据采集等其他控制和测量的集成会更紧密。且基于嵌入式的产品将逐渐取代板卡式产品，这是一个不断增长的趋势。主要原因是随着计算机技术和微电子技术的迅速发展，嵌入式系统应用领域越来越广泛，尤其是其具备低功耗技术的特点得到人们的重视。另外，嵌入式操作系统绝大部分是以C语言为基础的，因此使用C高级语言进行嵌入式系统开发是一项带有基础性的工作，使用高级语言的优点是可以提高工作效率，缩短开发周期，更主要的是开发出的产品可靠性高、可维护性好、便于不断完善和升级换代等。因此，嵌入式产品将会取代板卡式产品。 4标准化、一体化解决方案也将是机器视觉的必经之路 另外，由于机器视觉是自动化的一部分，没有自动化就不会有机器视觉，机器视觉软硬件产品正逐渐成为协作生产制造过程中不同阶段的核心系统，无论是用户还是硬件供应商都将机器视觉产品作为生产线上信息收集的工具，这就要求机器视觉产品大量采用“标准化技术”，直观的说就是要随着自动化的开放而逐渐开放，可以根据用户的需求进行二次开发。当今，自动化企业正在倡导软硬一体化解决方案，机器视觉的厂商在未来5-6年内也应该不单纯是只提供产品的供应商，而是逐渐向一体化解决方案的系统集成商迈进。 在未来的几年内，随着中国加工制造业的发展，对于机器视觉的需求也逐渐增多；随着机器视觉产品的增多，技术的提高，国内机器视觉的应用状况将由初期的低端转向高端。由于机器视觉的介入，自动化将朝着更智能、更快速的方向发展。另外，由于用户的需求是多样化的，且要求程度也不相同。那么，个性化方案和服务在竞争中将日益重要，即用特殊定制的产品来代替标准化的产品也是机器视觉未来发展的一个取向。机器视觉的应用也将进一步促进自动化技术向智能化发展。第二部分 图像传感器(相机)及其产品的发展现状综述 目前主流的影像传感器（图像传感器）主要有CCD和CMOS两种。是数码相机、数码摄像头等产品的核心部件。CCD是电荷藕合器件图像传感器的简称，CMOS是互补性氧化金属半导体的简称，它们都采用高感光度的半导体材料制成。能把光线转变成电荷，然后转为信号。两者的生产工艺和所使用的设备和计算机芯片差不多，所以目前很多主流CMOS/CCD的厂商同时也是芯片制造商。随着近几年半导体制造工艺的成熟，CCD/CMOS产品成本逐渐降低，主要体现在制造工艺上从5.2微米逐步向45nm演进，使得单位面积的CCD/CMOS能够承载更多的像素单位，目前市场上800万像素的数码相机已经很常见。在成本上跟电脑内存差不多，容量18个月翻一番，价格却在持续下降。最近几年数码影像产品的价格已经跌倒普通消费者能够接受的水平，向一般家庭普及。传统相机由于技术的局限，已经无法取得突破性的进步，在成本和性能都被采用影像传感器的新兴影像设备所取代，目前传统影像设备已经逐渐从市场上消失，仅在高端市场上坚守最后一块阵地。目前影像传感技术已经普及到国民经济的各个部门，比如医疗影像、军事侦查、卫星拍摄、气象预报、安防产业、光学检测、工业自动化控制、指纹检查等。和现代电子计算机技术、软件技术、光学技术的有机结合将促进影像传感器的进一步普及，更多的新应用将呈现在人们的眼前。CMOS技术发展迅速 有可能成为未来主流当前CCD在成像质量上优于CMOS，所以在数码相机、医疗影像、卫星拍摄等对分辨率要求较高的领域CCD是主流，而另一方面由于CMOS采用标准的半导体生产工艺，生产成本低，耗电少，普遍用在手机和电脑摄像头。由于技术差异，CCD较多得用于静态影像，如拍照；CMOS则擅长于动态影像，如视频监控；另外CMOS还可以把一些周边电路集成到芯片中，在便携式设备中大量使用。对比两种技术的未来发展趋势，笔者认为未来CMOS将是主流。我们可以从以下几个方面来进行思考：一、CMOS影像传感器技术演进速度远远快于CCD技术。CCD技术的像素从5.2微米演进至1.7微米耗时12年之久，而CMOS技术完成这一变化则只用了3年时间。二、从市场的扩张速度来看，CMOS也高于CCD，2006年预计图像传感器市场交货总额为7.12亿美元，总体市场份额中CCD出货量从40%减少到30%左右。三、CMOS已经在成像的通透性、对实物的色彩还原能力等方面迎头赶上，总体性能的超越似乎只是时间问题。四、目前CMOS已经主导手机拍照市场。CCD在过去三十年已经是成熟的技术，由于其技术的独特性，改进困难，在成本上已经很难与CMOS竞争，由于其必须采用高于10伏的电压，功率较高，很难集成到一些便捷式产品中。五、CCD技术主要掌握在日本人的手中，阻碍了技术的传播，而几乎一般的半导体制造商都可以制造CMOS，所以成本下降很快，也有利于技术进步。因此，CMOS取代CCD是市场的发展趋势，06年的时候，美光影像集团新市场开发总监Paul Gallagher更是断言，CMOS技术将最终取代CCD技术，在未来45年内，CCD市场将不断下滑，预计在10年后CCD市场份额将仅剩10%左右。全球市场竞争格局和近几年发展趋势目前CCD市场的主要厂商为索尼、夏普、松下等日本厂商，后来进入图像传感器领域的厂商基本上都采用CMOS技术，因为它采用标准的半导体工艺，技术门槛相对校低，并且技术进步快，被大多数公司看好。索尼牢牢占据着CCD第一大供应商的位置。跟CCD浓重的日本色彩不同，CMOS厂商则散布于美欧日等发达国家，以2007年为例，CMOS供应商按产值的排名如下：美国OmniVision、美国美光半导体、欧洲意法半导体、日本东芝、日本索尼。根据表二所示，去年OmniVision以7.25亿美元的销售收入跃居第一位，增长了34%。美光、意法半导体、东芝均出现了不同程度的下滑。索尼在积极补课CMOS，索尼的熊本新厂于07年开始完工并量产，把索尼拉进了CMOS前五。 2006年9月日本的调查公司TechnoSystemResearch统计指出，2005年CMOS传感器的全球市场规模达4亿3440万个，为2004年的2.2倍；金额则为13亿2300万美元（约1480亿日圆），为2004年的1.7倍。其市场规模在数量上已超越CCD。根据市场调研公司In-Stat 07年提供的数据，虽然数码相机增长强劲，但手机仍是图像传感器的主要市场，占总出货量的75%以上。据市场调研公司IC Insights数据，2006年可拍照手机的出货量将从2005年的3.65亿部增长到4.75亿部，而且可拍照手机在总体手机市场中所占的比例也在不断上升。据IC Insights的报告，2006年可拍照手机占总体手机出货量的比例将达54%左右，而2005年是45%。自2002至2007年全球图像传感器市场大约以35%的速度在发展，主要得益于拍照手机的全面普及，还有数码相机需求的飙涨。于是乎，在这种形势下，各大厂商纷纷增加产量，而2007年却迎来了市场的寒冬。2007年，CCD和CMOS图像传感器合并销售下降7%，主要由于上半年摄像手机库存清理，市场需求增长放缓，以及工业和办公设备应用中的销售疲软，比如制造系统中图像机器、复印机和扫描仪等。CMOS销售下滑12%，CCD增长为零。ICInsights公司今年四月份发布的分析报告指出，2008年图像传感器市场将出现反弹。预计2008年图像传感器市场规模将达76亿美元，比2007年增长10%。ICInsights分析员RobLineback表示，预计2008年CMOS图像传感器销售将上升19%，达到44亿美元；同时，预计2008年CCD市场下降1%，为32亿美元。不过该报告在撰写的时候可能没考虑到下半年欧美会出现严重金融危机，全球需求萎缩的情况，实际情况要等明年的分析报告。根据信产部提供的数据今年整体手机销量严重下滑，多家国产手机厂商生存艰难，国外品牌也被迫降价，深圳山寨机库存严重，一系列消息，都让人对今年的CMOS市场感到担忧。国内现状与思考中国在图像传感器领域目前还处于起步阶段，仍有很长的路要走，由于图像传感器属于半导体产业的一部分，因此，影像传感器的发展取决于国内芯片制造技术的进步。目前具有台湾背景的中芯国际、和舰科技、台积电等厂商在大陆的芯片厂已经颇具规模，欧美的因特尔、意法半导体也相继在中国大连和深圳设厂。根据最新的消息今明两年台湾有可能开放12英寸晶圆及0.13微米制程甚至90纳米制程技术到大陆投资，势必会进一步促进中国芯片产业的发展。在技术选择方面，无疑CMOS必选的方向，CCD技术一直掌握日本人手中，欧美发达国家厂商多年来都无法在该领域分一杯羹，我们应该吸取教训，选对方向。2007年IBM向中芯国际授权45纳米大批量CMOS技术，2008年10月中芯国际宣布成功开发0.11微米CMOS 图像传感器工艺技术，在此工艺下生产的器件，其分辨率、暗光噪声和相对照度都将得到增强。无疑，中国本土厂商进军影像传感器产业的号角已经吹响！第三部分 摄像机模型的Matlab实现在机器视觉中，刚体变换经常用于计算一个经过旋转和平移后的新坐标。比较常用的旋转矩阵的表示形式有欧拉角表示法和四元素表示法。一、欧拉角表示法用旋转矩阵表示刚体的旋转变换简化了许多运算，但它需要个元素来完全描述这种旋转变换。被称为欧拉角的三个角度能很好描述刚体的旋转变换。相应的Matlab程序如下：x=0 1 2 3 0 1 2 3 0 1 2 3 0 1 2 3;y=0 0 0 0 1 1 1 1 2 2 2 2 3 3 3 3;z=1 2 3 1 2 3 1 2 3 1 2 3 1 2 3 1;%定义任意16个点坐标p=x;y;z;wx=pi/6;wy=pi/6;wz=pi/6; %分别设定偏转、俯仰、侧倾角度值r11=cos(wz)*cos(wy);r12=cos(wz)*sin(wy)*sin(wx)-sin(wz);r13=cos(wz)*sin(wy)*cos(wx)-sin(wz)*sin(wx);r21=sin(wz)*cos(wy);r22=sin(wz)*sin(wy)*sin(wx)+cos(wz)*cos(wx);r23=sin(wz)*sin(wy)*cos(wx)+cos(wz)*sin(wx);r31=-sin(wy);r32=cos(wy)*sin(wx);r33=cos(wy)*cos(wx);R=r11,r12,r13;r21,r22,r23;r31,r32,r33;%求解欧拉角表示法的旋转矩阵t=0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0; 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0; 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0; %设定平移量pz=R*p+t;xz=pz(1),pz(4),pz(7),pz(10),pz(13),pz(16),pz(19),pz(22),pz(25),pz(28),pz(31),pz(34),pz(37),pz(40),pz(43),pz(46);yz=pz(2),pz(5),pz(8),pz(11),pz(14),pz(17),pz(20),pz(23),pz(26),pz(29),pz(32),pz(35),pz(38),pz(41),pz(44),pz(47);zz=pz(3),pz(6),pz(9),pz(12),pz(15),pz(18),pz(21),pz(24),pz(27),pz(30),pz(33),pz(36),pz(39),pz(42),pz(45),pz(48);%经坐标变换后的坐标figure;subplot(1,2,1);grid,stem3(x,y,z);axis(-1 4 -1 4 -1 4);subplot(1,2,2);grid,stem3(xz,yz,zz);axis(-1 4 -1 4 -1 4);首先定义16个点的三维坐标，分别为001，102，203，301，012，113，211，312，023，121，222，323，031，132，233，333。而后设定偏转、俯仰、侧倾角度值，本程序将三个角度值都设为30度，平移量设为0。程序仿真后的图形如下：左侧图为原坐标，右侧图为经变换后的坐标。得出变换后的16个点坐标分别为0.1250，0.6495，0.7500，1.0000，1.7321，1.0000，1.8750，2.8146，1.2500，2.3750，1.9486，-0.7500，-0.0335，2.1740，1.9330，0.8415，3.2566，2.1830，1.3415，2.3905，0.1830，2.2465，3.4731，0.4330，-0.1920，3.6986，3.1160，0.3080，2.8325，1.1160，1.1830，3.9151，1.3360，2.0580，4.9976，1.6160，-0.7255，3.2745，2.0490，0.1495，4.3571，2.2990，1.0245，5.4396，2.5490,1.5245 4.5736 0.5490。二、四元素表示法四元素是一个四元矢量，可用来描述坐标旋转，实践证明，对于旋转与定位求解问题，用四元素法可以很好的数值解。由以上16个点的前后变换坐标，可得出四元素法的变换矩阵。程序如下：t1=t(1),t(4),t(7); t(2),t(5),t(8); t(3),t(6),t(9);p1=p(1),p(4),p(7); p(2),p(5),p(8); p(3),p(6),p(9);pz1=pz(1),pz(4),pz(7); pz(2),pz(5),pz(8); pz(3),pz(6),pz(9);Rq=(pz1-t1)*pinv(p1);%求逆矩阵%加入噪声干扰变换后的坐标pz1pz2=pz1(1),pz1(2),pz1(3),pz1(4),pz1(5),pz1(6),pz1(7),pz1(8),pz1(9);pz3=pz2+rand(1,9);pz4=pz3(1),pz3(4),pz3(7); pz3(2),pz3(5),pz3(8); pz3(3),pz3(6),pz3(9);Rq1=(pz4-t1)*pinv(p1);欧拉角法的变换矩阵为 四元素法求得的变换矩阵同样为 对空间坐标加入rand产生的随机噪声后，将程序运行3次，求得的变换矩阵分别为由数据可分析出，噪声误差对变换矩阵的影响还是很大的，因此在用变换坐标求相应的变换矩阵时，应尽量提高测量精度，减少误差带来的影响。三、摄像机线性模型摄像机通过成像透镜将三维场景投影到摄像机二维像平面上，这个投影可用成像变换描述，即摄像机成像模型。摄像机模型可将空间点的世界坐标变换为图像坐标及像素坐标。线性模型程序如下：U=1316;V=1035;dX=0.0000068;dY=0.0000068;u0=U/2;v0=V/2; %设定像素UV，像素尺寸dXdY及u0v0%给出空间点的世界坐标Xw=5;Yw=5;Zw=5;%给出外部参数wx=0;wy=0;wz=0; %分别设定偏转、俯仰、侧倾角度值r11=cos(wz)*cos(wy);r12=cos(wz)*sin(wy)*sin(wx)-sin(wz);r13=cos(wz)*sin(wy)*cos(wx)-sin(wz)*sin(wx);r21=sin(wz)*cos(wy);r22=sin(wz)*sin(wy)*sin(wx)+cos(wz)*cos(wx);r23=sin(wz)*sin(wy)*cos(wx)+cos(wz)*sin(wx);r31=-sin(wy);r32=cos(wy)*sin(wx);r33=cos(wy)*cos(wx);R=r11,r12,r13;r21,r22,r23;r31,r32,r33;t=0;0;0;M2=R,t;0 0 0 1;%求摄像机坐标系下的齐次坐标camora_xyz=M2*Xw;Yw;Zw;1;%设定焦距，求图像坐标f=0.012;P=f 0 0 0;0 f 0 0;0 0 1 0;image_xyz=P*camora_xyz;%求空间点的图像坐标X=image_xyz(1)/image_xyz(3);Y=image_xyz(2)/image_xyz(3);%设定内参,求像素坐标M1=1/dX 0 u0;0 1/dY v0;0 0 1;pixel_xyz=M1*X;Y;1;u=pixel_xyz(1);v=pixel_xyz(2);给出空间点世界坐标，设定外部参数（欧拉角表示法三角均为0度，位移为0），便可求得点的图像坐标及像素坐标。给定9个点的空间世界坐标分别为1，2，3，2，2，3，-1，-3，3，1，-2，4，-5，5，5，0.5，0.6，0.7，30，31，32，0，0，40，100，120，130。运行程序后，得相应的图像坐标分别为0.0040，0.0080，0.0080，0.0080，-0.0024，-0.0072，0.0030，-0.0060，-0.0120，0.0120，0.0086，0.0103，0.0113，0.0116，0，0，0.0092，0.0111。像素坐标分别为1246.2，1694.0，1834.5，1694.0， 350.0588，-541.3235，1099.2，-364.8529，-1106.7，2282.2，1918.5，2030.1，2312.4，2227.1，658，517.5，2015.5，2146.5。四、摄像机非线性模型实际上，由于实际的镜头并不是理想的透视成像，而是带有不同程度的畸变，加入畸变参数的模型即为非线性模型。程序如下：U=1316;V=1035;dX=0.0000068;dY=0.0000068;u0=U/2;v0=V/2; %设定像素UV，像素尺寸dXdY及u0v0%给出空间点的世界坐标Xw=5;Yw=5;Zw=5;%给出外部参数wx=0;wy=0;wz=0; %分别设定偏转、俯仰、侧倾角度值r11=cos(wz)*cos(wy);r12=cos(wz)*sin(wy)*sin(wx)-sin(wz);r13=cos(wz)*sin(wy)*cos(wx)-sin(wz)*sin(wx);r21=sin(wz)*cos(wy);r22=sin(wz)*sin(wy)*sin(wx)+cos(wz)*cos(wx);r23=sin(wz)*sin(wy)*cos(wx)+cos(wz)*sin(wx);r31=-sin(wy);r32=cos(wy)*sin(wx);r33=cos(wy)*cos(wx);R=r11,r12,r13;r21,r22,r23;r31,r32,r33;t=0;0;0;M2=R,t;0 0 0 1;%求摄像机坐标系下的齐次坐标camora_xyz=M2*Xw;Yw;Zw;1;%设定焦距，求图像坐标f=0.012;P=f 0 0 0;0 f 0 0;0 0 1 0;image_xyz=P*camora_xyz;%求空间点的图像坐标fale_X=image_xyz(1)/image_xyz(3);fale_Y=image_xyz(2)/image_xyz(3);%加入非线性畸变影响k1=0.001;r2=fale_X2+fale_Y2;derta_x=fale_X*k1*r2;derta_y=fale_Y*k1*r2;X=fale_X+derta_x;Y=fale_Y+derta_y;%设定内参,求像素坐标M1=1/dX 0 u0;0 1/dY v0;0 0 1;pixel_xyz=M1*X;Y;1;u=pixel_xyz(1);v=pixel_xyz(2);设畸变系数k=0.001，上述9个点的图像坐标分别为：0.0040，0.0080，0.0080，0.0080，-0.0024，-0.0072，0.0030，-0.0060，-0.0120，0.0120，0.0086，0.0103，0.0113，0.0116，0，0，0.0092，0.0111。像素坐标分别为1246.2，1694.0，1834.5，1694.0， 350.0588，-541.3235，1099.2，-364.8529，-1106.7，2282.2，1918.5，2030.1，2312.4，2227.1，658，517.5，2015.5，2146.5。由数据可得，当畸变系数较小时，对坐标几乎没有影响，但畸变系数较大或图像处于透镜边缘时，对坐标还是有影响的。第四部分 单目运动系统光点排序问题一、问题描述基于立体靶标单目运动系统中，靶标上有LED光点11个，沿光轴方向呈高低分布，其中6个低点、5个高点，且垂直投影到像面为一条直线，从左至右6个低点的编号分别为（1）（2）（3）、（9）（10）（11），5个高点为（4）（5）（6）（7）（8），要现实的功能是：正常情况下，11个光点均可见，快速搜索光点并排序。非正常情况下，即一个或多个光点被暂时遮挡，快速搜索光点并排序。二、光点搜索及排序依据的基本原理系统基于滤光摄像机完成，因此摄入的图像背景为黑色，只光点可见。解决方案中光点搜索采用灰度值方式，即以像素为单位进行搜索，背景灰度值为0，当搜索到不为0的像素时，则认为找到了某个光点，而后再做进一步处理。排序基于像素坐标值，找到光点后，以其像素坐标值的大小来排列光点。如规定像素坐标系从左向右水平方向为X轴正方向，从下向上垂直方向为Y轴正方向，则11个点中X轴坐标最小的为（1）号点，最大的为（11）号点（此种情况仅为初始位置时及刚体旋转角在180度以内时）。以上为光点无遮挡时，当光点遮挡时，11个点不完整，排序不能靠坐标值。本解决方案采用直线与距离双定位法来完成排序。空间两个点可确定一条直线，设第三个空间点同样在这条直线上，已知空间两个点的坐标及第三个点分别到两个点的距离，运用空间解析几何的知识，便可求得第三个点的坐标。三、具体排序过程由于本问题基于快速摄像系统来完成，相邻两帧图像的光点运动不会太快，下一帧的目标可在前一帧目标的周围进行搜索，不必全局搜索。1、初始状态的光点搜索及排序初始状态时，光点不动，排列为一直线，对光点采用全局搜索，即以像素为单位，从像素坐标系的原点开始，沿X轴正方向搜索，当搜索完一行后，将Y轴坐标值加1，再进行行搜索，直到将整个像平面搜索完毕。搜索过程中，灰度值不为0的区域有11个，将区域中亮度最大的像素点坐标标定为光点的坐标，存储坐标值为X，Y。11个坐标值全都搜索存储后，按X轴坐标的大小排序，从左至右依次为（1）至（11）号点。初始状态时还需要将各点间的相互距离数值存储，目的是在光点被遮挡后，用来估计被遮挡点的大概坐标位置，进而采用局部搜索的方法，当光点重新出现时，可快速定位排序。11个光点之间的距离互不相同，将相邻两点间距离及相隔个点的两点间距离计算存储，即如（）（）（）（）四个点，将（）（）间距、（）（）间距、（）（）间距及（）（）间距、（）（）间距存储。如11个点，共存储19个间距数值。2、正常无遮挡情况下的光点搜索及排序当刚体运动后，高速摄像系统拍摄每秒100帧左右的图像，由于拍摄速度很高，相对的光点运动位移很小，因此搜索光点时不用全局搜索，仅在前一帧光点周围搜索即可。具体方法是以前一帧光点为圆心，向四周搜索，此时设定一个边界域值，例如可设域值为10个像素（域值根据实际运动速度及拍摄速度调整），搜索范围在圆心以外上、下、左、右10个像素的矩形区域内。无遮挡时下一帧光点必在这一区域内，搜索到新的光点后同样以灰度值最高的为新的光点坐标，存储坐标值。新光点与原光点的序号相同，不存在重新排序问题。3、非正常有遮挡情况下的光点搜索及排序当刚体处于非正常情况下，即有部分光点被遮挡后，需要特殊的处理。上面提到的无遮挡时在原光点周围搜索新光点，当在规定的区域内搜索达到最大域值，仍搜索不到新光点时，则认为光点被遮挡，此时停止对本序号光点的搜索，坐标值存储为0，表明此点暂时丢失。11个光点区域搜索完成后，可得到被遮挡光点的序号，例如（）（）号光点区域没有搜索到灰度值，判断（）（）号光点被遮挡，其它光点有灰度值，判断末被遮挡。此时进行运算处理时应参考末被遮挡的光点数值参数，被遮挡光点的参数要剔除掉。在当前帧判断光点被遮挡后，下一帧末被遮挡的光点仍然按照局部搜索的方法定位。被遮挡点由于在当前帧无真实坐标值，因此要用其它点的坐标值来估计被遮挡点的坐标值，而后在估计的位置进行搜索，判断光点是否重新出现。例如上述，（）（）号光点被遮挡，首先通过（）（）号光点坐标求出各光点所在的直线方程，而后通过（）（）间距及（）（）间距，计算出（）号光点的估计坐标值，以估计坐标值为圆心，向周围进行搜索。同理应用（）点坐标值及（）点坐标估计值来估计（）号光点的坐标值。以估计坐标值搜索后，如达到最大搜索域值仍末发现光点，则认为光点继续被遮挡，在下一帧以同样方法估计坐标值再进行搜索；如以估计坐标值搜索到灰度值变化，则认为光点重新出现，此时将搜索到的精确坐标值存储，此点的参数重新可用。四、总结本方案通过全局搜索与局部搜索相结合的方法，依据高速摄影系统各帧差异较小的特点，仅在初始位置时采用全局搜索，当确定参考点后采用局部搜索方法进行光点搜索定位排序，且当光点被遮挡时，运用直线及距离法估计坐标值，仍可在局部较小区域内搜索光点，直到被遮挡光点重新出现。此方法可较好的提高搜索参考点的速度，且在初始位置光点排序后，根据光点序号进行局部搜索，无遮挡及有遮挡情况下，均不必再进行排序运算，节省时间及运算资源。第五部分 高速运动视觉捕捉系统演示实验一、实验系统介绍及组成本实验装备采用瑞典Qualisys公司的一套视觉捕捉设备，本设备由四个高速相机、型坐标架、型坐标架、电脑及相应软件组成。其中高速相机参数为：400万像素，180帧/s，如果降像素应用，速度可以达到10000帧/s。L型坐标架上有四个高反光点，用于整个系统的世界坐标系建立。T型坐标架有两个高反光点，用于系统外部参数及姿态的校准优化。二、世界坐标系的建立及参数校准1、世界坐标系建立首先将四个高速相机安放在以实验平台为中心的四个方位上，连接好电缆及电脑，将应用软件打开。此时，在电脑屏幕上会分别显示四个画面，即四个相机所拍摄到的视场。将L型坐标架水平放于实验平台上，四个相机可在不同的角度对坐标架进行拍摄，拍摄的速度是可调节的。软件会根据拍摄到的四个画面中的光点位置自动确定整个系统的坐标系，后续实验都以这个坐标系为基准。2、参数校准四个相机的内部参数在出厂时已经标定给出，要做的是标定外部参数及对参数的优化处理。将T型坐标架放于系统视场中，在三维空间内晃动，软件会自动捕捉T型坐标架上的两个高反光点。由于两个高反光点的间距是已知的（750.6mm），系统会用测量数据与已知的标准数据进行比较，而后调整优化参数，最终使系统达到最高精度。实验中校准优化