U D C： 13-080200-29M
学 位 论 文
焊接机器人焊缝信息视觉检测系统研究
王 璇
指导教师姓名：
李 慨
副教授河北工业大学
申请学位级别：
硕 士
学科、专业名称：机械工程
论文提交日期： 2013 年 2 月 论文答辩日期: 2013 年 3 月
学位授予单位：
河北工业大学
答辩委员会主席：
评 阅 人：
2013 年 3 月
Hebei University of Technology for
The Master Degree of Mechanical Engineering
RESEARCH ON VISUAL DETECTION SENSOR OF WELDING ROBOT
by Wang Xuan
Supervisor: Associate Prof. Li Kai
March 2013
本人郑重声明：所呈交的学位论文，是本人在导师指导下，进行研究工作所取得的成 果。除文中已经注明引用的内容外，本学位论文不包含任何他人或集体已经发表的作品内 容，也不包含本人为获得其他学位而使用过的材料。对本论文所涉及的研究工作做出贡献 的其他个人或集体，均已在文中以明确方式标明。本学位论文原创性声明的法律责任由本 人承担。
学位论文作者签名： 日期：
关于学位论文版权使用授权的说明
本人完全了解河北工业大学关于收集、保存、使用学位论文的以下规定：学校有权采 用影印、缩印、扫描、数字化或其它手段保存论文；学校有权提供本学位论文全文或者部 分内容的阅览服务；学校有权将学位论文的全部或部分内容编入有关数据库进行检索、交 流；学校有权向国家有关部门或者机构送交论文的复印件和电子版。
（保密的学位论文在解密后适用本授权说明）
学位论文作者签名： 日期：
导 师 签 名： 日期：
焊接机器人焊缝信息视觉检测系统研究
摘 要
焊接技术的自动化、柔性化和智能化是提高焊接质量、提高生产效率、降低制造成本 的保证。采用机器人焊接已经成为焊接技术自动化的主要标志。由于视觉传感器为非接触 测量，可获得的信息量大，具有强灵敏度、高精度和强抗干扰能力等优点，已成为焊接机 器人的必然发展趋势。要实现焊缝自动跟踪控制，焊缝信息视觉检测技术是其中的核心技 术。目前焊缝视觉跟踪仍存在实时性不强、智能性不高、存在导前误差等应用性难题。因 此开发一种智能化高、抗干扰能力强、处理速度快、能够减小导前误差的焊缝信息视觉检 测系统是十分必要的。
本文主要完成以下几方面内容：
针对视觉传感系统的各种干扰因素对图像的影响及视觉传感器体积较大的问题，研制 结构光视觉传感器，对视觉传感器硬件进行选型，对光路和结构进行设计，减小视觉传感 器体积，并且滤除因工件反光产生的干扰，提高其抗干扰能力。
针对焊缝跟踪系统输入量为实际值这一特点，对该视觉检测系统进行标定，主要包括 摄像机标定、手眼标定和结构光标定，建立从二维图像中获取三维实际坐标的关系。
针对具有强干扰的结构光焊缝图像，深入研究各种处理方法，采用基于背景校正的方 法改进最大类间方差阈值分割法，并与中值滤波、孤点滤波等处理方法组成针对具有强干 扰的焊缝图像预处理组合方法，能够快速准确地提取出焊缝信息。经过大量实验证明，该 图像处理方法处理一幅 537(H)×597(V)图像的时间不大于 25ms，完全能够满足焊缝跟踪 的实时性要求。
针对焊缝视觉跟踪存在导前误差的问题，采用了一种拟合焊枪前后一段距离内焊缝路 径的方法来减小导前误差。经大量实验证明，此方法精度较高，能够有效的减小导前误差。
采用 LabVIEW 和 Matlab 混合编制了一套基于结构光视觉传感器的焊缝信息检测系统，
系统人机界面友好。实验表明，该检测系统检测精度高、处理速度快。
关键词：焊接机器人，视觉传感器，视觉系统标定，图像处理，导前误差
RESEARCH ON VISUAL DETECTION SENSOR OF WELDING ROBOT
ABSTRACT
The automation, flexibility and intelligence of welding technology ensure the high quality, high production efficiency and low production cost. Robot welding has become the main feature of automation welding technology. Because vision sensor has noncontact measurement, more information, sensitive, accurate and high anti-jamming performance, it becomes the inevitable developing trend of welding robot. In order to realize auto-track control, the detection is the core technology. Now the seam vision tracking still has poor real-time, poor intelligent and has the error brought by the preposed sensor, so it is necessary to develop a high-intelligent, high anti-interference performance and fast detection system, the system also can reduce the error.
This paper mainly completed the following contents:
To solve the influence by all kinds of interference factors and the size of vison sensor issues, a structure light sensor is developed. The main hardwares of vision sensor are selected, and the light path and structure is designed. As a result, the size of sensor is decreased, and the anti-interference performance is enhanced.
Considering the input of seam tracking is actual value, the vision detection system is calibrated. It mainly include camera calibration, eye-in-hand calibration and structure light calibration.The relationship between the two dimensional image to three dimensional actual coordinate is established.
Otsu based on background correction is developed for strong interference welding image. A compounding process method including this developed method, median filter, solitary point filter is to be used to pre-process seam images. As a result, the welding seam information is extracted rapidly and stably. Experiments show that using this compounding process, the seam detecting system has powerful anti-jamming ability. Within 25ms, a 537(H) × 597(V) image can be processed, so it can meet the requirement of real time seam tracking.
A fitting methods for front and back welding gun distance is developed, aimed at
eliminating the error brought by the preposed sensor. Experiments show that this method has
high accuracy, and can effectively reduce error.
A seam information detecting system based on structured light sensor and using LabVIEW and Matlab are taken in practice. The system human-computer interface is friendly. Experiments show that the system is with high accuracy, and fast detecting.
KEY WORDS: welding robot, vision sensor, calibration, image process, error brought by the
preposed sensor
目录
第一章 绪论
... 1§1-1 课题研究背景和意义... 1
§1-2 焊接机器人发展现状... 2
§1-3 焊接信息视觉传感技术... 5
1-3-1 被动视觉传感器... 6
1-3-2 主动视觉传感器... 6
§1-4 视觉传感焊缝跟踪技术的发展现状和前景... 6
1-4-1 焊缝视觉传感商业化产品... 7
1-4-2 焊缝视觉跟踪图像处理技术的研究现状... 7
§1-5 本文目标及内容... 8
第二章 结构光视觉传感系统
... 10§2-1 实验系统的总体构件设计... 10
§2-2 结构光视觉传感原理... 11
§2-3 结构光视觉传感系统的设备选择... 12
2-3-1 传感器壳体... 12
2-3-2 激光器的选择... 12
2-3-3 CCD 摄像机及镜头的选择... 12
2-3-4 滤光片组的选择... 14
2-3-5 图像采集卡的选择... 14
2-3-6 挡板和防飞溅透明片... 15
§2-4 结构光视觉传感器的结构设计... 15
2-4-1 CCD 摄像机与半导体激光器位置布局关系... 15
2-4-2 激光器与 CCD 摄像机夹角设计... 16
§2-5 结构光视觉传感器的数学模型... 17
§2-6 结构光视觉传感器的机械设计... 18
§2-7 结构光视觉传感器的安装... 20
§2-8 本章小结... 20
第三章 移动焊接机器人视觉系统标定
... 21§3-1 摄像机模型... 21
3-1-1 理想状态下的摄像机模型... 21
3-1-2 实际摄像机模型... 22
§3-2 摄像机的成像变换... 23
3-2-1 摄像机坐标系和世界坐标系关系... 23
3-2-2 摄像机坐标系和图像坐标系之间变换关系... 23
3-2-3 世界坐标系和图像坐标系之间关系... 24
§3-3 摄像机标定... 25
3-3-1 内部参数... 25
3-3-2 外部参数... 25
3-3-3 传统摄像机标定方法概述... 25
3-3-4 摄像机标定实验及结果... 27
§3-4 “手眼”关系标定... 30
3-4-1 手眼标定数学模型... 30
3-4-2 手眼标定实验与结果... 31
§3-5 结构光参数标定... 31
3-5-1 结构光参数标定数学模型... 31
3-5-2 结构光参数标定实验与结果... 34
§3-6 本章小结... 35
第四章 焊缝图像处理
... 36§4-1 焊缝图像的特点... 36
§4-2 图像处理的整体过程... 36
§4-3 图像的预处理... 37
4-3-1 加窗处理... 37
4-3-2 图像增强... 38
4-3-3 焊缝图像的滤波... 40
4-3-4 图像分割... 43
4-3-5 焊缝图像的孤点滤波... 48
§4-4 焊缝图像特征点的提取... 48
4-4-1 焊缝图像中心的提取... 48
4-4-2 焊缝特征信息提取... 49
§4-5 焊缝路径的拟合... 52
4-5-1 超前检测... 52
4-5-2 曲线拟合的方法... 52
4-5-3 焊缝的曲线拟合... 54
4-5-4 跟踪过程分析... 54
§4-6 本章小结... 55
第五章 焊缝检测系统软件设计及实验
... 56§5-1 软件开发工具的选择... 56
§5-2 检测系统设计... 56
5-2-1 硬件系统... 56
5-2-2 软件系统... 57
§5-3 焊缝视觉信息检测的实验与分析... 60
5-3-1 焊接实验... 60
5-3-2 误差分析... 63
§5-4 本章小结... 64
第六章 结论与展望
... 65§6-1 全文结论... 65
§6-2 展望... 65
参考文献
... 66致谢
... 70第一章 绪论
§1-1 课题研究背景和意义
焊接技术作为传统加工技术，在机械制造业中占有重要地位，除装配和机加工外，焊接技术位列第 三。随着先进制造技术的发展，实现焊接产品制造的智能化、自动化与柔性化已经成为必然趋势，采用 机器人焊接技术进行焊接作业已成为焊接自动化的重要标志[1,2]。焊接机器人不仅稳定性好、生产效率 高，而且还能够降低工人的劳动强度和适应各种恶劣的工作环境，广泛应用于船舶、汽车、化工、炼油、
冶金、压力容器、机械、航空航天等民用和军用工程及制造领域。我国是制造业大国，但我国的智能焊 接水平与发达国家相比还有一定差距，大力发展智能焊接技术是提高我国工业水平的关键所在[3]。
在自动化焊接过程中，如何保证焊接质量是移动焊接机器人所面临的问题。由于焊接过程中工件受 热变形和加工、装配误差都会使焊枪偏离焊道，而焊接机器人无法识别这种偏移量，从而导致焊接质量 的下降。通常需要使用传感器将位置偏差传递给机器人，进行实时调整焊枪位置。据统计，焊工在进行 手工焊接时，有80%的信息来自眼睛，其通过观察焊缝、熔池、电弧形状等来调节焊接参数和工艺，
保证了焊接的稳定性[4,5]。所以，机器视觉控制技术已成为焊接机器人的必然发展趋势。
虽然目前在各类生产线中存在大量的视觉焊接机器人，但是随着对焊接质量的要求日益严格，还需 要解决如下三个应用性难题：
(1) 视觉跟踪系统控制的实时性[6]
信息图像的提取和焊缝跟踪都要求计算机视觉传感与控制有很强的实时性和很高的控制精度，但由 于光学传感器科技水平和引入只能控制因素的限制，都会增加计算机处理时间，影响焊接的实时性，因 此为了加快机器人响应速度，不得不以牺牲控制精度为代价。
(2) 视觉跟踪系统的智能性[6]
由于实际焊接过程复杂多变，许多条件的改变会造成焊缝变形，使焊枪偏离焊缝。针对这些问题，
焊接机器人如不能做出相应调整，将导致焊接质量的下降，故需选择高精度传感器，但机器人成本也会 随之上升，如何寻求一个平衡点是个关键问题。
(3) 视觉跟踪系统的导前误差
由于熔池图像的亮度较高，如果将结构光照射在焊枪当前位置时，熔池光强会淹没结构光，很难提 取到焊缝信息。故目前的视觉传感器都会超前焊枪一段距离，这样就不可避免的引入导前误差。在进行 实际焊接作业时，导前误差会影响焊接质量。
针对以上问题，开发一种智能程度高，抗干扰能力强，处理速度快，能够减小导前误差的焊缝信息 视觉检测系统是十分必要的，其对完成水下、核辐射、空间环境等不适于人类参与的，且需要保证质量 的焊接工作具有重大意义。
§1-2 焊接机器人发展现状
由世界工业机器人的应用统计可知，工业机器人的重点应用领域为：搬运、焊接、喷涂、上下料及 装配等；根据行业情况可知，主要应用领域为：机车车辆、工程机械、汽车制造业等，其中汽车制造业 应用最为广泛，图1.1 为美洲各行业对机器人的需求分析[7]。
汽车零部件 24%
金属制品业 8%
橡胶及塑料 行业 7%
电子电器工 业 7%
汽车工业 食品工业 2% 37%
其他工业 15%
图 1.1 美洲各行业对机器人需求分布[7]
Fig. 1.1 The needs to robot distribution of America industries[7]
焊接机器人是由计算机控制的取代焊工完成自动焊接工作的机器，一般由能够进行两维、三维、或 多个自由度运动的焊接机械手，数控焊接变位器和中央控制器等组成。初级的为示教型，常用的为数字 控制型，高级的为智能型。
目前焊接机器人主要有三种形式：焊接机器人生产线、焊接机器人工作站和焊接专机[7]。焊接机 器人生产线主要是用于种类多、数量少的产品；焊接机器人工作站主要用于焊缝较短、数量较多、形状 较复杂的产品；焊接专机主要适用于批量大、改型慢的产品，也适用于焊缝较长、数量较少、形状规则 的产品。
国外工业发达国家焊接机器人已得到广泛应用，我国近十几年应用也越来越多，尤其是在汽车工业 应用电阻焊（点焊）机器人较多。日本和德国是提供焊接机器人商品最多的国家，我国也已研制出多种 型号、性能先进的焊接机器人，并取得自主知识产权[8]。
1 舱体格子构件焊接机器人
韩国的Kam B.O.等人研制了一种轮式移动焊接机器人[9]。此机器人主要用于焊接舱体格子结构的 构件。此机器人的优点是体积小、重量轻，即使在狭小空间也能够进行自主焊接，可自动寻找焊缝的起 始位置。在焊接格子形框架的拐角处时，能够在保持焊接速度不变的情况下，协调控制移动平台和十字 滑块的运动以确保焊炬对准焊缝。如图1.2 所示。
图 1.2 舱体格子形构件焊接机器人[9]
Fig. 1.2 Shipyard welding robot[9]
2 平板对焊自主焊接机器人
日本庆应大学学者Suga 等研制了自主性三轮移动焊接机器人，主要用于平面薄板焊接[10]。通过差 速驱动两驱动轮来实现转弯，CCD 视觉传感器安装在移动平台上焊枪机械手末端，来检测焊缝的位置 与形状，采集到焊缝信号经过处理后输入到控制器以控制机械手运动，来实现对焊缝的精确跟踪。如图 1.3 所示。
图 1.3 平板对焊移动焊接机器人[10]
Fig. 1.3 Slab welding mobile robot[10]
3 管道焊接机器人
河北工业大学岳宏、李慨等学者研发了基于视觉传感的管道焊接机器人[11,12]，如图1.4 所示。该机 器人采用永磁吸附技术将机器人吸附在管道上，无须事先铺设轨道；采用双CCD 视觉传感器避免在焊 接过程中频繁调头；采用一种焊枪侧置形式的结构，与骑跨式结构相比，使焊缝跟踪精度不受管道对口 精度的影响，并可以实现管道弯角对接焊缝的焊接。该机器人焊接精度高，工作范围大。
图 1.4 管道焊接机器人[11-12]
Fig.1.4 Pipeline welding robot[11-12]
4 甲板焊接机器人
上海交通大学研制的轮式移动焊接机器人[13]，此机器人具有自寻迹功能。该机器人主要用于舰船 甲板的焊接。在焊接前，机器人能够自主的寻找焊缝的起始位置，通过一定的轨迹推算后自动调节机器 人移动平台和焊枪到待焊状态。移动平台与焊缝坡口平行，焊枪位于焊缝的坡口中心。该机器人可以实 现甲板的高效自动化焊接，保证焊接质量。如图1.5 所示。
图 1.5 自寻迹舰船甲板焊接移动机器人系统组成[13]
Fig. 1.5 Auto-searching weld line ship deck mobile welding robot[13]
5 无导轨全位置爬行式弧焊机器人
南昌大学研制的履带式爬壁弧焊机器人[14]，能够在垂直的平面上进行焊接作业。该机器人系统由 爬行机构、视觉传感系统、控制电路及PC 处理控制系统组成。视觉传感与 PC 处理控制组成焊缝识别 系统，用于识别焊缝，将检测到的焊缝信息输入到焊缝跟踪系统中，实时控制移动平台和十字滑块运动 以实现焊缝跟踪。如图1.6 所示。
图 1.6 履带式爬壁弧焊机器人[14]
Fig. 1.6 Pedrail mobile welding robot[14]
§1-3 焊接信息视觉传感技术
在焊接过程中，由于坡口的加工误差、装配误差、热变形、焊缝走向等，往往会使焊枪偏离焊缝中 心，降低焊接质量。为了实现焊接自动化并且保证焊接质量，机器人必须检测出焊缝当前的偏差，然后 反馈给控制器，驱动焊枪消除偏差。检测偏差必须需要传感器，焊缝传感器可分为以下几种，如图1.7 所示。
焊缝跟踪传感器
接触式传感器 非接触式传感器
机 械 式
机 械 电 子 式
电 磁 式
超 声 波 式
电 容 式
射 流 式 式
光 学 视 觉 式
电 弧 传 感 式
图 1.7 焊缝跟踪传感器 Fig.1.7 Seam tracking sensors
随着计算机技术的迅猛发展，图像处理技术的不断提高，并且视觉传感器具有高精度、提供丰富信 息量、非接触测量等优点，适合于各种焊接形式，而且在焊接时视觉传感器还可以检测焊缝质量，其越 来越受到重视，在焊缝跟踪过程中得到了大量的应用。焊接中应用视觉的有三个方面：焊缝初始位置检 测与引导、焊缝跟踪及焊接质量检测。与其他传感器相比，视觉传感器非常适合于焊接过程中需要大量 视觉信息检测的场合。焊接机器人在焊前的路径规划，焊接过程中焊接参数和偏差的实时调整[15]，焊 接过程中附近温度场的检测[16-18]，焊后焊缝表面形状和焊接质量的分析，熔透和熔深的信息检测[19]，熔 池信息检测等方面都有成功的案例[20-22]。
目前，在移动焊接机器人上使用的视觉传感器主要是CCD 摄像机和 CMOS 摄像机[23]，由于CCD
的技术成熟，已成为焊接视觉传感器的主流。根据是否加辅助光源可分为以自然光或者弧光为光源的被 动式直接传感器和以激光或其他辅助光源照明的主动式直接传感器。
1-3-1 被动视觉传感器
被动视觉传感器不加辅助光源，直接使用自然光、弧光作为光源，CCD 摄像机直接采集焊接熔池 图像，提取熔池信息，从而进行跟踪控制。其优点是不存在检测对象和被控对象的位置差，即不存在导 前误差，设备简单，成本低[24]。缺点是干扰强烈，在焊接过程中弧光辐射强度高于熔池辐射强度，有 时甚至会超过CCD 上限，而且图像噪声经常会淹没熔池信息。因此，如何获取清晰的熔池几何信息是 被动视觉跟踪的一个关键问题。
由于被动视觉传感器受弧光干扰强烈，其采集信息的准确性有待提高，且较难提取三维信息，因而 在视觉焊缝跟踪系统中，主动视觉是视觉焊缝跟踪的主要方法。
1-3-2 主动视觉传感器
主动视觉传感器采用外加辅助光源，常采用激光为辅助光源。根据辅助光源的类型，可将主动视觉 传感器分为激光扫描法视觉传感器和结构光法视觉传感器。
1-3-2-1 激光扫描法视觉传感器
激光扫描法视觉传感器采用三角测量原理来获得精确距离。工作时激光光束经过反射镜的反射，将 光束反射到工作表面上，在扫描振动的作用下，形成一条光带。这个光带的任意一点光强都等于激光束 本身的光强。这种方法将光强集中于一点，信号处理速度快，故可得到很高信躁比[25]。
1-3-2-2 结构光法视觉传感器
结构光法视觉传感器可以获取工件的二维半信息，即可以获得图像的深度。其光路系统主要由CCD 摄像机、滤光系统、激光器组成，CCD 摄像机和激光器之间的夹角一定。在焊接过程中，激光经过组 合透镜和柱状透镜后形成一条线照射在焊缝表面上，经过滤光系统滤除干扰信息，由CCD 摄像机采集 进工控机，通过图像处理便可得焊缝中心线位置。将激光器安装在和焊枪有固定距离的位置，开始焊接 前移动机器人，使焊缝中心位置在图像中心成像，则可根据条纹光的变形反映出焊枪偏离焊缝的值，将 其送入控制器消除偏差。结构光方法主要分为三种：干涉法、衍射法和三角测量法。基于三角法的激光 视觉传感器与其他视觉传感器相比，具有以下优点[26]：(1) 获取信息量丰富，精度高，可获得截面集合 形状；(2) 检测范围大；(3) 具有智能性，可检测焊接起点和终点；(4) 适用于各种坡口形状；(5) 处理 速度快，实时性好。
主动视觉法的缺点是存在检测超前问题，即为了避免强烈弧光淹没有用信息，传感器会超前焊枪一 段距离。这是结构光视觉传感急需解决的一个问题。
§1-4 视觉传感焊缝跟踪技术的发展现状和前景
随着机器人技术和图像处理技术的迅猛发展，焊缝视觉跟踪已取得了十足的进步[27]。焊缝视觉自 动跟踪系统一般由视觉传感器、信息处理系统和执行机构组成。要实现焊缝的实时跟踪，有两方面技术 起着决定性作用：一是图像处理技术。该技术可快速准确地提取焊缝或熔池的信息。二是焊缝的跟踪技
术。视觉传感器检测出焊缝偏差，以一定的方式控制执行机构去消除偏差。目前，市场上已经有了基于 视觉传感的焊缝跟踪商业化产品。
1-4-1 焊缝视觉传感商业化产品
国外焊缝视觉跟踪发展的比较早，也比较快。美国Worthington Industries 公司开发了一种焊缝跟踪 设备，其跟踪精度为 0.1mm[28]。英国 Meta Machines Ltd 的 Meta Torch200 系列产品跟踪精度可达 0.1mm[29]。加拿大Servo-robot Group 公司的 ROBO-TRAC 产品可根据不同类型的焊缝来控制送丝速度，
以提高焊接质量。韩国的Jae Seon Kim、Young Tak Son、Hyung Suck Cho 等人深入研究了焊缝结构光 图像处理的算法，并研制了一种基于视觉的焊缝跟踪控制系统[30-32]，其在焊接过程中能够根据焊接条件 实时调整焊枪位置从而获取良好的焊接质量，该系统的焊缝跟踪精度为±0.50mm。印度的研究者 A．
De 和 D．Parle 利用弧光为光源采集图像，并识别焊缝偏差，进而控制系统进行偏差消除，该系统 跟 踪精度可达±0.20mm[33]。
虽然国内对焊缝视觉跟踪研究起步比较晚，但在一直不断的研究这一课题，目前已有了一些商业化 的产品。例如南京远新自动科技有限公司的YXAWST 系列焊缝跟踪产品，跟踪精度为±0.02mm。长春 工业大学的WSATA-0905 型焊缝视觉跟踪系统可适用于各种形式的焊接，其跟踪精度为±0.5mm。
1-4-2 焊缝视觉跟踪图像处理技术的研究现状
焊缝视觉跟踪的图像处理技术的关键是运用数字图像处理技术，将采集到的各类干扰滤除，只留下 焊缝信息，然后提取出具有偏差量信息的特征点。
韩国的Doyoung Chang 等人采用高斯滤波算子的方法检测出焊缝的特征点[34]，进而设计跟踪器，
结果比较精确，能用于危险场合的焊接机器人。S.K Lee 等人[35]针对摄像机提取熔池前方焊缝存在的问 题，根据高密度脉冲Vd:YAG 激光在脉冲期间强度高于弧光强度这一特点，通过频闪高速 CCD 摄像机 捕捉瞬时清晰的熔池图像来进行焊缝追踪。
由于焊接的高温以及需要气体来保护焊接区域防止氧化，操作者不能紧密的观察和焊接工件，操作 人员的失误和环境的变化等因素会导致焊接的失败。Hsing-Chia Kuo 等人[36]通过在图像处理技术上应用 模糊控制理论来精确的进行焊缝追踪。他们首先用CCD 采集焊缝图像，然后对图像进行灰度处理，通 过模糊控制和边缘算子检测出焊缝中心线。
三维图像包含的信息丰富，所以很多研究者都通过复原三维图像进行焊缝跟踪。Piquance Xu 等人[37]
通过循环的激光摄像机，从二维图像中提取出三维图像，通过三维图像来研究焊缝跟踪。
对于气体保护钨极氩弧焊，存在强烈的电弧光干扰，采用传统的图像处理方法很难得到到清晰的熔 池图像。X.D.Gao 等人[38]对熔池图像进行了卡尔曼滤波，滤除了干扰信号，提取准确的焊缝信息，并在 计算机上进行了仿真，结果符合实际焊接需求。
Xiangdong Gao 等人[39]研究了一种基于红外热像特征的焊缝识别新方法，该方法定量分析焊接区域 的温度场，根据等温线信息来确定焊枪是否偏离焊道，根据梯度信息来获得焊缝中心位置。该种方法适 用于非精密焊接中，即对于焊缝间隙小于0.2mm 的情况下跟踪识别效果较差。
广东工业大学莫玲等人[40]通过建立一个熔池动态信息的近红外图像检测系统，用于焊接熔池视觉 信息检测，应用可见光波和红外光波段滤光组合技术解决了焊接过程中飞溅、等离子体和红外辐射的干
扰，在近红外高速摄像机获取清晰的熔池区域图像的基础上，提出大功率光纤激光焊接熔池图像特征的 提取方法，为焊缝跟踪和焊接质量控制提供可靠的信息。
清华大学的研究者陈新征等人改进了视觉传感器光路结构，增强了视觉传感器的抗干扰能力，通过 对采集到的图像分别从软件和硬件两方面进行数字滤波和图像处理，去除了较强的干扰，从而可以准确 的获取焊缝信息。通过“学习-纠错”的控制策略有效地提高了系统的稳定性和抗干扰能力，该系统的 焊接速度为100mm/min，焊接过程中 95%以上的宽度值集中在偏离给定值±10%范围内[41]。
南昌大学的贾剑平、刘明友、刘南生等对视觉焊接机器人存在导前误差问题进行了研究，提出了可 行性的解决办法，并分析了不同坡口焊缝图像处理的方法，焊缝跟踪精度在2mm 以内[42-45]。何银水采 用图像预处理，根据模糊推理的阈值自动选取的算法[46]，有效的去除了水下焊接V 形焊缝图像中的强 干扰。
哈尔滨理工大学的温建力[47]放弃了常用的建立直线的Hough 变换，采用从图像的上面开始依列从 上至下一行一行扫描，找出第一个点，然后对该列从下至上扫描，找出第二个点，这两个点的平均值为 中心，该方法运行时间短，提高了计算的速度和精度，并且采用斜率分析的方法提取特征点。
哈尔滨工业大学的学者们对焊接图像处理有着丰富的研究[48-51]，其开发的基于条形激光源CCD 视 觉传感多道焊缝自动检测系统能够准确的提取出焊缝信息，无辅助光源图像法 TIG 焊缝跟踪系统采取 了一系列有效措施，即使系统在高温环境中也能稳定的工作，系统检测精度为±0.07mm，其提出的多 重斜率平滑处理算法和三点接缝定位技术可准确的求取焊缝信息。
天津大学的申俊琦等人[52]通过最小二乘法建立了Otsu 法所选阈值与焊缝激光带区域灰度平均值的 直线回归方程，从而得到焊缝图像处理最佳阈值，更利于后续的焊缝特征点提取。此方法二值化的提取 时间为50ms。
通过以上分析，学者们大量地研究了焊缝跟踪技术，尤其是研究结构光图像处理方法，并且取得了 一定的研究成果，但目前在实际工程中应用还比较少，还有必要对结构光图像处理算法继续进行研究。
综上所述，基于视觉传感的焊缝跟踪技术已经取得了一定的成果，但基本都处于理论阶段，对于实 际应用中算法可能存在的问题考虑不全，然而视觉跟踪已经成为焊接机器人的必然发展趋势，可以预知，
随着数字图像处理技术的不断发展，视觉跟踪技术将大量地应用于实际焊接作业中。
§1-5 本文目标及内容
随着计算机视觉技术的发展，焊缝跟踪过程中越来越多的应用到了视觉传感技术。研究焊缝视觉跟 踪技术将会推动焊接机器人的发展。由于焊接机器人在进行焊接作业时是完全自动化的，为了保证焊接 质量，能够准确的提取出焊缝信息是前提，故本课题研究焊缝信息视觉检测系统，研究的主要内容包括：
(1) 研究视觉传感器的结构，针对本系统对传感器各硬件进行选型并设计视觉传感器，使其能够在 狭小的空间内高质量的完成焊接作业，提高传感器的抗干扰能力。
(2) 针对焊缝跟踪控制量为实际值这一特点，研究该视觉系统中采集到的图像像素点与实际坐标之 间的关系，即对视觉系统进行标定。
(3) 针对焊缝图像的特点，研究基于结构光视觉传感的焊缝图像处理方法。该方法应在强干扰的情 况下能准确快速的提取焊缝特征。
(4) 针对视觉传感器超前焊枪一定距离的特点，研究如何减小或减小焊缝视觉跟踪中存在的导前误 差的问题，提高焊接质量。
(5) 设计焊缝图像实时采集与处理的软件系统。该检测系统应具有良好的人机对话界面，并且能快 速有效的提取焊缝信息。
第二章 结构光视觉传感系统
本章介绍了结构光视觉传感器原理及测量系统的组成，对现结构光视觉传感器进行优化和设计。焊 接过程中存在多种强烈干扰，例如弧光、飞溅、烟尘等，由于各种干扰相互影响，从而会使焊枪偏离焊 缝中心，导致焊接质量下降。为了实现焊接自动化及智能化，必须消除这种偏差，目前采用传感器来获 取偏差信息，然后通过纠偏控制，使焊枪始终保持在焊缝的中心位置上。其中因视觉传感器具有高精度、
可提供丰富的信息量、非接触测量、适于各种坡口等优点，在实际应用较广。对视觉传感器进行设计和 优化需要解决的问题：
(1) 如何使视觉传感器获取清晰的图像，提高抗干扰能力；
(2) 如何减小传感器体积。
§2-1 实验系统的总体构件设计
基于结构光视觉传感的焊缝跟踪系统，其硬件主要由焊件、焊接系统、视觉传感器、图像采集卡、
工控机、labVIEW 运动控制卡、移动焊接机器人、十字滑块组成。系统结构图如 2.1 所示。
图 2.1 焊缝跟踪系统硬件组成
Fig.2.1 Hardware structure of seam tracking system
本系统视觉传感器与焊枪固定在十字滑块上，由十字滑块调整焊枪位置，上下、左右两组步进电机 驱动十字滑块。在焊接作业时，CCD 摄像机采集坡口上的结构光图像，将模拟信号送入工控机中的图 像采集卡，图像采集卡将模拟信号转化为数字信号，再由工控机进行一系列图像处理，得出焊枪在焊缝 中的位置，计偏差偏差，并将偏差传送给LabVIEW 多轴运动控制卡，根据一定的控制策略来驱动十字 滑块或移动机器人电机，最终消除偏差。十字滑块由电机和螺杆组成，具有两个自由度，可上下、左右 运动，其目的是跟踪较小的焊缝偏差。
§2-2 结构光视觉传感原理
半导体激光器发出的光经过组合透镜和柱状透镜后形成“一”字形结构光，其结构如图2.2 所示。
图 2.2 线性激光器结构图 Fig. 2.2 The structure of line laser
在气体保护氩弧焊中，弧光波长在150-200nm、590-650nm 和 890-935nm 范围内较弱[53]。图2.3 为 CCD 的光谱响应曲线，从中可以看出激光器的波长在 400-650nm 范围内时，摄像机有较大的响应。故 本课题选用中心波长为635nm、功率为 100mw、红光激光器。
1.0
0.5
0400 600 800 1000 波长λ/nm
图 2.3 CCD 摄像机的光谱响应曲线 Fig. 2.3 Spectrum curve of CCD camera
线结构光视觉传感器主要由半导体激光器和CCD 摄像机等元件组成，其中 CCD 摄像机和半导体 激光器成已知角度β[54]，这样可以直接获取焊缝的二维半信息。在焊接过程中，半导体激光器发出“一”
字形结构光照射在待焊工件表面上，经过滤光系统保留有效波长的光，然后由CCD 摄像机采集进工控 机。由于激光器和摄像机成一定角度β，当“一”字形光照射到工件表面时，由于坡口各处与母材深度 不同，故反射到摄像机上的位置就不同，即CCD 摄像机采集到的“一”字形结构光图像会发生变形，
变形的程度反映出待焊焊缝信息。线结构光视觉传感器结构原理如图2.4 所示。
图 2.4 结构光视觉传感器结构原理图
Fig. 2.4 The principle of the structured light visual sensor
§2-3 结构光视觉传感系统的设备选择
2-3-1 传感器壳体
传感器壳体材料是经煮黑处理的铝板，煮黑处理后可减弱光线在壳体内反射，尽量避免因反射产生 的干扰。
2-3-2 激光器的选择
激光器是利用受激辐射原理使光在某些受激发的物质中放大或振荡发射的器件，其具有高亮度、高 方向性，很适合做为主动光源。激光器按工作物质可分为：自由电子激光器、气体激光器、液体激光器、
固体激光器、半导体激光器这五类。考虑到视觉传感器体积应尽量小，而半导体激光器激光器具有体积 小、重量轻、运转可靠、耗电少、效率高等优点，所以本系统采用红光“一”字形半导体激光器，如图 2.5 所示。由于线的宽度会影响到后续的图像处理，并且较宽的条纹不能检测小间隙或小坡口的焊缝，
故线宽应越细越好。本系统激光器的主要技术参数如表2.1 所示。
图 2.5 红光“一”字激光器 Fig. 2.5 Line laser with red light
表 2.1 激光器主要技术参数 Table 2.1 Main technical parameters of laser
型号 波长 工作电压 发散角 线宽（1M 处） 光学系统 工作温度 外形尺寸
LH-L6353DL 635 nm 3DCV ≥90° 2mm 光学镀膜
玻璃透镜 -10℃～+60℃ Φ12X50
2-3-3 CCD 摄像机及镜头的选择
选择CCD 时需要考虑其体积应小、功耗小、寿命长、抗干扰能力强等方面，目前市场上常见的 CCD 尺寸如表2.2 所示。
表 2.2 CCD 尺寸
Table 2.2 The specifications of CCD
规格（Inch） 长（mm） 宽(mm) 对角线(mm)
1/4” 3.2 2.4 16
1/3” 4.8 3.6 6
1/2” 6.4 4.8 8
2/3” 8.8 6.6 11
1” 12.7 9.6 16
本系统的工作距离为60mm，考虑实际坡口大小，摄像机的视场大小大于5050mm 即可满足要求。
由式（2.1）可以计算出镜头焦距。
W H f P
（2.1）
式中， f 为镜头焦距；P为CCD 传感器的长度；H为工作距离；W为视场范围。
所以本系统CCD 摄像机选用 WAT-704R 型号的超低度黑白摄像头，如图 2.6 所示。
图 2.6 WAT-902DM2 型 CCD 摄像机 Fig. 2.6 WAT-902DM2 CCD camera 此型号CCD 摄像机的主要参数如表 2.3 所示：
表 2.3 CCD 摄像机主要参数
Table 2.3 Main technical parameters of camera
有效像素数 像素尺寸 最低照度 传感器
) ( 597 ) (
537
H
V7 . 3
m(
H) 4 . 7
m(
V)
0. 08Lux F2.0 1/4” Interline CCD自动电子快门时间 解析度 信噪比 尺寸
1/50～1/100000 380Lines ＞46dB 37
18 摄像机镜头选用固定焦距为 f 3.8mm的配套镜头。2-3-4 滤光片组的选择
在焊接过程中不可避免的要产生强烈的弧光，弧光的强度远远大于激光器产生的强度，有可能会淹 没信号。为了减少弧光的影响，通常会在摄像机前增加滤光片或滤光片组，这样可使激光特定波长范围 的光通过，进入CCD 摄像机。由上文可知，激光器的波长为 635nm，所以选择中心波长为 635nm，带 宽为±10nm 的滤光片。但仅安装带通滤波片的滤波效果并不理想，因为波长在 635nm 附近的弧光也会 通过滤光片，弧光的干扰还是十分严重。中性滤光片均匀减弱光强度而不改变光谱成分，这种滤光作用 是非选择性的，只起到减弱光线的作用。所以使用中性滤光片可以消除通过带通滤光片的弱光干扰。
半导体激光器发出的光是线偏振光[55]，线偏振光是有方向性的，同样偏振片也具有方向性。当偏 振光透过偏振片时，如果偏振光的振动方向和偏振片的投射方向平行时几乎不受阻挡，如果偏振光的振 动方向与偏振片的投射方向成90°时几乎不能通过。所以可以在摄像机镜头前加偏振片，可有效的减 少进入CCD 的干扰信号，使后续图像处理简单，加快图像处理速度。
因此本系统选用带通滤光片、中性滤光片和偏振片组成的滤光片组。主要技术参数如表2.4 所示：
表 2.4 滤光片组主要技术参数
Table. 2.4 Main technical parameters of optical filters
φ 12x 50
≤0.0 5 200 -110 0nm
＞ 88
± 10nm 6 35nm
尺 寸(m m) 截 止深 度（% ）
截 止区 间 透 射比（ ％）
带 宽FB 中心 波长
表 2.4. 1 带通 滤光 片主 要技 术参 数
φ 12x1 50 ±5％
6 35nm
尺 寸(mm ) 平均 透射 比
衰 减波长
表 2.4.2 中性 滤光 片主 要技 术参 数
φ 12x1
＞45
＞ 100
＞ 50 6 35nm
尺寸 (mm ) 视场 角(° )
消光 比(％ ) 透射 率(％ )
偏振 波长
表 2.4.3 偏振 片主 要技 术参 数
2-3-5 图像采集卡的选择
选择图像采集卡需要考虑其支持的视频格式是否与CCD 摄像机相匹配，接口的形式和最大分辨率 是否满足要求及选择色彩模式。本系统选用的图像采集卡为大恒图像公司开发的基于PCI 接口的 DH-CG410 彩色/黑白采集卡，如图 2.7 所示。
图 2.7 DH-CG410 图像采集卡 Fig. 2.7 DH-CG410 image capture card 主要性能指标如下：
2-3-6 挡板和防飞溅透明片
视觉传感器前端有滤光组合镜片，激光照射到镜片上会产生折射和反射，部分反射光很可能进入 CCD，影响传感器精度。为了提高传感器采集图像质量，减少激光反射的影响，除了将传感器外壳进 行煮黑处理外，还需在CCD 侧面加一挡板，阻挡玻璃反射的激光，使其不能被 CCD 采集。
在焊接过程中，由于飞溅和弧光的干扰强烈，CCD 采集到的焊缝坡口图像具有很强的噪声，增加 了图像处理难度和处理时间。因此也需要在传感器与焊枪间加一挡板，阻挡一部分弧光和飞溅在焊接时 进入CCD 的采集范围。
防飞溅透明片的作用是保护滤光片组不受飞溅的损伤。
§2-4 结构光视觉传感器的结构设计
2-4-1 CCD 摄像机与半导体激光器位置布局关系
视觉传感器的重要组成部分是CCD 摄像机和半导体激光器，所以首先要确定 CCD 摄像机和半导 体激光器的位置关系。CCD 摄像机与半导体激光器的相互位置关系主要有以下三种：（1）CCD 摄像机 倾斜，光源垂直；（2）CCD 摄像机倾斜，光源倾斜；（3）CCD 摄像机垂直，光源倾斜。典型布局如图 2.8 所示。
图 2.8.1 CCD 摄像机倾斜，光源垂直 图 2.8.2 CCD 摄像机倾斜，光源倾斜
图 2.8.3 CCD 摄像机垂直，光源倾斜 图 2.8.4 CCD 摄像机垂直，光源倾斜 图 2.8 CCD 摄像机与半导体激光器的相互位置关系
Fig. 2.8 The positional relation between camera and laser
目前，视觉传感器的三种结构方式都有应用，例如瑞典Selcom 公司的 Laser Track 和 Seam Finder 焊接视觉传感器采用第一种方式，英国Meta 公司的 Meta Torch 系列焊接视觉传感器采用的是第三种种 方式[56]。若采用CCD 摄像机倾斜，光源垂直照射，虽然坐标变换简单[57]，但在焊接过程中会有大量的 弧光进入CCD，对图像产生强烈干扰，不利于提取图像；若采用双斜机构，虽然可以减少弧光干扰，
但是传感器的体积会很大，不满足传感器体积小的要求；若采用CCD 摄像机垂直，光源倾斜的结构方 式，虽然在确定焊接接头垂直截面的形状和尺寸比较麻烦，但这种方式传感器测量误差明显小于第一种 情况[58]，而且尺寸较小。虽然图2.8.3 也属于 CCD 摄像机垂直，光源倾斜的结构，但这种结构 CCD 离 焊枪较远，对跟踪精度及实时性影响很大。故选用图2.8.4 为视觉传感器内部结构。
2-4-2 激光器与 CCD 摄像机夹角设计
根据上面的结论，CCD 摄像机垂直工件，激光器倾斜放置，然后确定两者之间的夹角β。国内南 昌大学的刘南生和郭昌荣等人对此进行了详细的研究，他们通过进行CCD 摄像机垂直接收、激光器倾 斜照射的试验证明了两者之间的夹角β为20°时，实验结果和实际测量值最为接近[59]。如图2.9 所示。
图 2.9 结构光视觉传感器光路图 Fig. 2.9 Light path of structure light vision sensor
激光器射出的条形光照射到工件上的位置应正好垂直于CCD 摄像机的光轴，这样图像受摄像机畸 变的影响才最小。根据实际焊接要求，传感器与工件的距离H 为 50mm 左右；利用 CCD 摄像机与激光 器夹角β，可以计算出激光器岀射点与摄像机光轴的距离L：
) ( 22 tan
)
(H h mm
L
（2.2）由于在CCD 侧面需加一挡板，所以设计 CCD 摄像机与镜片之间距离 h 为 10mm。
§2-5 结构光视觉传感器的数学模型
如不考虑镜头畸变的影响因素，建立如图2.10 所示的线结构光视觉传感器的数学模型。
Zg
Xg
Yg
A
B
Xc
Yc
Zc
Og
Oc
oo u v
) , 0 , 0
( L
L H
o
) , 0 , ( 1
1 L H
O
图 2.10 线结构光视觉传感器数学模型
Fig. 2.10 The model of the line structured light visual sensor
图2.10 中，建立Og XgYgZg物体坐标系，原点Og为激光器发射点OL的垂直投影，Xg轴平行焊 缝方向、Yg轴垂直焊缝方向、Zg垂直工件表面。建立Oc
XcYcZc摄像机坐标系，其原点Oc为摄像 机光学中心，Zc轴为摄像机光轴，与工件垂直方向成α角。建立成像平面坐标系o1xy，原点o1为Zc轴与成像平面的交点，Xc、Yc轴分别平行成像平面水平轴和垂直轴。结构光平面与Zg轴成
角，与 工件表面相交形成AB 线并与Zc交与一点。根据正视投影变换及坐标变换和结构光平面方程，最后推 导出结构光视觉传感器的一般数学模型，如式（2.3）所示：
) tan cos (sin ) cos tan (sin
) cos tan
cos sin
( ) sin cos
tan sin (
) tan cos (sin )
tan sin (cos
tan )
sin ( ) cos ( tan
) cos cot (sin ) cot cos (sin
] cos ) (
[sin ] sin )
( [cos
1 1
1
1 1
f x
L H
H f L
f H
H z x
f y x
H L f
H y f
f x
L H H f
L f H H x x
L L
g
L g
L L
g
（2.3）
式中，(xg,yg,zg)为某点在物体坐标系下的坐标；( yx, )为对应于成像平面坐标系下坐标；
为摄像 机光轴与工件垂直面的夹角；
为激光器与工件垂直面的夹角；HL为激光器距工件的高度；H1为成 像平面距工件的高度；L为成像平面原点距激光器的水平距离； f 为镜头焦距。§2-6 结构光视觉传感器的机械设计
传感器各部件的选型和结构确定后，需要对视觉传感器进行机械设计，包括各部件的固定装置和传 感器外壳。为了减小传感器体积，设计CCD 摄像机和半导体激光器的安装位置关系如图 2.11 所示。
图 2.11 CCD 摄像机和半导体激光器安装位置关系 Fig. 2.11 The installation position of CCD camera and laser 根据以上安装位置关系设计视觉传感器整体结构。
(1) 底座
底座的主要功能是保证摄像机与激光器的相对位置不发生变化，并且对摄像机与激光器起保护作
用。
(2) CCD 摄像机固定
CCD 摄像机的固定装置需要根据 CCD 摄像机的尺寸及安装位置进行设计，此外还需要保证 CCD 摄像机固定不动。本系统使用的CCD 摄像机加镜头总长为 53mm，直径为φ18mm。设计固定结构如图 2.12 所示。
图 2.12 CCD 摄像机固定装置 Fig. 2.12 The fixed device for CCD camera (3) 激光器固定
如同固定CCD 摄像机一样，也需要根据激光器的尺寸及视觉传感器的宽度尺寸进行设计。激光器 的固定需要使激光器垂直固定不动，且光源点在传感器宽度的中线上。其固定结构如图2.13 所示。
激光器的直径为φ12mm，长为 50mm。中间大孔的直径为 12mm，用于套住激光器，顶部设计了 一紧固装置，使激光器不会移动。底部有两个螺纹孔用于连接传感器底座。
图 2.13 半导体激光器固定装置 Fig. 2.13 The fixed device for laser (4) 反射镜固定装置
反射镜固定装置需要角度可调，所以设计如图2.14 的反射镜固定装置。
图 2.14 反射镜固定装置 Fig. 2.14 The fixed device for mirror
除了以上几个重要部件外，还有滤光片组、挡光板、传感器盖等。与之前的传感器相比，结构更加 紧凑，使传感器尺寸减小。整体内部结构如图2.15 所示，实物图如图 2.16 所示。
图 2.15 传感器整体内部结构 图 2.16 视觉传感器实物图 Fig. 2.15 The internal structure of sensor Fig. 2.16 The picture of vision sensor
§2-7 结构光视觉传感器的安装
视觉传感器的安装主要考虑的因素有传感器与焊枪的距离以及传感器距工件的高度。由于视觉传感 器采用的基本原理是半导体激光器倾斜照射、CCD 摄像机垂直接收的方式，所以传感器到焊枪的距离 主要是指焊枪与CCD 摄像机光轴中心之间的距离。在焊接过程中，若传感器与焊枪的距离太近，则弧 光、飞溅等干扰因素对焊缝图像的影响会增强；而当传感器与焊枪之间的距离太远时，误差增大，焊接 质量下降。本文所设计的传感器与焊枪之间的距离为30mm。由 2-4 节可知，传感器距焊枪的高度为 50mm。
§2-8 本章小结
本章介绍了焊接跟踪系统的总体结构及视觉传感器工作原理，对视觉传感器的硬件进行了选型，并 且针对视觉传感器体积庞大这一问题，详细分析了传感器的结构设计，使得其体积进一步减小，并且采 用带通滤光片、中性滤光片及偏振片组成滤光镜组，提高视觉传感器的抗干扰能力，确定了视觉传感器 的安装位置。
第三章 移动焊接机器人视觉系统标定
移动焊接机器人的标定是机器人视觉的一项基本任务，它的目的是求取与图像中的像素点与实际点 之间的关系。系统的视觉标定包括摄像机标定，手眼标定和结构光标定。所谓的摄像机标定，就是根据 给定的摄像机模型求取摄像机的内、外参数；手眼标定目的是获得摄像机与机器人末端焊枪之间的关系；
结构光标定即求出结构光平面的参数，从而可从图像中读取深度信息。
§3-1 摄像机模型
3-1-1 理想状态下的摄像机模型
理想状态下的摄像机模型是线性模型或针孔模型。在三维空间景物成像中主要用到四个坐标系。
(1) 世界坐标系
(
Ow
XwYwZw)
由于摄像机可以安放在三维空间中任意位置，所以选择一基准坐标系来描述 摄像机位置，用
w w w
w X Y Z
O
表示。(2) 摄像机坐标系
(
Oc
XcYcZc)
为了分析几何成像的关系，该坐标系的坐标原点Oc为摄像机光学中心，Xc与Yc与成像平面坐标 系的x、y轴平行，Zc与摄像机的光轴重合，光轴与成像平面交点为成像平面坐标系原点O1，如图3.1 所示。
Ow
Xw
Yw
Zw
x y
XC
YC
ZC
O1
P
p
OC
图 3.1 世界坐标系和摄像机坐标系 Fig. 3.1 WCS and CCS (3) 图像坐标系
(
oo
uv)
和成像平面坐标系(o1xy)由CCD 摄像机采集到的图像以二维数组的形式保存在计算机中，将其设为M 行N列。建立以图 像左上角为原点oo的直角坐标系，向右为u轴正方向，向下为轴正方向，则( vu, )是图像坐标系坐标
（以像素为单位），并没有用物理单位表示出该像素在图像中的位置。摄像机标定使用的是图像物理坐
标系，即成像平面坐系，横坐标x、纵坐标y以mm、μm 等物理单位描述像点位置，并将图像与光轴 的交点当成原点o1，横坐标轴x、纵坐标轴y分别平行于图像坐标系中的u轴和轴的正方向。如图3.2 所示。
o1
oo
u
x
v
y图 3.2 图像坐标系和成像平面坐标系
Fig. 3.2 Image coordinate system and retinal coordinate system
设定o1在( vu, )坐标系中的坐标为
(
u0,
v0)
，每一像素在x轴与y轴上的物理尺寸分别记为dx和 dy，则图像中任意像素在
x,y 和( vu, )两个坐标系下的坐标关系可以表示为：
) (
) (
0 0
v v dy y
u u dx
x （3.1）
矩阵形式为：
1 1 0 0 0 1 1 0
1
0 0
y x dy v
dx u v
u
（3.2）
3-1-2 实际摄像机模型
在使用广角镜头或焦距小于2.5mm 的镜头时，在图像边缘处会产生较大的畸变，如图 3.3 所示，
Ow
Xw
Yw
Zw
x
y
XC
YC
Z
CO1
) , , (xc yc zc P
) , (xu yv p
Oc
) , (xd yd p
图 3.3 非理想状态摄像机模型 Fig. 3.3 Non-ideal condition camera model
成像点不是Oc与P 点连线与图像平面的交点，而是有了一定的偏移，这种偏移就是镜头畸变。镜 头畸变主要有径向畸变和切向畸变及偏心畸变[60]，这些畸变都属于非线性畸变。考虑非线性畸变时如 果引入过多的非线性参数不仅不能提高精度，还会引起解的不稳定[61]。若仅考虑径向畸变，一般可以 使标定精度更加准确，误差减小一个数量级；若考虑畸变过多时，其效果不但不明显，而且使求解过程 变得十分复杂[62]。径向畸变，用数学公式表达如下：
) 1
(
) 1 (
2 2
2 1
r k y y
r k x x
d d
（3.3）式中，r2
x2
y2；(x,y)为理想摄像机模型下的成像点的坐标；(
xd,
yd)
为具有径向畸变的实际成 像点的坐标；k1, k2为径变系数。§3-2 摄像机的成像变换
3-2-1 摄像机坐标系和世界坐标系关系
摄像机坐标系和世界坐标系之间关系可以表示为：
1 1
1
1 w
w w
w w w
c c c
z y x
z y x
z y x
T M1
0 t
R （3.4）
式中，R和t分别为世界坐标系到CCD 摄像机坐标系的旋转和平移变换矩阵；R为33的正交单位 矩阵；t为31的平移变换向量。
3-2-2 摄像机坐标系和图像坐标系之间变换关系
假设在理想情况下，摄像机坐标系和图像坐标系之间的关系如图3.4 所示。
u v
XC
YC
ZC
p
) z , y , P(xc c c
OC
x
y O1
f
图 3.4 理想状态下摄像机坐标系与图像坐标系关系 Fig. 3.4 The relationship between CCS and ICS without distorted
根据透视投影定理，摄像机坐标系中点P
(
xc,
yc,
zc)
在成像平面坐标系中的像点 p( yx, )的坐标 为：
c c c c
z f y y
z f x x
（3.5）
写成矩阵形式为：
0 1 0 0 1 0 0 0 0 0 0
1
cc c
c z
y x f
f y x
z （3.6）
定义摄像机坐标系中坐标
(
xn,
yn, 1 )
为归一化图像坐标：
1 1 0 0 0
0
1
-1
0 0
v u v u y
x
y x n
n
（3.7）
式中，x
f/
dx，
y f /dy分别称作x方向和y方向尺度因子；(
u0,
v0)
为图像中心坐标。3-2-3 世界坐标系和图像坐标系之间关系
理想情况下，世界坐标系与图像坐标系的关系：
w w
2 T 1
T
MX X
M 0 M
t R
0 t R
1 0 1
0 0 1 0 0 0 0
1 0 1
0 0 1 0 0 0 0 0 0 1 0 0 0 1 1 0
1
0 0 0 0
w w w
y x
w w w
c
z y x v
u
z y x f
f dy v
dx u v
u z
（3.8）
其中，M为3×4 的投影矩阵。
实际情况下，由于CCD 安装平面与光轴不垂直，存在倾角误差，故图像坐标系与成像平面坐标系 的变换关系为：
1 1 1
0 0 0 1 1
1
0 0
y x y
x dy v
dx u v
u
M1
（3.9）
其中，
为倾斜因子。综合上述，空间一点P
![Fig. 1.1 The needs to robot distribution of America industries [7]](https://thumb-ap.123doks.com/thumbv2/9libinfo/9534351.606529/14.892.252.650.287.500/fig-needs-robot-distribution-america-industries.webp)
![Fig. 1.2 Shipyard welding robot [9]](https://thumb-ap.123doks.com/thumbv2/9libinfo/9534351.606529/15.892.291.628.125.406/fig-shipyard-welding-robot.webp)
![Fig. 1.5 Auto-searching weld line ship deck mobile welding robot [13]](https://thumb-ap.123doks.com/thumbv2/9libinfo/9534351.606529/16.892.287.628.114.311/fig-auto-searching-weld-line-mobile-welding-robot.webp)
![Fig. 1.6 Pedrail mobile welding robot [14]](https://thumb-ap.123doks.com/thumbv2/9libinfo/9534351.606529/17.892.231.691.118.284/fig-pedrail-mobile-welding-robot.webp)
