移动焊接机器人的标定是机器人视觉的一项基本任务,它的目的是求取与图像中的像素点与实际点 之间的关系。系统的视觉标定包括摄像机标定,手眼标定和结构光标定。所谓的摄像机标定,就是根据 给定的摄像机模型求取摄像机的内、外参数;手眼标定目的是获得摄像机与机器人末端焊枪之间的关系;
结构光标定即求出结构光平面的参数,从而可从图像中读取深度信息。
§3-1 摄像机模型
3-1-1 理想状态下的摄像机模型
理想状态下的摄像机模型是线性模型或针孔模型。在三维空间景物成像中主要用到四个坐标系。
(1) 世界坐标系
(
Ow
XwYwZw)
由于摄像机可以安放在三维空间中任意位置,所以选择一基准坐标系来描述 摄像机位置,用
w w w
w X Y Z
O
表示。(2) 摄像机坐标系
(
Oc
XcYcZc)
为了分析几何成像的关系,该坐标系的坐标原点Oc为摄像机光学中心,Xc与Yc与成像平面坐标 系的x、y轴平行,Zc与摄像机的光轴重合,光轴与成像平面交点为成像平面坐标系原点O1,如图3.1 所示。
Ow
Xw
Yw
Zw
x y
XC
YC
ZC
O1
P
p
OC
图 3.1 世界坐标系和摄像机坐标系 Fig. 3.1 WCS and CCS (3) 图像坐标系
(
oo
uv)
和成像平面坐标系(o1xy)由CCD 摄像机采集到的图像以二维数组的形式保存在计算机中,将其设为M 行N列。建立以图 像左上角为原点oo的直角坐标系,向右为u轴正方向,向下为轴正方向,则( vu, )是图像坐标系坐标
(以像素为单位),并没有用物理单位表示出该像素在图像中的位置。摄像机标定使用的是图像物理坐
标系,即成像平面坐系,横坐标x、纵坐标y以mm、μm 等物理单位描述像点位置,并将图像与光轴
Fig. 3.2 Image coordinate system and retinal coordinate system
设定o1在( vu, )坐标系中的坐标为
(
u0,
v0)
,每一像素在x轴与y轴上的物理尺寸分别记为dx和 Fig. 3.3 Non-ideal condition camera model成像点不是Oc与P 点连线与图像平面的交点,而是有了一定的偏移,这种偏移就是镜头畸变。镜 Fig. 3.4 The relationship between CCS and ICS without distorted
根据透视投影定理,摄像机坐标系中点P
(
xc,
yc,
zc)
在成像平面坐标系中的像点 p( yx, )的坐标 为:
MXw
摄像机标定是指确定摄像机本身的几何模型和光学参数(内部参数Intrinsic parameters)及其在世 界坐标系中的空间位置和方向(外部参数Extrinsic parameters)的过程。下面将对内部参数和外部参数 分别进行简要介绍。
3-3-1 内部参数
摄像机的内部参数主要有图像中心点坐标(以像素为单位)、方向尺度因子、倾斜形变系数(Skew coefficient)和镜头畸变系数(Distortions)。用上述参数表示的内部参数矩阵记为A,即式(3.11)所 示。
Ow Fig.3.5 Actual imaging situation
在图3.5 中,根据理论光学可知,空间任意点P
(
xc,
yc,
zc)
在摄像机平面上的成像点为p( yx, ),式中h
h11 h12 h13 h21 h22 h23 h31 h32
T。果精确,所以本文选用基于张正友标定方法的MATLAB 标定工具箱进行摄像机标定。本文采用 9×9 的5mm×5mm 大小的黑白格相间的棋盘作为标定摄像机参数的标定板。棋盘格图像如图 3.6 所示。
图 3.6 9×9 黑白棋盘格
Fig. 3.6 9×9 black and white checkerboard
标定时首先将标定用的图像放置到一个单独的文件夹下,图像格式为.bmp 格式,标定的图像在命 名时按照Image+数字格式排列。将图像读取至内存中,再逐一对图像提取角点完成标定。
标定摄像机时拍摄20 幅标定板图像如图 3.7 所示。
图 3.7 标定用图像 Fig. 3.7 Calibrating images
以第一幅标定板图像为例进行角点提取的过程描述。以同样的方法对拍摄的20 幅图像依次进行角 点提取工作。角点提取完成之后,运行主标定程序即可得到标定结果。图3.8 为角点提取后的图像。标 定得到的摄像机的内部参数如表3.1 所示。
图 3.8 角点提取后的图像 Fig. 3.8 Images after corner extraction
表3.1 摄像机内部参数 Table 3.1 Internal parameters of camera
x
y u0 v0 520.5479 808.5106 370 325 0.0000
k1 k2 k3 k4 k5
-0.6034 2.6130 -0.0015 -0.0053 0.0000
将上述各参量代入到摄像机内部参数矩阵,可以得到: Fig. 3.9 Calibration for extrinsic 由图3.9 所标定的外参矩阵为:
§3-4 “手眼”关系标定
3-4-1 手眼标定数学模型
本系统中,摄像机固定在移动焊接机器人末端,属于“手眼”系统。摄像机的外参矩阵随着机器人 的运动而改变。手眼关系是指刚性安装在焊接机器人末端的摄像机与机器人执行器末端之间的关系。传 统的手眼关系标定方法是控制机器人末端在不同的位置观察空间一个已知的标定参照物,利用
BX
AX 来求解机器人手眼关系,但这种方法需要摄像机拍摄至少两张图片进行标定。本系统采用的 标定方法只需采用一次坐标变换就可以推导出机器人的“手眼”关系。机器人在车体不动的前提下,手 眼标定示意图如图3.10 所示。
Cw
Cc
Ch
图 3.10 手眼标定示意图
Fig. 3.10 Calibrating diagram for Eye in hand
图中,Cw表示世界坐标系,Cc表示摄像机坐标系,Ch表示机器人末端焊枪坐标系。Cw与Cc的 关系即为摄像机标定中的外参,Cw与Ch的关系可以由控制器读取,进而可以求得Ch与Cc之间的位置 关系,即“手眼”关系。
根据空间不同坐标系之间的坐标变换关系,对于空间任意一点p,其在摄像机坐标系{Cc}和世界 坐标系{Cw}下的描述分别为Ccp和Cwp,如果摄像机坐标系{Cc}和世界坐标系{Cw}之间的相对位置 关系已知,则可得:
p T 0 p
t
p wcR c w cw w
c C C
C C C C
C C
1 (3.21)
其中, cR
w
C
C 是旋转矩阵,Cct是平移矢量, cT
w
C
C 为机器人世界坐标系相对于摄像机坐标系的关系。
若已知机器人世界坐标系相对于摄像机坐标系的关系为 cT
w
C
C ,机器人末端焊枪坐标系相对于机器 人世界坐标系的关系为 wT
h
C
C ,则
p T p wh h
w C C
C
C (3.22)
由(3.21)和(3.22)可得
p
Fig. 3.11 The images for eye in hand calibration
根据控制器中计算出焊接机器人末端焊枪相对于世界坐标系的关系,通过计算可以得到“手眼”关
性结构光标定方法。
2
2
1 1 1
Table. 3.2 The experimental data of structured light calibration 编
3
Fig. 3.12 Measuring the actual length between two points
§3-6 本章小结
本章分析和介绍了本移动焊接机器人所用到的视觉传感器系统中的摄像机、手眼和结构光的数学模 型。并通过实验确定了视觉传感器系统中的各个参数,确定了焊缝图像上像素点与实际坐标之间的关系, 是机器人跟踪焊缝的前提。