第 45卷 第 4期 2009 年 4 月
机 械 工 程 学 报
JOURNAL OF M ECHANICAL ENGINEERING
Vo1.45 NO.4 Apr. 2009
DoI: 1O.3901/JM E.2009.04.136
用于焊缝位置识别 的视觉模型设计 与试验木
高 向东 丁度 坤 赵传敏
(广东 工业大 学机 电工程学 院 广 州 510006)
摘要:理论与试验研 究用于焊缝位置识别 的视觉模型,该模型主要 由弹性梯度下降训练法 BP神经 网络组成。在焊接工艺条 件下,使用视觉传感器 获取焊接区熔池图像 ,并选取特定区域进行 中值滤波与图像灰度变换 处理 以增强被测对象的特征。在 此基础上,计算和 处理熔池特性参量(熔池 图像质心差值 、质心位移 、质心移动速度)以及相对应 的焊缝与电弧之间的偏差值,
将其输入所设计 的神经网络进行 网络权值参数 训练和推理学习,从而建立基 于 BP神经 网络、具有一定认知和环境适应能力 的焊缝位 置识别视觉模 型。对该模型进行通用性检验 ,试验结果表 明该模型通过熔池特性参量可以较精确地识别焊缝位置。
关 键 词 :焊 缝 位 置 识 别 视觉 模 型 熔池 图像 中图 分 类号 : TG316.7
Des i gn and Experi m ent of Vi s ual M odel f or Det ect i ng W el d Posi t i on
GAO Xiangdong DING Dukun ZHAO Chuanmin
(School of Mechanical and Electrical Engineering,
Guangdong University of Technology,Guangzhou 5 10006)
Abstract: A visual model for detecting the weld position is studied theoretically and experimentally.This model is developed by a BP neural network trained by the elastically gradient descending arithmetic.The weld pool images are caught by a vision sensor during the arc welding process.A location of the welding pool image is chosen as a special processed image whose characteristic corresponds with the welding pool image centroid.This special image is processed by the median filtering and the image ay t
ransform SO as to sharpen the weld character in the welding pool images.The difference,the displacement and the moving velocity of the image centroid are regarded as weld pool characteristic parameters.These parameters are applied as the input variables of the BP neur al netw ork.The offset betw een the weld position and the welding arc is used as the output variable ofthe BP neur al netw ork.
This BP neural netw ork model is trained by the elastically gradient descending arithmetic an d the netw ork weights are calculated.
The established visual model based on the BP neural network has certain perceiving and adapting ability to the welding environment.
The generality of the visual model is tested and the experimental results show that this visual model has the excellent generality and accur acy.The weld position can be detected accurately through the weld pool characteristic parameters.
Key words: Weld position Detection Visual model W eld pool image
0 前 言
焊 缝跟 踪是焊 接过程 中的一 项关键 技术 ,对 于 电弧焊 接而 言 ,焊缝 跟踪 的核心 技术是 获取焊 缝 中 心位置 与 电弧之 间的偏差 。近年 来 ,机器 视觉 成为 很有发 展前途 的焊缝 检测手 段 。传 统 的机 器视觉 检 测法 一般是通 过视 觉传感 器采集 焊缝 图像 ,然 后应
国 家 自然 科 学 基 金 (60375012)和 广 东 省 自 然 科 学 基 金 (020176 6021444) ̄助项 目。20080508收到 初稿 ,20081011收 到修改稿
用 图像边缘 检测算 法获 取焊缝 位置信 息 ,最 后根据
焊缝与焊炬 的偏差实现焊缝跟踪控制【 l 。】 。这种方法
存在 两大技 术 问题 :一 是 由于焊 接过 程 中的噪声干 扰使 得很难 获取层 次分 明的焊缝 图像 ,因此 单纯通 过 图像 边缘 检测手 段直接 获取焊 缝位置往 往非 常 困 难 ;二 是焊接过 程 中存 在 电磁干 扰造 成 的 “磁偏 吹 ” 现象 ,即使 能够获 取较准确 的焊缝 位 置信 息 ,但 通 常 也只能够 计算 出焊缝 相对于焊 炬 的偏差 ,这种偏 差 并非 电弧 与焊缝 的偏 差 ,因而难 以实现精 确 的焊 缝跟 踪控制 。为此, 研 究一 种 新 的焊 缝位置 识别 方法。 不同 于传 统 的焊缝 图像检测算法, 新方法通过 分析焊接 区熔池图像特 征,抽 取 熔池特性参量(熔池图像质心 差 值、 质心位 移、 质心速度)作 为状 态 矢 量, 分析 它 们与焊缝 偏 差(电弧 与焊缝 的偏差)之 间 的关 系, 运 用神经 网络建模技术 设 计用于焊 缝 位置识 别的视 觉 模型, 该模 型可根据熔池特 性 参量间接地计算 出焊 缝偏差。 从 图像处理的角度来 讲, 获取 图像 的质心 特 性参 量 要比从图像上直接 获取 焊 缝位置信 息容 易 得多, 所以新 方法将 为焊缝位置的识别技术提 供一 条新 的思路。
1
熔 池 图 像 的 获 取
首先必须获取较 为理想 的熔池图像, 在 实 际焊 接过 程中, 弧 光辐 射 非 常强 烈, 如不采取恰当的措 施, 则熔池将被弧光所 掩 盖。 如 果只采用 普通的 中 性减光法, 则 在抑 制弧 光的 同时, 也大大 降低了熔 池图像 的对比度, 甚至无 法 分辨熔池 的细 节信 息。 分 析电弧光在 20 0~ 1 1 00 n l T l 区间 的光 谱分布, 表 明60 2~ 697 n l T l 区域和 92 2 n l T l 以上的近红外区域 是较 为理想的取 像段14 j。 为此采用 中心波长为 6 5 0
n l T I 的窄 带 滤 波 光 片 与 中性减 光 片组 成复合 滤 光 系
统, 获得了较 为理想的焊接区图像, 如 图 1所 示。
图1 焊接区图像
2
图 像质
心原
理与 目 标 区 域 的 选 择
2.1 熔池 图像 质心值算法的基本原理
熔池图像 质心反 映 了 电弧 相 对于焊 缝 的偏差 情况。 当电弧与 焊缝 对中时, 焊缝两侧的金 属传热 条件对 等, 熔池的温
度
场处于 相 对平衡 的状态, 熔 池图像 的灰度分布对 称, 图像质心则位于 目标区域 图像 的中心线上; 而当 电弧偏离焊缝 时, 焊缝两侧 的金属传 热条件将不 再 对 等, 对 称位置的热流 密度 会 产生差 异, 焊件上相应 点 处 的温度 随之 变化, 目 标区域 图像 的灰 度分布对 称 性被打 破, 图像质心将 偏 离 图像 中心线, 所以 目标 图像 的质心偏 离 图像 中心线 的程 度能够 反 映电弧偏 离焊缝 中心线 的实际情 况。 只要建立图像质心某些特 性参数 与焊缝位置之 间 的定量关系, 就可 通 过熔池图像质心来 间接 计算 出电弧 相 对于焊缝 的偏差。
熔池图像 质心 即熔池图 像目标区域 灰 度 的重 心, 设屯,为 图像 的两个 方向, K 三分 别 为k,,方向 像素 的数 量, g(k,,)为像素 点(后,,)处的灰度值。 在 焊缝跟踪 过 程 中,主 要检测 电弧 与焊 缝 的横 向偏差, 该 方 向上的熔池图像质心位置 坐标为【5】
∑∑
g(k,1)x kxc
= 旦
笋
r一
∑∑
g(k,,)式 中, X。为熔池图像质心坐标。
在焊 接起 弧前, 采用 手动 或 视觉 引导 的方法将 焊炬定位于焊 缝 的 中心线上, 起弧后再 通过 自动检 测 并控制质心偏差 (即 电弧与焊 缝偏差)的减 小, 实 现 焊 缝 的 自动跟踪。
2.2 熔池图像目标区域的选取
新 方 法 的一 个要点 是熔池 目标区域(即 图像处 理区域)的选 取,所选取的目标区域必须 能够 反 映出 焊 缝 偏差的变化趋 势, 并且目标区域 的中心线必须 位于焊缝 位置, 才能保证 目标 图像 的质心有效地反 映 电弧 相 对于焊 缝的偏差。 经试 验比较, 选取熔池 前 端 为目标区域较 为合适, 该目标区域 包 含了大部 分的熔池信 息, 同时包含了熔池前端 的一 部分焊缝 信 息,图像处理区域 的选取如 图1 中 白色方框所示。 对 图像目标区域先进 行 中值滤 波, 降低 图像 中 弧光 的干扰,再 对中值 滤波后的 图像进 行 灰度变换,
以增强目标区域中熔池与焊 缝 的对 比度, 从而获 得 质心特 征较 为突出的熔池图像。
相对于传 统 的机器视觉检测法, 熔池质心算法 无 需检测 熔池和未焊 坡口的中心线, 只需正确地选 择目标区域, 使目标区域 的 图像基于焊缝对称, 便 可以实现 焊 缝 的 自动跟踪, 避免 了大量的 图像边 缘 检测, 提高了焊 缝识别 的实 时性和准 确 性。
3
工 艺 试 验 方 案
试验采用 钨极氩弧(T IG)焊, 试 验 条件见表 l , 焊 炬 起始位置与焊缝对 中, 在焊 接过程 中控制焊炬 逐渐 偏移, 使 电弧沿着x 方向上偏 离焊缝, 在不 同 焊接 电流 条件下采样熔池图像。 其 中焊 接 电流 为7 5 A 的熔池图像质心试验数 据如 图2 所示, 其对应的 焊 缝偏差值如 图3 所示。
机 械 工 程 学 报 第 45卷 第 4期
表 1 试 验工 艺条 件
懈
趔 嫱
图 2 焊接 电流 为 75 A 时熔 池 图 像 质心 值
图 像 数 幅
图 3 焊 接 电流 为 75 A 时 焊 缝偏 差值
从 图 2和 图 3可 以看 出 ,随着 焊缝偏 差 的增大 , 熔池 图像质心值 也呈 现一 种递增 的趋势 ,所 以熔 池
图像质 心 值 与 焊 缝偏 差 之 间必 然 存 在某 种 对 应 的 关系 。
4 BP神经 网络 建模
4.1 BP神经 网络视 觉模型设 计及工 作原理
BP神经 网络是 一种多层 前馈 型 网络 ,可 实现从 输入 到输 出 的任 何 非线 性映射 。构造 一个三 层 BP 网络 ,如 图 4所示 。该 网络包含一 个 隐含 层 ,其 中 输入层共 有 3个输入信 号 ,输入 信号用 表 示 。隐 含层 有 4个神经 元 ,神经元 用 i表 示 。输 出层 D 有 1个 神经 元 ,用 ,表示 。输入层 与 隐含 层 的连接 权值用 w 表示 ,隐含层 与输 出层 的连 接权值 用 w , 表 示。
输入层
质心 差值 1
质心 位移 2
质心 速度 3
隐含层 输出层
i=1,2,3,4 户 1
图 4 神 经 网 络结 构 图
设 U 为神 经元 的输入 ,1,是激励输 出 ,U和 v 的上标表 示层 ,下标 表示层 中的神 经元 ,如 U 表示 第 y层 的第 i个 神经 元的输入 。设., 为神经元 的激 励 函数 ,输 入信 号 l,X2,X3) ,其 中 1代表 熔池 图像 质 心 差 值 (每 幅 图像 与 首 幅 图像 的质 心 值 之 差),X2代表 熔池 图像 质心位 移(相邻 两 幅 图像 质心 值之 差), 3代 表熔池 图像质 心移动速 度 。输 出信号 Y为焊缝偏 差 ,期望 输 出为 Y ,n为迭代 进行 的次数 。 隐含 层使用 了双 曲正切 S形 激活 函数 ,其表达 式如 式(2)所 示 。输 出层 的激活 函数使 用 的是 线性 函数 , 表达 式见式 (3)所示[ 】
厂( ):_1-—ex p(-x) (2)
l十 exp(,-x)
厂(.]c)= (3)
网络 工作信 号 的正 向传递 如下L7 J
“ Ⅳ
=
∑ X m , v j = f { ∑ l , 2 , 3 , 4( 4 )
1 1 、
“ 。
=
∑ = 厂 I ∑ H l i = 1 ( 5 )
,=l j=l
输 出层 神经元 的误 差信号 为
P( )=),( )-_yt(n) (6)
定 义神经元 误差 能量 函数 为 I e (,z),输 出层所 有神 经元 的误差 总能量 函数为 E,则
) =去∑ ) ( 7 )
二 =l
对 于误差信 号 的反 向反馈 ,输 出层 D 到隐含层 的权 值修 正过程如 下 。
根据 Delta学 习规则
( ) =一 丽 O E( n ) ( 8 )
: —
OE
—
(n) —
Oej
—
(n)
:
Owu(n) Oej(n) ayj( ) Ow ̄j(n)
ef( )× (,2) (9)
Awu(n)=一rl×ej(n)×vi (,z) (10)
2 2 guv 警 1 O
式 中 为学 习率 。
但 以上 BP训练 法 是 以表 现 函数 导数 的大 小来 决 定权值 的变化 量 , 当表 现 函数 的梯度 数 量级 很 小
时 ,权 值 的调 整 范 围也将 减 小 ,甚 至 中止 调整 ]。 故采 用 弹性 梯度 下降 训练 法 BP 网络 ,其主 要 是用 误 差 函数 的导数 正负来 决定 权值 变化 的 大小 , 即
△ ,( )=一77×sgn(ej( ) (以)) (11)
f( +1)= (胛)+△ ,( ) (12)
类 似 可 推 导 隐 含 层 到 输 入 层 的 权 系 数 修 改 过程 。
4.2 视觉模 型 结构参 数 的确 定
使用 焊接 电流 为 75 A 时所 得 到 的 500组数据
(即质 心 差值 l、质 心位 移 2、质 心移动 速度 3及 焊缝 偏差 值 y ),输 入上 述 网络 中进行 训 练 ,建 立 神 经 网络 焊 缝位 置识 别视 觉模 型 。设 为 网络 的输入 矢量 , 爿为 隐含层 的权 系数 矩 阵 ,6爿为隐含 层 阈 值 , 。为输 出层 的权 系数 矩 阵 ,6 0为输 出层 阈值 , 爿为 隐含层 输入 值 ,', 为隐 含层 输 出值 ,lf 0为输 出层输 入值 ,Y为 网络 训练 输 出值 ,则有
X=( x3)
f 一0.343 7
f
0 . 0 6 0 5 W
= l
l 一0.035 2 l
f 0. 2 6 0 4
l 2 470 3
6 : 3 94 i一3.1 13 6 l一0.906 7
- 65.793 2
- 94.039 8 39.565 8 25.821 6
0
:
4.211 5
- 3.041 6
4.463 8
- 0.886 8
- 0.401 2
O.510 6 0.544 2 0.812 0 b0 : 0.798
可得 神经 网络模 型 为
日
=
H× T+6 日 H=T 1 - e x p ( - 二 u  ̄ ) ( 1 3 )
lfD
= (', )T×W0+60 Y=l|D (14)
训练 后结 果如 图 5所 示 。
g
:}I;】j 堡 驮
时 间
图 5 神经网络训练结果
网络训 练精度 的定义 为
1 N
=
∑ ( 1 5 )
… n=l
式 中 ,Ⅳ 为采 用 点个 数 , 为焊缝 偏差 期望 值(即偏 差 测 量 值 )与 模 型 输 出值 之 差 。试 验 结 果 为 Ea =
0.003 8。
4.3 视 觉模 型显 著性检 验
观测 值 Yl,Y2, … , 之 间的变化 ,一般 有 两 个 方面 引起 : 自变量 取值 的变 化 ,试验 误差 等 因素 的影 响 。为 了对 视觉 模 型进行 检验 ,必 须把 它们 各 自所 引起 的变化 从 Y的总变 化 中分离 开来 。Ⅳ 个 观 测 值之 间 的变化 ,可 以使 用观 测值 与它们 的算 术平 均 值 可的差平 方和 表示 ,称 为总 离差平 方和【9】,即
Ⅳ
=
∑( 一 ) ( 1 6 )
总离差 平方和 又 可 以分解 为两个 部分
N N N
=
∑( -y) =∑( 一 +∑( 一 ) ( 1 7 )
c=l c=l c=l
式 中 , 为观 测值 , 为拟 合值 , 为观 测值 的平 均值 。令 前 一项 为 ,其 反映 了 由于 输入 量与 Y的 函数 关系 而 引起 的 Y的变化 。后 一项 为 Q,它 是除 了 自变 量 以外 的其 他 一些 因素(包括 试 验误 差)而 引 起 Y的变 化 。
视 觉 模 型 方 程 的显 著 性 是 表 征 所 建 函 数 关 系 拟 合程 度 的指标 。在 一 定 的前 提 下 , 值 越 大 , Q值越 小 ,说 明模 型 的拟 合程 度越 好 。视觉 模 型的 显著性 检测 ,采 用通 常 的 ,检 验法 ,即
F : f181
Q/vo
式 中,vu为 【,的 自由度 ,它对 应 于 自变量 的个数 。 vQ为 Q 的 自由度 ,vQ=N一1一VU。
在 给 定置信 概率 P或 显著 性水 平 =1一P的情 况 下 ,由 F分布 表 ,可 查得 F变 量 的临界值 ,若 F> ,则 认为所 建模 型 是显 著 的 ;反之 ,则不 显著 。
视觉 模型 取 置信概 率 为 99%,即 :0.01,所 得结 果 如表 2。
表 2 视 觉模型显著性检验
由表 2可 以看 出,在取显著性 =0. 01的情况
下 ,视 觉模 型方 程 可通过 检验 ,故所 建立 的视觉模 型 的 曲线拟 合程 度较 好 。机 械 工 程 学 报 第 45卷第 4期
5 模型通用性检验
为进 一步检 验所建 视觉模 型 的通 用 性 ,又进 行 焊 接 电流 为 73 A 与 80 A 的焊 接工 艺试验 ,其试 验 条件环 境如表 1所示 ,各采样 图像 100幅 ,从而 得 到 了在 上述两个 工艺条 件下各 100组数据 ,将其 输 入上述所 建 的神 经 网络 模型 中进行 通用性 检验 ,检 验 结果如 图 6和 图 7所 示 。表 3和表 4列 出 了视 觉 模 型 的部分试验 数据 。
吕
鼍
jj1】j 堡
一 O
— O
- 0
时 间 f/s 图 6 73 A 时通 用 性 检验
图 7 80A 时通 用 性 检验
由表 3与表 4可 以看 出,所建视 觉模 型输 出 的 焊 缝 偏 差 预测 值 与 偏 差 实 际测 量 值 有 较 好 的 吻 合 性 ,模型具 有一定 的通用 性 。模 型误差 定义 为
1 N
=
∑ ) 一 ( f ) l i =1 , 2 ,…, N ( 1 9 )
』V 1
式 中 Ⅳ 为采 样点个 数 ,Y 为焊 缝偏 差测量 值 ,Y为 模 型输 出值 。对应 焊接 电流 73 A与 80 A 的模型 误 差分 别为 0.038 113113和 0.063 mlTl。
6 结论
(1)选取 熔池 图像 特 定区域 ,进 行 中值 滤波 与 灰度变换 以增强其 对 比度 ,提 取 图像 质心 特性参 数
表 3 焊 接 电流 73 A 时 的模 型 输 出值 与测 量 值数 据
表 4 焊接电流 80 A时的模型输 出值与测量值数据
值作 为视觉 模型 的输入量 。通过 图像质 心特性 参数 值可有 效计算 出焊缝 与 电弧的偏差 。
(2)构造 一个三 层 BP神经 网络 ,以熔 池 图像质 心差值 、质 心位移和 质心 速度 为输 入 ,焊缝 与 电弧 的偏 差为输 出,根 据采样 数据进 行训 练 ,建立 焊缝 位置 识别模 型 。
(3)对 所建 立 的视觉 模 型进 行 了精度 与通 用性 检验 ,结果 表 明模 型精度 可 以满足 实 际焊 接要 求并 具有 良好 的通 用性 。
参 考 文 献
[1] TUNG P C,wU M C,HWANG Y R.An image—guided mobile robotic welding system for SMAW repair
processes[J].International Journal of Machine Tool and Manufacture,2004,44(1 1): 1 223—1 233.
[2] JENG J MAU T F,LEU S M.Computer integrated vision and neural network technologies for intelligent automatic laser butt joint welding[J]. Computer Integrated Manufacture,2000,1 3(4): 345-357.
[3】 KUO H C,WU L J.An image tracking system for welded seams using fuzzy logic[J].Journal of Materials Processing Technology,2002,120(2): 169—185.
[4】 闫志鸿,张广军,邱 美珍,等.脉冲熔化极 气体 保护焊 熔池 图像 的检 测与处 理[J】.焊接学报 ,2005,26(2):
37—40.
YAN Zhihong,ZHANG Guangjun,QIU Meizhen,et a1.
M onitoring and processing of weld pool images in
pulsed gas metal arc welding[J].Transactions of the China Welding Institution,2005,26(2):37-40.
[5】 GAO Xiangdong,NA S J.Detection of weld position and seam tracking based on Kalman filtering of weld
pool images[J].Journal of Manufacturing Systems,2005,
24(1): 1-12.
[6] MARTIN T H,HOWARD B D,MARK B.Neural network design[M].Bering:China Machine Press,2002.
【7】 SIMON H.神经 网络 的综合基础[M].北京:清华大学 出版 社 ,2001.
SIM ON H.Neural netw orks a comprehensive foundation
[M 】.Beijing:Tsinghua University Press,2001.
[8] WEN J,ZHAO J L,LUO S w,et a1.The improvements of BP neural netw ork learning algorithm[C]//5th Intema—
tional Conference on Signal Processing Proceedings,
Beijing,2000,3: 1 647-1 649.
[9] 王武义 ,徐定 杰,陈建翼 .误差 原理与 数据处 理[M]. 哈尔 滨 :哈 尔 滨 工 业 大 学 出版 社 ,2001.
WANG Wuyi,XU Dingjie,CHEN Jianyi.Error theory and data processing[M].Harbin: Harbin Institute of Technology Press,2001.
作 者简 介 :高 向东 ,男 ,1963年 出生 ,教 授 ,博 士研 究生 导师 。主 要从 事 机器 视觉 和 自动控 制等研 究 工作 。
E—mail:gaoxd666@126.corn