图像拼接算法研究与嵌入式系统实现

２０１

０届研究生硕士学位论文

１ ７ ^{５ ９ ８ ６ ７} 学校代码：１０２６９

学 号：５１０７１２０２０４９

葶震印筋天擎

图像拼接算法研究与嵌入式 系统实现

院 系：信息堂院适值王猩丕

专 业：电路皇丕统

研究方向：邀△惑丕统

指导教师： 姚莹塾援

硕士研究生： 俭笠丝

２０１

０年５月完成

Ｍａｓｔｅｒ

Ｄｉｓｓｅｒｔａｔｉｏｎ ｏｆ Ｃｌａｓｓ２０ １ ０ Ｕｎｉｖｅｒｓｉｔｙ Ｃｏｄｅ：１ ０２６９

Ｒｅｇｉｓｔｅｒｅｄ Ｎｏ：５１ ０７ １ ２０２０４９

ＥＡＳ Ｔ ＣＨ烈Ａ ^{ＮＯＲＭＡＬ}

ＵＮＩＶＥＲＳＩＴＹ

Ａｌｇｏｒｉｔｈｍ ^{ｒｅｓｅａｒｃｈ ｏｎ} ｉｍａｇｅ ^{ｍｏｓａｉｃ} ａｎｄ ｅｍｂｅｄｄｅｄ ｓｙｓｔｅｍ ｒｅａｌｉｚａｔｉｏｎ

Ｄｅｐａｒｔｍｅｎｔ：

Ｍａｊｏｒ：

Ｓｐｅｃｉａｌｉｔｙ：

Ｓｕｐｅｒｖｉｓｏｒ：

Ａｕｔｈｏｒ ｎａｍｅ・

Ｉｎｆｏｒｍａｔｉｏｎ Ｓｃｈｏｏｌ ａｎｄ Ｃｏｍｍｕｎｉｃａｔｉｏｎ

星旦ｇｉ望曼星丛旦ｇ

^{Ｑ曼Ｐ垒丛塑曼旦！}

￡ｉ！Ｑ坠ｉ！ｉ坐亟ＳＹ墨丝塑 至堡鱼堡鱼鱼曼亟墨Ｙ墨！曼坠

￡！Ｑ鱼墨墨Ｑ！：亟曼Ｑ：丛曼盟ｇ

ＸｕＷｅｉＪｕｎ

Ｆｉｎｉｓｈ

ｔｉｍｅ：Ｍａｙ，２０１０

２

的研究成果。对本文的研究做出重要贡献的个人和集体，均已在文中作了明确说明并表 示谢意。

作者签名：

日期：加ｆ。年ｆ月历Ｅｌ

华东师范大学学位论文著作权使用声明

《图像拼接算法研究与嵌入式系统实现》系本人在华东师范大学攻读学位期间在导

师指导下完成的硕≠／博士（请勾选）学位论文，本论文的研究成果归华东师范大学所有。

本人同意华东师范大学根据相关规定保留和使用此学位论文，并向主管部门和相关机构

如国家图书馆、中信所和“知网＂送交学位论文的印刷版和电子版；允许学位论文进入 华东师范大学图书馆及数据库被查阅、借阅；同意学校将学位论文加入全国博士、硕士 学位论文共建单位数据库进行检索，将学位论文的标题和摘要汇编出版，采用影印、缩 印或者其它方式合理复制学位论文。

本学位论文属于（请勾选）

（ ）１．经华东师范大学相关部门审查核定的“内部＂或“涉密”学位论文毒，

于 年 月 日解密，解密后适用上述授权。

（１）／２．不保密，适用上述授权。

导师签名——立酗丛牡 ^{本人签名继丝}

如扣年厂月２８日

＋“涉密＂学位论文应是已经华东师范大学学位评定委员会办公室或保密委员会审 定过的学位论文（需附获批的《华东师范大学研究生申请学位论文“涉密＂审批表》

方为有效），未经上述部门审定的学位论文均为公开学位论文。此声明栏不填写的，

默认为公开学位论文，均适用上述授权）。

俭值丝硕士学位论文答辩委员会成员名单

姓名 职称 单位 备注

李明 教授 华东师范大学 主席

薛燕陵 教授 华东师范大学

劳五一 副教授 华东师范大学

Ｕ

一张大的宽视 角的图像。拼接后的图像要求最大程度地与原始图像接近，失真尽可能小，没有明显的 缝合线。图像拼接技术在宇宙空间探测、海底勘测、医学、气象、地质勘测、军事、视 频压缩和传输，档案的数字化保存，视频的索引和检索，物体的３一Ｄ重建，军事侦察 和公安取证，数码相机的超分辨处理等领域都有广泛的应用。

本文旨在研究图像拼接算法以及在嵌入式系统中的应用。文中对于图像拼接的背景、

概念、国内外研究现状，以及对三种基本常用的图像拼接算法做了详细的论述。在ｍａｔｌａｂ 计算机仿真环境下，从算法的精确度和效率等因素对三种不同的图像拼接算法进行了比 较，提出相位相关法相比其他算法有着移植上面的优势，在这一结论下着手从ｍａｔｌａｂ 计算机仿真环境下移植到嵌入式系统，使之成为能够独立运行在嵌入式环境下的处理图 像拼接的应用程序。研究重点有：

（１）通过对ｍａｔｌａｂ计算机仿真环境下模板匹配法、基于角点的图像配准法以及相位 相关法三种不同图像配准算法的研究比较，找出适合移植到嵌入式系统的算法。模板匹 配法虽然能够比较好的完成图像拼接的任务，但是由于需要模板图与待匹配图像之间平 移遍历找相位关系，需要耗费很多的ＣＰＵ时间；基于角点的图像配准能够适应很多光照 条件下进行准确配准，但是同样存在计算量大，阈值比较难处理，有着丢失角点或者找 到伪角点的缺点，不是很适合嵌入式系统下的图像处理。相位相关法则利用频域下傅里 叶变换的平移性质，能够克服光照、灰度不均、图像模糊，加上ＤＳＰ对处理傅里叶变换 有得天独厚的速度优势，所以相位相关法适合移植到嵌入式系统的算法。

（２）基于上述结论，着手移植相位相关算法到嵌入式系统中。对于ｍａｔｌａｂ计算机仿真 环境是始终离不开ＰＣ系统的，而嵌入式系统相比传统的计算机，有着面向特定应用、

系统可裁剪、有较长的生命周期等优势。目前越来越多的人开始重视嵌入式系统，越来 越多的人倾向在嵌入式平台做应用开发。因此，本文基于Ｏｍａｐ３５３０开发板移植图像处 理算法，搭建了开发板硬件、软件平台，移植嵌入式ｌｉｎｕｘ系统，并在此系统上移植图 像算法，完成了从图像摄取到处理的嵌入式应用程序，同时，给出具体实现的步骤以及 部分代码。

关键词：图像拼接算法，相位相关法，嵌入式ｌｉｎｕｘ，Ｏｍａｐ３５３０

Ⅱ１

ＡＢＳＴＲＡＣＴ

Ｉｍａｇｅ ｍｏｓａｉｃ ｉｓ ｍａｉｎｌｙ ｕｓｅｄ ^ｔｏ ｓｙｎｔｈｅｔｉｚｅ ^{ａ ｓｅｒｉｅｓ} ｏｆ ｉｍａｇｅｓ ｗｉｔｈ ^ｔｈｅ ｓａｍｅ ｏｖｅｒｌａｐｐｅｄ

ｓｃｅｎｅ ｔｏ ａｌｌ ｉｍａｇｅ ｏｆ ｌａｒｇｅ ｗｉｄｅ ｖｉｅｗｉｎｇ ａｎｇｌｅ．Ａｆｔｅｒ

ｍｏｓａｉｃ，ｉｍａｇｅ

^{ｍｕｓｔ ｂｅ ｃｌｏｓｅ ｔｏ ｔｈｅ}

ｏｒｉｇｉｎａｌ

ｉｍａｇｅ．Ｉｍａｇｅ

ｄｉｓｔｏｒｔｉｏｎ ｍｕｓｔ ｂｅａｓ ｓｍａｌｌ ａＳ ｐｏｓｓｉｂｌｅ ａｎｄ^ｎｏ ｏｂｖｉｏｕｓ ｓｅａｍｓ．Ｉｍａｇｅ ｍｏｓａｉｃ ｉｓ ｗｉｄｅｌｙ ｕｓｅｄ ｉｎ _{ｓｐａｃｅ} ｅｘｐｌｏｒａｔｉｏｎ，ｕｎｄｅｒｓｅａ ｅｘｐｌｏｒａｔｉｏｎ，ｍｅｄｉｃｉｎｅ，ｍｅｔｅｏｒｏｌｏｇｙ，

ｇｅｏｌｏｇｉｃａｌ ｓｕｒｖｅｙ，ｍｉｌｉｔａｒｙ，ｖｉｄｅｏｃｏｍｐｒｅｓｓｉｏｎ ａｎｄ ｔｒａｎｓｍｉｓｓｉｏｎ，ｄｉｇｉｔａｌ ｐｒｅｓｅｒｖａｔｉｏｎ ｏｆ ｆｉｌｅｓ，

ｖｉｄｅｏ ｉｎｄｅｘｉｎｇ ａｎｄ ｒｅｔｒｉｅｖａｌ，ｏｂｊｅｃｔ ^３一Ｄ ｒｅｃｏｎｓｔｒｕｃｔｉｏｎ，ｍｉｌｉｔａｒｙ ｉｎｔｅｌｌｉｇｅｎｃｅ ａｎｄ _{ｐｕｂｌｉｃ}

ｓｅｃｕｒｉｔｙ ｆｏｒｅｎｓｉｃｓ，ｄｉｇｉｔａｌ ｓｕｐｅｒ－ｒｅｓｏｌｕｔｉｏｎｐｒｏｃｅｓｓｉｎｇ，ｔｈｅ ｄｉｇｉｔａｌ ｃａｍｅｒａ．

Ｍｙ ｐａｐｅｒ ｉｓ ｍａｉｎｌｙ ｓｔｕｄｙｉｎｇ ｉｍａｇｅ ｍｏｓａｉｃ ａｌｇｏｒｉｔｈｍ ａｎｄ ａｐｐｌｉｃａｔｉｏｎ ｉｎ ｅｍｂｅｄｄｅｄ ｓｙｓｔｅｍ．Ｉｍａｇｅ ｍｏｓａｉｃ ｂａｃｋｇｒｏｕｎｄ．ｃｏｎｃｅｐｔ，ｓｔａｔｕｓ ａｎｄ ｓｏｍｅ ｂａｓｉｃ ｃｏｍｍｏｎ ｉｍａｇｅ ｍｏｓａｉｃ ａｌｇｏｒｉｔｈｒｎｓ ａｒｅ ^{ｄｉｓｃｕｓｓｅｄ} ｉｎ ｄｅｔａｉｌ．Ｕｎｄｅｒ ｔｈｅ ｃｏｍｐｕｔｅｒ ｓｉｍｕｌａｔｉｏｎ ｉｎ ｍａｔｌａｂ ｅｎｖｉｒｏｎｍｅｎｔ．ｔｈｒｅｅ ｄｉｆｆｅｒｅｎｔ ｉｍａｇｅ ｍｏｓａｉｃ

ａｌｇｏｒｉｔｈｍｓ

^{ｆｒｏｍ ｔｈｅ}

ａｌｇｏｒｉｔｈｍ

ａｃｃｕｒａｃｙ ａｎｄ ｅｆ！ｆｉｃｉｅｎｃｙ ｆａｃｔｏｒｓ ａｒｅ ｅｏｍｐａｉｒｅｄ．Ｐｈａｓｅ．ｃｏｒｒｅｌａｔｉｏｎ

ａｌｇｏｒｉｔｈｍ

^ｈａｓ ａｄｖａｎｔａｇｅｓ ｉｎ ｔｒａｎｓｐｌａｎｔ ｃｏｍｐａｒｅｄ ^{ｔｏ ｏｔｈｅｒ} ａｌｇｏｒｉｔｈｍ．Ａｃｃｏｒｄｉｎｇ ^{ｔｏ ｔｈｉｓ} ｃｏｎｃｌｕｓｉｏｎ．ａｌｇｏｒｉｔｈｍ ｉｓ ｔｒａｎｓｐｌａｎｔｅｄ ｆｒｏｍ ｍａｔｌａｂ

ｓｉｍｕｌａｔｉｏｎ

ｅｎｖｉｒｏｎｍｅｎｔ

ｔｏｅｍｂｅｄｄｅｄ ｓｙｓｔｅｍｓ，ｍａｋｉｎｇ ｉｔ ^ｒｕｎ ｉｎｄｅｐｅｎｄｅｎｔｌｙ^ａｓ ｍｏｓａｉｃ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ ｔｈｅ ｅｍｂｅｄｄｅｄ

ｅｎｖｉｒｏｎｍｅｎｔ．Ｒｅｓｅａｒｃｈ

ｆｏｃｕｓｏｎ：

（１）Ｔｈｒｏｕｇｈ ｃｏｍｐａｒｉｎｇ ｃｏｍｐｕｔｅｒ ｓｉｍｕｌａｔｉｏｎ ｕｎｄｅｒ ｍａｔｌａｂ

ｅｎｖｉｒｏｎｍｅｎｔ，ｔｅｍｐｌａｔｅ

ｍａｔｃｈｉｎｇ ｍｅｔｈｏｄ．ｂａｓｅｄｏｎｔｈｅｃｏｍｅｒｏｆ ｔｈｅ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ｍｅｔｈｏｄ ａｎｄ ｐｈａｓｅｃｏｒｒｅｌａｔｉｏｎ ｉｍａｇｅ ｒｅｇｉｓｔｒａｔｉｏｎ ａｌｇｏｒｉｔｈｍ，ｔｈｅａｐｐｒｏｐｒｉａｔｅ

ａｌｇｏｒｉｔｈｍ

ｐｏｒｔｅｄ ^ｔｏｅｍｂｅｄｄｅｄ ｓｙｓｔｅｍｓ ｉｓ ｆｏｕｎｄ．

Ａｌｔｈｏｕｇｈ ｔｈｅ ｔｅｍｐｌａｔｅ ｍａｔｃｈｉｎｇ ｍｅｔｈｏｄＣａｎ ｃｏｍｐｌｅｔｅ ｔｈｅ ｔａｓｋ ^ｏｆｉｍａｇｅ ｍｏｓａｉｃ．ｉｔ^ｃｏｓｔ ｍｕｃｈ ｃｏｍｐｕｔｅｒ

ｔｉｍｅｓ

ｂｅｃａｕｓｅ ｏｆ ｆｉｎｄｉｎｇ ｔｈｅ ｐｈａｓｅ．Ｉｍａｇｅ ｍａｔｃｈｉｎｇ ｂａｓｅｄ ^ｏｎ ｆｅａｔｕｒｅ ｐｏｉｎｔｓ Ｃａｎ

ａｄａｐｔ ｔｈｅ ｌｉｇｈｔ ｃｏｎｄｉｔｉｏｎｓ．ｂｕｔ ｔｈｅ ｃａｌｃｕｌａｔｉｏｎ ｉＳ ａｌＳＯ ｌａｒｇｅ．Ｉｔ ｉｓ ｈａｒｄ ^{ｔｏ ｄｏ}ｗｉｔｈ ｔｈｒｅｓｈｏｌｄ．Ｉｔ ｍａｙ ｍｉｓｓ ｔｈｅ ｃｏｍｅｒ _{ｐｏｉｎｔｓ} ｏｒ ｆｉｎｄ ａｆａｌｓｅ ｃｏｍｅｒ _{ｐｏｉｎｔｓ．Ｓｏ} ｉｔ ｉｓ ｎｏｔ ｖｅｒｙ ｓｕｉｔａｂｌｅ ｆｏｒ ｅｍｂｅｄｄｅｄ ｓｙｓｔｅｍｓ ^ｔｏ ｐｒｏｃｅｓｓ ｉｍａｇｅ．Ｐｈａｓｅ ｃｏｒｒｅｌａｔｉｏｎ ｍｅｔｈｏｄ ｕｔｉｌｉｚｅｓ ｔｈｅ ｔｒａｎｓｌａｔｉｏｎ ｐｒｏｐｅｒｔｙｏｆ Ｆｏｕｒｉｅｒ ｔｒａｎｓｆｏｒｍ．Ｉｔ Ｃａｎｏｖｅｒｃｏｍｅｔｈｅｌｉｇｈｔ，ｕｎｅｖｅｎｇｒａｙ，ｆｕｚｚｙ ｉｍａｇｅ．Ａｎｄ ^ＤＳＰ ｈａｓ ａ ｕｎｉｑｕｅ ｓｐｅｅｄ ａｄｖａｎｔａｇｅ ｉｎ ^{Ｆｏｕｒｉｅｒ} ｔｒａｎｓｆｏｒｍ ｐｒｏｃｅｓｓｉｎｇ．Ｓｏ ｔｈｅ ｐｈａｓｅ ｃｏｒｒｅｌａｔｉｏｎ ｍｅｔｈｏｄｉｓ ｂｅｓｔｓｕｉｔａｂｌｅｔｏ ｂｅｔｒａｎｓｐｌａｎｔｅｄ^ｔｏｅｍｂｅｄｄｅｄ ｓｙｓｔｅｍ．

（２）Ｂａｓｅｄ ^ｏｎ ａｂｏｖｅｒ，ｉｍａｇｅ ｍｏｓａｉｃ

ａｌｇｏｒｉｔｈｍ

^ｏｆ ｔｒａｎｓｐｌａｎｔ ｐｈａｓｅ ｃｏｒｒｅｌａｔｉｏｎ ｉｓ

ｔｒａｎｓｐｌａｎｔｅｄ ｉｎｔｏ ｅｍｂｅｄｄｅｄ ｐｌａｔｆｏｒｍｓ．Ｍａｔｌａｂ ｅｎｖｉｒｏｎｍｅｎｔ Ｃａｎ ｎｏｔ ｒｕｎｗｉｔｈｏｕｔ _{ＰＣ ｓｙｓｔｅｍ．}

Ｃｏｍｐａｒｅｄ ｗｉｔｈ ｔｒａｄｉｔｉｏｎａｌ ｃｏｍｐｕｔｅｒｓ，ｅｍｂｅｄｄｅｄ ｓｙｓｔｅｍ ｈａｓ ｓｐｅｃｉｆｉｃ ａｐｐｌｉｃａｔｉｏｎ．ｏｒｉｅｎｔｅｄ，

ｓｙｓｔｅｍ ^Ｃａｌｌ ｂｅ ｃｕｔ．１０ｎｇｅｒ ｌｉｆｅ ｃｙｃｌｅ ａｎｄ ｓｏｍｅ ｏｔｈｅｒ ａｄｖａｎｔａｇｅｓ．Ａｔ ｐｒｅｓｅｎｔ．ｍｏｒｅ ａｎｄ ｍｏｒｅ ｐｅｏｐｌｅ ａｒｅ _{ｓｔａｒｔｉｎｇ} ｔｏ ｆｏｃｕｓ ｏｎ ｅｍｂｅｄｄｅｄ ｓｙｓｔｅｍ ｍｏｒｅ ａｎｄ ｍｏｒｅ ｐｅｏｐｌｅ ｔｅｎｄ ^ｔｏ ｄｅｖｅｌｏｐ ａｐｐｌｉｃａｔｉｏｎｓ ｉｎ ｅｍｂｅｄｄｅｄ

ｐｌａｔｆｏｒｍ．Ｔｈｅｒｅｆｏｒｅ，ｍｙ

^{ｐａｐｅｒ ｔｒａｎｓｐｌａｎｔ ｔｈｅ ｉｍａｇｅ ｐｒｏｃｅｓｓｉｎｇ}

ａｌｇｏｒｉｔｈｍ ｂａｓｅｄ ^ｏｎ ｄｅｖｅｌｏｐｍｅｎｔ ｂｏａｒｄ Ｏｍａｐ３５３０，ｓｅｔ ｕｐ ｔｈｅ ｄｅｖｅｌｏｐｍｅｎｔ ｂｏａｒｄ ｈａｒｄｗａｒｅ

ａｎｄ ｓｏｆｔｗａｒｅ ｐｌａｔｆｏｒｉｌｌ，ｔｒａｎｓｐｌａｎｔ ^{ｔｈｅ ｅｍｂｅｄｄｅｄ} Ｉｉｎｕｘ．ｔｒａｎｓｐｌａｎｔ ^ｔｌｌｅ

ｉｍａｇｅ

ａｌｇｏｒｉｔｈｍ，

ｃｏｍｐｌｅｔｅ ｅｍｂｅｄｄｅｄ ａｐｐｌｉｃａｔｉｏｎ ｆｒｏｍ ｉｍａｇｅ ａｃｑｕｉｓｉｔｉｏｎ^ｔｏｐｒｏｃｅｓｓｉｎｇ，ｍｅａｎｗｈｉｌｅ，ｔｈｅ ｓｐｅｃｉｆｉｃ

ｉｍｐｌｅｍｅｎｔａｔｉｏｎ

ｓｔｅｐｓａｎｄ ｓｏｍｅｃｏｄｅａｒｅ ｇｉｖｅｎ．

ＫＥＹ ＷＯＲＤ：ｉｍａｇｅ

ｍｏｓａｉｃ，ｐｈａｓｅ ｃｏｒｒｅｌａｔｉｏｎ ｍｅｔｈｏｄ，ｅｍｂｅｄｄｅｄ ｌｉｎｕｘ，Ｏｍａｐ３５３０

ＩＶ

目 录

第一章绪论………一１－

１．１图像拼接技术目的与意义………一ｌ－

１．２国内外研究现状………。－２．

１．３本文研究内容及结构安排………一３一 第二章图像配准算法………－４－

２．１图像配准算法定义………一４．

２．２模板匹配法………一５－

２．３基于角点的图像配准法………．一７－

２．３．１ Ｈａｒｒｉｓ角点检测算法………．７．

２．３．２基于奇异值分解的角点匹配………－９・

２．４相位相关法………－１０—

２．５，Ｊ、结………．一１２一 第三章图像拼接算法的计算机模拟仿真………・１３．

３．１图像数据源分析………一１^３－

３．２模板匹配法仿真………一１５．

３．３基于Ｈａｒｒｉｓ角点算法匹配………－１７－

３．４傅里叶变换的相位相关法………－１９－

３．５实验数据分析………一２０．

３．６，Ｊ、结………．・２１－

第四章嵌入式系统下的图像拼接………－２２－

４．１ Ｍｉｎｉ板硬件配置及搭建………－２２．

４．２软件开发环境的建立………－２４－

４．２．１Ｍｉｎｉ板启动过程………．．２５．

４．２．２ ＸＬｏａｄｅｒ………－２６－

４．２．３ ＵＢｏｏｔ………．一２７－

４．２．４ Ｋｅｒｎｅｌ………．一２８－

４．２．５系统启动………．－２８—

４．３图像拼接算法的移植………－３ｌ－

４．３．１ ｕｖｃｖｉｄｅｏ摄像头驱动………．．．３^１．

４．３．２ ｆｆｍｐｅｇ………－３２－

４．３．３ｂｍｐ文件格式………．－３４．

４．３．４图像拼接算法移植………．一３６－

４．４，Ｊ、结………．－３６－

第五章图像拼接实验………一３７・

５．１ ｍａｔｌａｂ图像拼接………．一３７．

５．２嵌入式系统下的图像拼接………一３９－

第六章总结与展望………一４２—

６．１工作总结………・４２—

６．２不足之处以及展望………．－４３－

致 谢………。一４６一 硕士期间发表的论文………．－４７一

Ｖ

第一章绪论

１．１图像拼接技术目的与意义

图像拼接就是把针对同一场景的相互有部分重叠的一系列图片合成一张大的宽视角 的图像。拼接后的图像要求最大程度地与原始图像接近，失真尽可能小，没有明显的缝 合线。

在日常生活中，人们用数码相机来获取自己想要的场景图像，如果想要摄取尽可能 大的场景时，可以退后使相机尽可能远离场景或调节相机焦距，使得更大场景能够包含 到相机的感光器件上。但这样做有利也有弊，所获取的全景照片的分辨率势必会有所下 降，这是因为相机的分辨率是一定的，拍摄的场景大了，得到的图像的分辨率就会降低。

另外，在某些特殊用途的拍摄中，特别是航天照片，由于距离的限制，某些超大尺 寸的场景是无法用一张照片拍摄下来的。虽然可以利用广角镜头和扫描式相机来解决这 一视角不足的问题，但广角镜头的边缘难免会产生扭曲变形，校正起来比较麻烦，扫描 式相机则普遍价钱昂贵，使用复杂。另一种方法是使用目前的许多图像处理工具如 Ｐｈｏｔｏｓｈｏｐ等，但毕竟这种拼接方法需要人工干预，需要找有专业知识的人员来做这样 的工作，而且对于多幅图像的拼接，工作量大且重复运作繁琐。为了解决问题，可以利 用计算机或者嵌入式系统的快速运算能力和数据处理能力，通过图像配准算法来自动生 成大幅无缝的高清晰全景图像。因此，研究精确而快速的图像拼接算法具有十分重要的 现实意义。

２００３年，美国“勇气号”和“机遇号”火星探测器发回了大量的火星地面照片，科 学家们就是运用图像拼接技术合成了火星表面的宽视角全景图像。图像拼接技术在宇宙 空间探测、海底勘测、医学、气象、地质勘测、军事、视频压缩和传输，档案的数字化 保存，视频的索引和检索，物体的３．Ｄ重建，军事侦察和公安取证，数码相机的超分 辨处理等领域都有广泛的应用。主要表现为：

（１）全景图和超宽视角图像的合成：将普通图像或视频图像进行无缝拼接，得到超 宽视角甚至到３６０。的全景图，这样就可以用普通相机实现场面宏大的景物拍摄。

（２）碎片图像的组合：将医学和科研的显微碎片图像或者空间、海底探测得到的局 部图像合成大幅的整体图像。

（３）虚拟现实：图像拼接是虚拟现实领域里场景绘制（Ｉｍａｇｅ．ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ，ＩＢＲ）

方法中的一项基本技术，利用图像拼接技术可以生成全方位图像，用全景图表示实景可

代替３Ｄ场景建模和绘制。

１．２国内外研究现状

图像拼接最早在美国七十年代从事的飞行器辅助导航系统，武器投射系统的末制导 以及寻地等应用研究中提出。技术的研究，如遥感领域，模式识别，八十年代后，在很 多不同领域都有大量配准自动导航，医学诊断，计算机视觉等。

图像配准和图像融合是数字图像拼接技术的两个关键技术，图像匹配尤其关键。早 在７０年代，Ｐ．Ｅ．Ａｎｕｔａｕ。提出了使用ＦＦＴ进行互相关图像检测计算的图像配准技术，并 得到了很好的效果；Ｄ．Ｌ．Ｂａｒｎｅａ瞄。等提出了使用模板子图像差值相似性测度的图像配准 技术，它比Ｐ．Ｅ．Ａｎｕｔａ所提出的方法有更高的性能；Ｒｉｃｈａｒｄ Ｓｚｅｌｉｓｋｉ“。（Ｍｉｃｒｏｓｏｆｔ ｃｏｒｐｏｒａｔｉｏｎ）提出了基于运动的全景图像拼接模型，采用Ｌｅｖｅｎｂｅｒｇ—Ｍａｒｑｕａｒｄｔ迭代 非线性最小化方法（简称Ｌ—Ｍ算法），通过求出图像间的几何变换关系来进行图像配准。

在图像配准的分层迭代辅助方法中，Ｃａｓｔｌｅｍａｎ等提出了由粗到细的金字塔状的分层计

ｒＡｌ

算方法”。。Ｓｈｍｕｌｅ Ｐｅｌｅｇ，Ｂｅｎｎｙ Ｒｏｕｓｓｏ，Ａｌｅｘ Ｒａｖ—Ａｃｈａ和Ａｓｓａｆ Ｚｏｍｅｔ在Ｒｉｃｈａｒｄ Ｓｚｅｌｉｓｋｉ的基础上做了进一步的改进，提出了自适应的图像拼接模型Ｈ。，根据相机的不 同运动，自适应选择拼接模型，通过把图像分成狭条进行多重投影来完成图像的拼接。

Ｊａｎｅ旧。提出了基于小波变换的分层图像匹配算法，在分解后的每一层图像中提取兴趣点 进行匹配，用并行策略提高了计算速度。

根据ＥＩ Ｅｎｇｉｎｅｅｒｉｎｇ Ｖｉｌｌａｇｅ的检索结果，每年关于图像配准方面被ＥＩ检索的论

文都呈现逐年上升趋势，最近十年里至少有超过１０００篇的学术论文在研究图像配准问 题。网上公布的美国申请专利中，图像配准相关的部分就超过５０项，ＩＢＭ和ＧＥ等大型 跨国企业甚至有自己的工作组专门研图像配准问题。而在最近的国际项级学术会议上都 有关于配准的专题讲座，这足可见图像配准问题的关注程度。

另外，医学图像的配准…也经过了一个较长的发展历程。二十世纪八十年代初，图 像配准主要应用在ＤＳＡ（数字减影血管造影）方面。它采用基于图像灰度的方法，针对二 维图像，通过检测相关性和灰度值的差异来决定刚性变换的参数。这种方法在今天用于 三维变换中仍可以借鉴。二十世纪八十年代中后期到九十年代初，开始关注不同模态的 图像配准，这时候图像配准和图像融合也主要集中于三维刚性变换。二十世纪九十年代，

医学图像配准在二维方向和非刚性图形配准上取得了飞速发展。

在国内，图像处理技术起步相对较晚，后来获得了很大的发展。张小洪”。把多分辨 分析的思想引入到算法中，构造了基于小波理论的灰度值变化公式，并得到了具有尺度 变换特性的自相关矩阵，从而构建了一种新的基于小波变换的Ｈａｒｒｉｓ多尺度角点检测

算法。王小睿。。等提出并实现了一种自动图像配准方法，用于图像的高精度配准，但实 际上它只是一种使用互相关系数作为相似性测度的半自动的图像配准方法。李中科等提 出了基于霍夫变换和相位相关的图像配准方法“…，文中所提出的算法充分利用了ＦＦＴ 大大提高了算法的速度。国防科技大学的孙立峰、张茂军等人构建了基于全景图的虚拟 现实系统““，该系统己在国内的多家公司得到成功的商业应用。

可见，图像拼接技术经过多年的研究，己经取得了诸多研究成果，不论在国内还是 国外，图像拼接技术都发展的非常迅速。图像拼接的高精度、图像拼接算法的强鲁棒性、

图像拼接算法的拼接速度以及图像拼接的自动化一直以来都是图像拼接领域所不断追 求的目标。

１．３本文研究内容及结构安排

本文旨在研究图像拼接算法以及在嵌入式系统中应用图像拼接算法。文中对于图像 拼接的背景、概念、国内外研究现状，以及一些基本常用的图像拼接算法都做了详细的 论述。同时，在ｍａｔｌａｂ仿真平台上对于三种不同的图像拼接算法进行了比较并得出相 位相关法适合移植到嵌入式系统中去实现的结论。最后，本文介绍了如何移植相位相关 的图像拼接算法到嵌入式平台，在基于Ｏｍａｐ３５３０的开发板上运行图像处理算法，并给 出具体实现的步骤以及部分代码。全文共分为六章，安排如下：

第一章为绪论，论述了研究图像拼接的目的和意义，介绍图像拼接算法的背景以及 国内外研究现状，和本文的结构安排。

第二章对一些基本常用的图像配准算法进行介绍，列举了模板匹配法、基于角点的 图像配准法、相位相关法三种不同的图像配准方法，为计算机模拟仿真提供理论依据。

第三章主要针对三种不同的图像匹配算法做计算机上的模拟仿真，分析如何用 ｍａｔｌａｂ实现算法，比较三种算法优缺点，找出适合移植的算法。

第四章介绍应用于嵌入式系统平台的图像拼接算法，利用基于Ｏｍａｐ３５３０开发平台 实现从摄像头摄取图像，到图像配准、拼接这一过程，完成脱离ＰＣ上位机的独立的嵌 入式系统应用。

第五章为图像拼接实验，对在计算机上模拟仿真的图像拼接结果与在嵌入式平台上 得到的结果做比较分析，并指出嵌入式系统中图像配准失配原因。

第六章为总结本文所做的工作，并提出不足之处，以及对于以后的展望。

第二章图像配准算法

图像配准，有时也叫图像匹配，是图像处理基本任务之一，也是图像拼接的基础““。

用于将不同时间、不同传感器、不同视角及不同拍摄条件下获取的两幅或多幅图像进行 匹配，在军事、遥感、医学、计算机视觉等领域有广泛的应用。

图像配准技术可分为手工配准和自动配准两种方式ｕ“，而自动配准是在整个配准 过程中不需要人干涉的一种配准技术，它也是图像配准技术的最终发展目标。图像配准 算法的优劣直接影响到图像拼接的质量，所以找到合适的图像配准算法和提高图像配准 算法的准确度的意义是相当重要的。

不同的图像配准方法对应于某种特定的图像模型，本章将介绍比较常用的三种方法：

模板匹配法‘１ ４｜、基于角点的图像配准法‘１副、相位相关法‘１ ６Ｊ。对它们的定义、算法步骤 进行论述。

２．１ 图像配准算法定义

图像配准定义…。为：将取自同一目标区域的两幅或多幅影像在空间位置上最佳的 套合起来，这些影像来自不同传感器，或者是由同一传感器在不同时相获取的。

假定两幅待配准图像‘＝（ｘ，Ｙ）和厶＝（ｘ，Ｙ），我们称其中之一如厶＝（ｘ，Ｙ）为参考图 像，另一个厶＝（ｘ，Ｙ）为待配准图像。则图像配准的数学模型可表示为：

厶（ｘ，Ｙ）＝ｇ（１ｌ（ｆ（ｘ，ｙ）））

在这里，厂是一个二维空间的坐标变换，而ｇ是一个一维的灰度变换。寻求最佳的 空间或几何变换参数是匹配问题的关键，它常常被表示为两个参数变量的单值函数正，

｛，：

厶（ｘ，少）＝‘（六（ｘ，ｙ），Ｌ（ｘ，ｙ））

本质上，图像配准需要分析各待配准图像上的几何畸变，然后采用一种几何变换将 图像归化到统一的坐标系统中。图像配准的～般做法是，首先在参考图上选取以某一目 标点为中心的图像子块，并称它为图像配准的目标窗口，然后让目标窗口在待匹配图上 有秩序的移动，每移到一个位置，就把目标窗口与待配准图的对应部分进行相关比较，

直到找到配准位置为止。

如果在配准窗口范围内，同一目标的两幅图像完全相同，那么完成图像配准并不困 难，然而，实际上图像配准中所遇到的统一目标的两幅图像常常是在不同条件下获得的，

再加上成像中各种噪声的影响，使同一目标的两幅图像不可能完全相同，只能做到某种

程度相似，因此图像配准是一个相对复杂的技术过程。

２．２模板匹配法

模板匹配法是在图像配准算法中一个非常常用的方法。它根据各种不同情况的需要 来选择一个或者多个模板，在待匹配的图像中移动，将模板图像和原图像做比对，找到与 模板相匹配的区域。

图像匹配算法大致可分为三种类型：基于灰度相关的图像匹配、基于特征的图像匹 配和基于解释的图像匹配“…。两幅图像之间的匹配算法实质为二者的某一特征值的相 关性度量。通常，模板图像是待匹配图像中的一小块，通过模板图像在待匹配图像上遍 历移动、并与待匹配图像重合部分处进行相关运算，得到一个相关值，根据这一相关值的 大小来判断二者是否匹配。

如图２．１所示，图２．１（ａ）为待匹配图，图２．１（ｂ）为模板图。模板匹配法的基本思 路为在（ａ）图中，寻找是否存在三角形图（ｂ）的图像。若在待匹配图中有寻找的目标，且 目标有一样的尺寸和方向，则完成了匹配。它的基本原则就是通过相关函数的计算找到 它在待匹配图中的坐标位置。这里模板的选择，是指从两幅待拼接的图像里中任选一幅，

然后在其可能重合的区域内，选择一子图作为模板。

图２．１待匹配图与模板

（ｂ）模板

算法具体实现如图２．２所示，假设模板图（ｂ）叠放在待匹配图（ａ）上平移，模板覆盖 下的部分记作子图ＳＬ７，其中ｆ，／是这块子图００２Ｅ＿ｔ：角像点在Ｓ图中的坐标。从图２．２中 可得出ｆ，＿，的取值范围：１≤ｆ≤Ｋ—Ｍ＋１、１≤＿，≤Ｌ—Ｎ＋Ｉ。衡量模板Ｔ和子图Ｓ。的匹 配程度，可用下列两种测度：

Ｄ（ｉ，／）＝∑∑渺／（垅，ｎ）－Ｔ（ｍ，以）】２

ｍ＝ｌ ｎ＝ｌ

Ｍ Ｎ

Ｄ（ｉ，／）＝∑∑渺，（聊，ｎ）－ｒ（ｍ，刀）Ｉ

ｒＬ

Ｋ—Ｍ＋ｌ Ｍ．１

Ｊ Ｌ Ｊ Ｉ

Ｌ．Ｎ＋ｌ

Ｌ

＼ ＼ ＼

ｒ

＼

^{＼＼ ＼ ＼}

Ｎ．１

＼ ＼ ＼

’

（２．１）

（２．２）

Ｍ

Ｊ Ｌ

Ｎ

１ ｒ

（ａ）待匹配图 （ｂ）模板图

图２．２待匹配图与模板匹配过程 展开前一个式子，有：

Ｍ Ｎ Ｍ Ｎ Ｍ Ｎ

Ｔ

Ｄ（ｉ，歹）＝∑∑拶’７（聊，玎）１２－２∑∑Ｓ“沏，ｎ）ｘＴ（ｍ，刀）＋∑∑［丁（聊，胛）】２

^{（２．３）}

ｍ＝ｌ ｎ＝ｉ Ⅲ＝１＂＝ｌ ｍ＝ｌＨ＝ｌ

（２．３）式右边的第三项即为模板的总能量，其值为一个常数，且与（ｆ，／）无关。第 一项是模板覆盖下那块子图像的能量，它随（ｆ，ｊ『）位置而缓慢改变。第二项是子图像和模 板的互相关函数，随（ｆ，Ｊ）变化而迅速改变。模板Ｔ和子图ＳＬ７匹配时这一项的值最大，

因此可以简化用下列相关函数来表示两图间的匹配程度：

Ｒ（ｉ，／）＝

ＳＬ７（聊，ｎ）ｘＴ（ｍ，咒）

Ｊｖ

∑［∥（朋，咒）】２

ｎ＝ｌ

（２．４）

根据施瓦兹不等式可知０＜Ｒ（ｉ，／）＜１，使用时模板在（Ｍ—Ｘ＋Ｉ）ｘ（Ｎ一】，＋１）个位置

上遍历移动一遍后所求得的最大Ｒ（ｉ，／）处的（ｆ，Ｊ）就是最佳匹配点，这就是用最大相似性 准则来进行模板匹配的基本原理…。。

模板匹配法是图像匹配法中比较简单的算法，在模板选取适当的情况下（模板必须 具有足够的信息量），即能够找到最佳的匹配位置，算法的准确度较高。但由于模板图 必须遍历整个待匹配图区域，因此时间开销比较大。

．６．

‘

２．３基于角点的图像配准法

图像的特征点是图像灰度曲面的不连续点，它可以是边界、轮廓、纹理、显著点特 征（如角点、线交叉点、曲率最大点等）、统计特征（如矩不变量、重心）等。在实际的图 像中，由于点扩散函数的作用，特征点表现为在一个微小邻域内灰度的急剧变化，或灰 度分布的不均匀性，也就是局部区域中具有较大的信息量的图像信息。

特征点中的角点是图像的重要局部特征，其直观定义是指在至少两个方向上图像灰 度变化均较大的点。在实际图像中，轮廓的拐点、线段的末端等都是角点。角点特征因 具有信息量丰富，便于测量和表示，能够适应环境光照变化，尤其适用于处理遮挡和几 何变形问题等优点而成为许多特征匹配算法的首选。

比较常用的角点算法有：Ｍｏｒａｖｅｃ角点检测算法“…、Ｈａｒｒｉｓ角点检测算法、ＳＵＳＡＮ 角点检测算法““。Ｍｏｒａｖｅｃ角点检测算法优点是简单、运算速度快，但同时有着在方向 上的局限性以及对噪声敏感的缺点。ＳＵＳＡＮ角点检测算法抗噪性能强，但精度不够，存 在角点漂移情况。而Ｈａｒｒｉｓ角点检测算法采用一阶差分和高斯滤波，计算量小，在图 像出于旋转的情况下，角点的提取依然良好，并且适用范围广。本节就Ｈａｒｒｉｓ角点检 测算法做简要介绍。

２．３．１

Ｈａｒｒｉｓ角点检测算法

Ｈａｒｒｉｓ Ｃ．Ｇ和Ｓｔｅｐｈｅｎｓ Ｍ．Ｊ于１９８８年提出了Ｈａｒｒｉｓ角点检测算法¨“。该算法的 前身为Ｍｏｒａｖｅｃ算法，其本质是二维信号的自相关运算，将角点检测与图像的局部自相 关函数紧密结合，通过特征值分析来判断待检测点是否为角点。

在Ｈａｒｒｉｓ算法中，Ｅ（ｕ，ｖ）为点（ｚ，ｙ）在一个（“，１，）正方形窗口中的灰度变化值，即：

Ｅ（ｕ，Ｖ）＝∑ｗ（ｘ，ｙ）【，（ｘ＋甜，ｙ＋ｖ）－Ｉ（ｘ，ｙ）］２

^{（２．５）}

ｘ，Ｙ

其中Ｉ（ｘ，ｙ）代表图像在（ｘ，Ｙ）处的灰度值，ｗ（ｘ，Ｙ）为高斯滤波器。对上式做泰勒展 开并忽略最高项得：

Ｅｃ“，Ｖ，＝ｃ甜，Ｖ，・Ａ夕・［：］

Ｍ＝ｅ掣２６。瞄弩］

^{＝ ２ ｏ}

^{ｌ叼 。二ｙ ｌ}

（２．６）

（２．７）

其中，Ｍ为２ｘ２的对称矩阵，，，、‘，分别代表图像中该点沿Ｘ和ｙ方向上的导数。

Ｅ（ｕ，ｖ）的本质是一个自相关函数，矩阵Ｍ与其有着紧密的联系。矩阵Ｍ可以对角 化为有两个特征值的四元矩阵，并且图像中每一个点都有这样的四元矩阵，通过对这两 个特征值分析，可得以下三种不同的情况：

（１）．如果两个特征值都比较小，说明窗口所处区域灰度值变化比较平坦，即沿着任 意方向移动，函数Ｅ（ｕ，ｖ）的变化不明显。

（２）．若两个特征值一大一小，说明这是一条边缘。当沿着边缘方向移动时，函数 Ｅ（ｕ，ｖ）出现轻微变化，而当垂直于边缘移动时，函数Ｅ（ｕ，ｖ）则变化剧烈。

（３）．倘若两个特征值都很大，则表明该区域呈现尖峰状。当沿着任意方向移动 时，函数Ｅ（材，１，）变化剧烈，意味着该像素点是一个角点。

在实际运用中，求解Ｍ的特征值是很繁琐的，故我们引入角点响应函数来简化这

一问题：

Ｒ＝ｄｅｔ（Ｍ）一ｋ・ｔｒａｃｅ２（Ｍ）

^{（２．８）}

其中ｄｅｔ（Ｍ）代表求矩阵行列式，ｔｒａｃｅ（Ｍ）代表求矩阵的迹，ｋ为常系数，一般ｋ的

经验取值范围为０．０４至０．０６。其判断标准为：当Ｒ的值大于某个预先设定的阈值时，

判定为候选角点；否则就不是角点。

ＨａｒｒｉＳ算法性能分析：

（１）．该算法中只用到灰度的一阶差分以及高斯滤波，计算量相对较小。

（２）．Ｈａｒｒｉｓ算法具有缩放不变性，图像经过缩放前后角点检测基本一致，这是因为 该算法利用了图像的一阶导数，可见Ｈａｒｒｉｓ算法能较好的适应缩放变换。

（３）．Ｈａｒｒｉｓ算法在纹理信息较丰富的区域可以提取出大量的角点，而在纹理稀 疏的区域提取的角点数目较少，比较真实的反映了图像角点位置。

Ｈａｒｒｉｓ角点检测算法能够比较精确和稳定的找到图像中角点的位置，并有着良好的 性能，但仍然存在以下不足之处：

（１）．传统的Ｈａｒｒｉｓ角点检测算法对噪声比较敏感，而且高斯平滑函数的窗口大小 难以设定。如果窗口较大，则会因为卷积的圆角效应使得角点出现漂移，计算量会相应 增大；如果窗口较小，则会因为噪声而检测出许多伪角点。

（２）．对旋转比较敏感。由于自相关矩阵Ｍ只是利用水平和垂直的梯度来计算，也 即角点量是由水平和垂直方向的梯度决定，所以存在严重的斜边效应。

（３）．角点提取的效果完全依赖于阈值的设定。由于阈值的选取完全依赖经验值，不

宜过大，不宣过小。当阈值过大时，则会丢失真正的角点；而当阈值过小时，又会提取

出较多的伪角点。

２．３．２基于奇异值分解的角点匹配

找到两幅图像角点后，用奇异值分解的匹配方法Ｍ“来找到两幅有重叠区域的角点匹 配关系，然后用聚类的方法找到最多匹配点，从而计算出两幅图像之间的相位关系。

令，和，为两幅图像，分别包含聊个角点‘（ｆ＝１，…，ｍ）和以个角点Ｊ，（／＝１，…，刀），分 别取角点，。和Ｊ，的Ｗ ｘＷ领域么和Ｂ，可得这两个区域的互相关系数：

Ｗ Ｗ

∑∑（厶一ｊ）・（Ｂ一百）

Ｗ２・仃（彳）・仃（Ｂ）

（２．９）

其中，互和百分别为区域彳和Ｂ的均值，仃（彳）和仃（Ｂ）为标准差。可以看出ｑ从一１

（两个区域完全不同）到１（两个区域完全相同）变化。

然后，构造相似矩阵Ｇ，其中ｑ是两个角点‘和‘高斯加权的距离表示，即：

Ｇ｛『＝ＴＣｏ．＋Ｉ已吾（㈦，…以歹＝１，．．．，刀）

^{（２．１０）}

其中，ｒｏ＝肛一‘０为两个角点之间的欧式距离，Ｃｆ『由公式２．９求得。由式２．１０可

以看出Ｇ，，为正的且其变化范围为０到１。参数仃用来控制两个角点之间的相互作用，当 仃小时，Ｇ，就大。

最后对Ｇ进行奇异值分解： …．

Ｇ＝册Ｕ。

（２．１１）

其中，Ｔ∈Ｍｍ，Ｕ∈鸭，且均为正交矩阵；Ｄ为对角阵，Ｄ∈心∥Ｄ中对角元素

按降序排列。将Ｄ中对角线元素值不为０的元素值置１，构造矩阵Ｅ，进而可以得到矩 阵尸：

尸＝国Ｕ。

（２．１２）

矩阵Ｐ和Ｇ具有相同的形状，且它可以很好的突出相匹配的角点，抑制非对应的角 点。

如果０既是它所在的行的最大值，也是它所在列的最大值，则角点‘和／，为一一对 应点，否则五和／，不完全匹配。

角点匹配算法需要满足的三个准则：

１．相似性准则：两个角点所在的区域应相似。

２．相近准则：两幅图中的两个角点不应相距太远，对满足相似性准则的几个角点，

选择最近的两个点。

３．唯一性准则：角点匹配应该是一一对应的。

从以上角点匹配过程可以看出，该算法满足相近准则（矩阵Ｇ为相似性矩阵）和唯 一性准则，矩阵丁和ｕ为正交矩阵，即矩阵尸的每行元素的平方和为１，因此某个特征ｔ 不可能和多个Ｊ．的相关性都强，而矩阵丁的每行和Ｕ的每行的相互正交也保证了一幅图 像中的不同角点都和另一幅图像的相匹配的角点紧密相关。同时由于在相似性系数中考 虑了距离的影响，该算法也满足相似性准则，因此它的抗噪性比较强，对于有噪声存在 的图像，用该算法进行处理，提高了匹配的鲁棒性。

２．４相位相关法

相位相关法是Ｋｕｇｈｎ等人在１９７５年提出的“…，其本质是傅里叶变换的平移性质。

借助傅里叶变换将两幅待配准的图像变换到频域，利用互功率谱直接计算出两幅图像间 的平移量。

通常待匹配的两帧图像之间存在很大的相关性，如果能准确的估计出相邻帧图像之 间的平移运动矢量，就能实现图像的准确匹配。因此，找出图像序列中相邻相关图像之 间的平移矢量就成为图像匹配的关键问题。为了克服传统时域配准方法对光照变化、噪 声和灰度不均等比较敏感的缺陷，根据傅里叶变换的平移性质，建立起一种时域下的目 标位置变化与频域下相位变化之间的对应关系，通过找出两帧相似图像之间的平移值，

估计出运动参数，从而实现准确的图像匹配“…。

如果两幅待匹配图像间仅存在平移关系，则用下面基本的相位相关算法就可以实现 图像匹配。假设图像石和图像．厶之间的平移运动模型可以用下式表示：

正（ｘ，Ｙ）＝石（ｘ—ｘｏ，Ｙ—Ｙｏ）

将其傅里叶变换，得到式（２．２３）：

６（ｕ，１，）＝ｅ－Ｊ２ｎ（嘶＋啪’Ｆ＠，１，）

用厶和厶的归一化互功率谱来确定相位相关矩阵：

（２．１３）

（２．１４）

脚，＝嬲玎伽‰嘞） ^亿㈣

其中曩＋为互的复共轭，将上式进行傅里叶反变换得到：

一ｌＯ．

５（ｘ—Ｘｏ，ｙ一％）＝Ｆ一１［Ｐ—Ｊ２丌‘哳＋啪）】

^{（２．１６）}

通过６函数中出现的脉冲峰值位置就可以确定两幅图像．万和．疋之间的平移运动参 数。利用这个参数就能找到两帧图像之间的相位关系，从而实现图像配准。

基本相位相关法对存在平移关系的图像匹配具有很好的匹配效果，但是如果图像不 仅存在平移运动，当目标或摄像机改变方向时，在图像序列上表现为既存在平移运动又 存在旋转运动，所以为了解决这个问题，介绍一种扩展的相位相关算法来检测图像的平 移和旋转运动。如果两幅图像间存在一个复合平移，即在变换过程中既有平移分量又有 旋转分量），即当石（ｘ，Ｙ）是ｆ（ｘ，Ｙ）经平移（％，‰）、旋转吼得到的图像，此时两幅图像

间的关系表示为：

以（ｘ，Ｙ）＝ｆｌ（ｘＣＯＳｅｏ＋ｙｓｉｎＯｏ—Ｘｏ，ｘｓｉｎＯｏ＋ｙｃｏｓＯｏ—Ｙｏ）

^{（２．１７）}

根据傅里叶的旋转和平移特性，变换后两图像间的关系为：

Ｅ（考，７７）＝Ｐ一，２开‘‘却＋玎如’曩（考ｃｏｓｏｏ＋７／ｓｉｎＯｏ，一考ｓｉｎｏｏ＋ｒ／ｃｏｓＯｏ）

^{（２．１８）}

令Ｍ和鸩分别表示Ｆ。和Ｅ的幅值，则从式（２．２８）可以得出：

＾乞（考，叩）＝＾磊（考ｃｏｓＯｏ＋７７ ｓｉｎＯｏ，一考ｓｉｎＯｏ＋叩ＣＯＳＯｏ）

^{（２．１９）}

由公式（２．２８）可以很容易看出，Ｆ，和最的幅值是相同的，只是相差了一个旋转 角度。为了利用相位相关算法来计算图像间的旋转量，将笛卡尔坐标系下的傅里叶频谱 通过式（２．２９）转换到极坐标下，这样就将两幅图像在笛卡尔坐标下的旋转关系转换成 极坐标下的平移关系。

Ｊ Ｐ＝Ｊ（Ｘ－Ｘｏ）２＋（Ｙ－Ｙｏ）２

ｌ Ｖ＝Ａｒｇ（ｅ（Ｘ－Ｘｏ）＋ｊ（ｙ－‰’）

^{（２．２０）}

公式（２．２９）转换为极坐标系下的表示形式为：

鸩（ＪＤ，ｐ）＝Ｍ（Ｐ，０一吼）

^{（２．２１）}

这样，利用相位相关算法直接求出对数极坐标下傅里叶频谱间的平移矢量‘２６ｌ，也就 检测出了两幅图像间的旋转角度吼。将图像进行旋转运动补偿后，再利用相位相关算法 计算补偿后两幅图像间的平移量，从而实现两幅存在旋转和平移关系的图像的配准。

２．５小结

本节介绍了图像配准的定义以及引入了三种不同的图像配准的算法，即模板匹配法、

基于角点的图像匹配法、相位相关法，给出了他们基本原理、实现公式，为第三章计算 机仿真提供了理论依据。图像配准是图像拼接的基础，找到合适的图像配准算法对于图 像拼接的意义重大，在第三章中将介绍图像拼接的计算机仿真过程。

第三章 图像拼接算法的计算机模拟仿真

基于第二章的分析，本章用Ｍａｔｌａｂ计算机模拟仿真的方法来实现图像拼接过程。

Ｍａｔｌａｂ是美国ＭａｔｈＷｏｒｋｓ公司开发的一种功能极其强大的高科技计算语言和内容极

ｒｎ＇１

其丰富的软件库”“。它以矩阵和向量运算以及运算结果的可视化为基础，把广泛应用 于各个科学领域的数值分析、矩阵计算、函数生成、信号处理、图形及图像处理、建模 与仿真等诸多强大功能集成在一起的交互式环境中，为使用者提供了一个高效的编程工 具。利用Ｍａｔｌａｂ其强大的矩阵计算和处理能力，可以很容易的处理图像算法的问题。

本章的计算机模拟仿真就是基于ｍａｔｌａｂ环境下实现的。

３．１图像数据源分析

本章的图像数据来源是海港匝道口集卡通过的视频记录，用于保存每辆通过匝道口 的集卡的图像信息。匝道口两侧安装了固定的摄像头，通过摄像头录入视频图像。然而 每辆集卡的信息如果都以视频文件保存的话，那势必要占很大的系统空间，因此需要把 每帧视频图像拆开并且拼接成完整的图像文件。 ^。

由于匝道口狭窄，每次仅能通过一辆集卡，使得安装的摄像头离集卡空间距离近，

加上安防的摄像头为了取得尽可能大的视角，采用了鱼眼失真的镜头（如图３．１所示），

使得人们看到的是畸变的图像。

因此利用图像拼接算法在ｍａｔｌａｂ计算机仿真环境下就可以拼接帧图像，使得集卡即 消除了鱼眼失真的效果，还能缩小文件占用的空间，从而能存下更多的集卡信息。

图３．１ 集装箱视频原始数据图像

由于图像具有鱼眼失真的特性，故不能直接进行图像拼接，主要可以用下列两种方 法来克服它的失真效果对拼接的影响：

１、对图像运用几何变换把鱼眼图像校正成不失真的图像。

２、截取每帧中间不失真的狭窄区域进行拼接。

对于第一种运用几何变换的方法，运算量比较大，并且每辆车离镜头的位置不同，

要有不同的变换参数，如果一旦前期在变换这一环节有误差，将会累计到下一步图像配 准的环节，这种的误差累计最终会导致误差更大，从而使得匹配错位。

对于第二种方法，我们仅仅截取图像中间非失真的区域把它当作正常图像来做，比 较简单，运算简便。故本文用第二种方法，但是截取的区域不宜过小，也不宜过大。如 果过小，前后两帧势必没有相关区域，因此无法用图像拼接算法处理；如果过大，使得 失真的部分也截取下来了，失真的部分不仅会对匹配结果带来误差，而且拼接完的图像 也会带有失真的现象，不是很美观。

原图大小为３８４ｘ ２８８，高的方向上是不会影响图像拼接的，所以取全部２８８个像素。

决定宽度的像素大小主要有两大因素：

第一是集卡通过匝道口的车速，车速过快势必连续两帧图像相位差较大，此时如果 截取宽度较小，两帧之间没有相关图像，匹配必定失败。

第二是图像采集的帧率，通常视频帧率为２４帧，而本文用到的集卡视频则低于２４ 帧。如果采集频率过低，势必也使相邻两帧图像没有任何相关关系，这样是无法进行图

像匹配的。 ，

对于第一个问题，发现车辆通过匝道口要减速且以基本匀速速度通过匝道口。在帧 率方面，调整摄像头帧率统一到４帧／秒。经过反复实验，宽度取以中间向左右各取５０ 个像素即１０１个像素，如图３．２（ａ）截取中间像素，成为待配准图像图３．２（ｂ）：

（ａ）原始图像数据 （ｂ）截取后待配准图像 图３．２截取待匹配图像

（ａ）前一帧图像 （ｂ） 后一帧图像 （ｃ）前两帧图像拼接结果 图３．３前后两帧图像拼接

的需要 找到与

图３．３（ａ）和（ｂ）分别为前后两帧截取的待匹配图像，通过模板匹配法找前后两帧的 相位关系，过程如下：

１．在纵坐标上把前一帧均匀分成２５个小块图像，高为１０个像素，每个小块即为 秽…

１０１×１０，从前一帧的末端每隔７个像素取一列，一共取３列作为待匹配的模板

ａＥｉ］［ｊ］，如图３．４所示，取出的图像是２５小块中一块，在图像尾部截取３列，

蓝色标记处即为待匹配模板。ｉ在纵坐标方向上２５个小块，值为１到２５，ａ Ｅｊ］

为一个模板，有３个像素行，１０个像素高。

图３．４待匹配图像模板

２． 对于后一帧，同样分为２５个小分块，与步骤一一样取３列模板ｂ［ｉ］［ｊ］［ｋ］，ｉ 表示一共有２５行，ｋ表示每一行从尾部遍历到头部，每一个ｂ［ｉ］［ｊ］与ａＥｉ］［ｊ］

取差的绝对值，存入Ｃ［ｋ］。

图３．５红色为搜索模板

３．第一行取完后，找到最小的值的位移量ｃｍｉｎ［ｋ］，如图３．５，在后一帧图像相同 位置截取相同大小图像做为搜索图，并且按照箭头方向逐个像素平移，当移至 蓝色部分时，绝对值最小，即匹配成功，位移量就是ｃｍｉｎ［ｋ］。全部遍历完总共 有２５个值，即２５个位移量。

４．对这２５个位移量进行统计，找出出现频率最多的位移值，过滤掉干扰值，这样 得到一个位移量Ｐ，最终定为这两帧的位移关系。

５．截取后一帧图像Ｐ个像素宽度图像，拼接至前一帧图像的后部，结果即为图 ３．３（ｃ）所示，从而完成了两帧图像匹配。

和传统模板匹配法不同的是，本文采用多个模板，用统计的方法找到两帧图像之间 的位移关系，单一模板匹配的话，或多或少会受到一些诸如噪声的误差而产生匹配出错，

多个模板统计方法可以把误差降到最低限度，对图像拼接算法的准确度有极大帮助。

相邻两帧匹配完成后，依次进行两两相邻图像帧的匹配，把匹配好的图像裁剪后依 次拼接到原始图像后面，得到完整的集卡图像。效果如图３．６所示：

由图３．６所示，通过模板匹配法拼接图像，图像没有明显接缝、失帧、多帧以及相 位关系误差等错误。这种基于模板匹配的算法虽然能解决图像拼接问题，但是在ｍａｔｌａｂ 环境下测得时间消耗上大约每个视频８秒左右，由于每帧图像要分成２５分块，每一块 需要做遍历运算，所以比较耗ＣＰＵ时间。

３．３基于Ｈａｒｒｉｓ角点算法匹配

用Ｈａｒｒｉｓ角点匹配的方法同样可以处理图像拼接问题。角点的定义是指在至少两 个方向上图像灰度变化均较大的点。轮廓的拐点、线段的末端等都是角点。角点特征具 有信息量丰富，便于测量和表示，能够适应环境光照变化等优点‘２^８１。

用角点匹配的方法来做图像拼接，首先要找到图像上所有符合角点定义的点。过程 如图３．７所示：

图３．７搜寻角点流程图

图３．８（ａ）（ｂ）即为搜寻出符合定义的角点。前后两帧的角点已经被标出，大多出现 在图像的灰度变化大的地方，这和角点定义相符合。

图像大部分相位信息集中在图像中部，即字与集装箱交界处。因此取图像中部部分 进行奇异值分解的角点匹配，匹配后的结果如图３．８（Ｃ），绿十字星到红十字星的连线 代表图像的相位关系，表示图像从第一帧到第二帧所移动的相位。

（ａ）前一帧图像角点位置 （ｂ）后一帧图像角点位置 （Ｃ）点与点之间匹配 图３．８前后两帧角点匹配图像

在匹配的过程中，不可避免的遇到匹配错误的情况，由于本图中仅仅在水平方向上

．１７－

进行了位移，所以遇到绿十字星到红十字星的连线不是水平的，即可判定其为错误的位 移关系，删除这对匹配点。对剩下来的点进行统计，找到出现频率最高的为最后的两帧 之间相位关系。结果拼接为图３．９所示。

图３．９ 拼接结果

Ｈａｒｒｉｓ角点匹配比起上节的模板匹配法有着抗干扰能力强的能力，不受光照、噪声 影响的优点，但是也有不足之处：

１．Ｈａｒｒｉｓ角点检测在对角点度量执行非极大值抑制，确定局部极大值时，角点提取 的效果完全依赖于单阈值的设定。由于式２．１７需要取一个阈值Ｋ，Ｋ的范围是 ０．０４’０．０６，～般取０．０４，因此Ｋ是一个经验值。阈值一大，就有可能丢失角点 信息；相反，阈值一小，会找到很多伪角点，所以这个值的把握比较困难。

２．Ｈａｒｒｉｓ角点匹配采用的是可调窗口的高斯平滑函数，但在实际应用中高斯窗口 的控制很难控制。如果选用较小窗口的高斯平滑函数，则会因为噪声的干扰导致 众多伪角点的出现；如果用较大窗口的高斯平滑函数，则会因为卷积的圆角效应 使得角点的位置产生偏移。

３．对于一些没有明显角点特征的图像，用Ｈａｒｒｉｓ角点匹配法无法进行准确的图像 匹配。如图３．１０中，仅在图像上部与下部搜寻到角点，然而对于真正存在相位 关系的集装箱箱体上并没有找到需要的角点信息，因此无法寻找图像之间的相 位关系。

图３．１０箱体无角点信息

．１８．

３．４傅里叶变换的相位相关法

基于傅里叶变换的相位相关法是目前应用比较广泛的图像配准算法，它是基于频域 分析，对图像与图像之间的包括平移、旋转和缩放关系进行准确的配准。在诸多图像匹 配的算法中，相位相关法有着比较强的抗噪声能力和计算量小的优势，，尤其对于那些 只有平移关系的图像，利用相位相关法能很快找到前后两帧图像之间的相位关系，从而 进行图像拼接［２９］。

图３．１１相邻两帧图像

对于前后相邻两帧图像，存在公共重叠相关的部分，如图３．１１所示，就可以用傅里 叶变换的相位相关法找到其相位关系，从而实现配准拼接过程，具体步骤如下：

１．读取前后两帧图像，分别对其灰度化。

２．分别对两幅图像进行二维傅里叶变换。

３．根据公式２．２５算出归一化互功率谱。

４．对归一化互功率谱反傅里叶变换，得到冲击函数，在最高峰值出即为两帧图像 的相位关系，如图３．１２，可以很明显看到冲击函数的位置，找到并读取相位关 系数值。

５．找到相位关系后，对后一帧图像进行裁剪，把公共部分图像根据两幅图的相位 关系裁去，剩余部分直接拼接到前一帧即可。

６．对于连续多帧图像，只要前后两帧两两用相位相关法找出相位关系，根据其相 位关系裁剪掉重叠部分，把有用的图像信息拼接到前一帧图像上，从而实现连

．１９．

续帧序列的拼接。最后拼接的效果图３．１３所示。

图３．１２归一化互功率谱傅里叶逆变换结果

１５０

图３．１３用相位相关法拼接的集卡图像

相位相关法利用频域下傅里叶变换的平移性质来检测图像间的平移矢量的，它较传 统的时域方法具有更强的噪声抑制能力和更高的检测精度，同时能够克服光照、灰度不 均、图像模糊等因素对检测结果的影响。图３．１３中用该方法拼接的图像没有明显拼接 痕迹，图像完整，并且消耗ＣＰＵ时间短，是一种比较常用的处理图像拼接的方法。

３．５实验数据分析

在ｍａｔｌａｂ仿真环境下的三种不同算法进行了效率参数测试，即测相邻两帧之间完成 一次图像匹配所耗费的时间，通过该参数来评估算法的性能，这些参数是在ｉｎｔｅｌ奔腾

４ ２．８ＧＨｚ，内存５１２ＭＢ的ＰＣ环境下测得的，参数表格如表３．１所示：

４

３

２

，

００

¨

∞

眈

叫

。瑚

模板匹配法 基于ＨａｒｒｉＳ角点算法匹配 傅里叶变换的相位相关法

ｌ ０．１７４９２４ １．０７０８７６ ０．０５７８５６

２ ０．１５００３８ １．０９３２８９ ０．０６３２０２

３ ０．１５２３３１ ０．９６４５９２ ０．０６５９０４

４ Ｏ．１４０９８５ １．０６５０８６ ０．０５９５３９

５ ０．１４６３７６ １．２７００００ ０．０６７０２９

６ ０．１４８６１８ １．０９６９４３ ０．０５１９３９

７ ０．１４３１２０ １．０３９１３５ ０．０５３５８１

８ ０．１４４４２７ １．２４８３３７ ０．０５５０６０

９ ０．１３４３９７ １．３０１９５２ ０．０５４７７０

１０ ０．１４８３２１ １．０５３８１０ ０．０５６６１４

平均耗时 ^{０．１４８３５３ １．１２０４０２ ０．０５８５４９}

表３．１效率参数（单位：秒）

从表中可以明显的看出，相位相关法运算速度最快，其次是模板匹配法，最后是基 于Ｈａｒｒｉｓ角点算法匹配。

３．６小结

本章介绍了三种不同图像拼接算法的计算机模拟仿真，基本实现了算法的功能，根 据实验数据的分析，提出相位相关法比起其他两种算法更适合移植到嵌入式系统中。本 文即采用此算法进行嵌入式系统的图像处理工作。

第四章 嵌入式系统下的图像拼接

随着半导体器件的发展，进入２０世纪９０年代后，嵌入式技术全面发展，在通信、

数据处理、’：自动控制、家庭娱乐等各个领域应用广泛，相比较传统的个人电脑，嵌入式 系统有以下几大优点“…：

１．嵌入式系统通常是面向特定应用的。嵌入式系统与通用型系统的最大不同之处 就是嵌入式系统大多工作在为特定用户群设计的系统中，它通常都具有低功耗、

体积小，集成度高等特点。

２．嵌入式系统是将计算机技术、半导体技术和电子技术与各个行业的具体应用相 结合后的产物，是一门综合技术学科。由于空间和各种资源相对不足，嵌入式 系统的硬件和软件都必须高效率地设计，量体裁衣、去除冗余，力争在同样的 硅片面积上实现更高的性能，这样才能在具体应用中对处理器的选择更具有竞 争力。

３．嵌入式系统和具体应用有机地结合在一起，它的升级换代也是和具体产品同步 进行的，因此嵌入式系统产品一旦进入市场，就具有较长的生命周期。

４．为了提高执行速度和系统可靠性，嵌入式系统中的软件一般都固化在存储器芯 片或单片机本身中，而不是存储于磁盘等载体中。

５．嵌入式系统本身不具备自主开发能力，即使设计完成以后用户通常也不能对其 中的程序功能进行修改，必须有一套开发工具和环境才能进行开发。

正是由于以上几大优势，嵌入式系统越来越得到人们的重视，越来越多的人倾向于 在嵌入式系统中做应用的开发。

本章针对第三章得出的结论，把相位相关法移植到嵌入式系统中，进行图像拼接，

实现基于嵌入式系统的图像处理功能。

４．１

Ｍｉｎｉ板硬件配置及搭建

本文采用的开发板是ＩＣＥＴＥＫ－ＯＭＡＰ３５３０一Ｍｉｎｉ，如图４．１所示，它是一个开放的 ＯＭＡＰ３５３０的硬件平台，它的设计思路的核心是：以ＴＩ最新的、高性能的ＡＲ^{Ｍ Ｃｏｒｔｅｘ} Ａ８处理器ＯＭａＰ３５３０为核心形成一个精简完备的计算机系统，对于一个小型系统来说，

做到“麻雀虽小，五脏俱全”。由于Ｍｉｎｉ板使用了标准接口，这就使它非常灵活地能扩 展连接许多ＰＣ标准设备。

图４．１ Ｏｍａｐ３５３０Ｍｉｎｉ开发板 Ｍｉｎｉ板的配置：

１．处理器 Ｏｔ４ＡＰ３５３０，主频６００删ｚ，Ｃｏｒｔｅｘ ^Ａ８ ２．存数器 ^{１Ｇｂ ＤＤＲ} ＳＤＲＡＭ（１２８ＭＢ），１３３ＭＨｚ

３．Ｆｌａｓｈ １Ｇｂ ＮＡＮＤ（１２８ＭＢ）

４． 调试接口 １４针ＪＴＡＧ（１．８Ｖ标准）、ＧＰＩＯ、通用串口、指示灯

５． 印刷电路板 六层板，７８．７４ｘ７６．２毫米（３０００ｘ３１００ｍｉ １）

６．指示灯 电源指示灯、复位指示灯、２个用户控制指示灯

７． 高速ＵＳＢ２．０ ^ＯＴＧ口 迷你ＵＳＢ接口，Ｍｉｎｉ型ＡＢ通用接口

８． 高速ＵＳＢ２．０ ^{ＨＯＳＴ口} 标准ＵＳＢ接口（Ａ口）

９．音频插座 立体声音频输入（３．５ ｍｍ）、立体声音频输出（３．５ ｍｍ）

１０．ＳＤ／Ｍ ＭＣ插座 ＳＤ／Ｍ ＭＣ，４／８ｂｉｔ兼容

１１．用户输入 复位按钮、１个用户按钮开关量输入 １２．显示接口 １个ＤＶＩ－Ｄ、１个复合视频

．２３．

１３．电源插座 直流电源输入、ＵＳＢ电源输入 １４．串行通信口插座 标准ＲＳ２３２“Ｄ’’型插座

１５．扩展接口（插针） ＭｃＢＳＰ、ＭｃＳＰＩ、１２Ｃ、ＧＰＩＯ、ＭＭＣ，以插针形式提供 其他配件如下：１７寸高清显示器、罗技Ｃ２００摄像头、ＵＳＢ ｈｕｂ、键盘、鼠标、读卡器

根据上述硬件设备，按照图４．２搭建硬件平台：

图４．２ 硬件系统搭建

液晶显示器为１７寸高清显示器，接口为ＤＶＩ－Ｄ，能直接与Ｍｉｎｉ开发板Ｊ１３接口相 连（见图４．１）。

ＵＳＢ集线器必须自带电源，与板子Ｊ１接口相连，另外拖出摄像头、鼠标、键盘，鼠 标和键盘都是常用的计算机鼠标和键盘，摄像头为罗技Ｃ２００。

图４．２中ＳＤ卡为Ｍｉｎｉ板保存系统的地方：板子上电后分别读取ＳＤ卡中的ＸＬＯＡＤＥＲ、

ＵＢＯＯＴ、文件系统，从而启动系统。

４．２软件开发环境的建立

本节主要介绍如何在Ｍｉｎｉ开发板上搭建软件系统。Ｍｉｎｉ板上跑的是ｌｉｎｕｘ系统。

因为Ｌｉｎｕｘ系统是一个被广泛的应用于嵌入式环境的开源操作系统，Ｍｉｎｉ板所用到的软 件一般均为免费和开源的，能在互联网上自由下载，这些软件稍经配置和修改后，就可 在Ｍｉｎｉ板上运行。因此本文上位机的开发环境为Ｕｂｕｎｔｕ，交叉编译工具为

ａｒｍ—ｎｏｎｅ—ｌｉｎｕｘ—ｇｎｕｅａｂｉ—ｇ＋＋，１ｉｎｕｘ内核为２．６．２８版本。