應用於車輛側邊安全輔助之影像偵測系統

國立交通大學

電機與控制工程學系

碩士論文

應用於車輛側邊安全輔助之影像偵測系統

Image-Based Motion Detection System for

Lateral Safety Assistance

研 究 生：陳宏宜

指導教授：宋開泰 博士

應用於車輛側邊安全輔助之影像偵測系統

Image-Based Motion Detection for Lateral Safety Assistance

研 究 生：陳宏宜

Student: Hung-Yi Chen

指導教授：宋開泰 博士

Advisor: Dr. Kai-Tai Song

國 立 交 通 大 學 電 機 與 控 制 工 程 學 系

碩 士 論 文

A Thesis

Submitted to Department of Electrical and Control Engineering College of Electrical and Computer Engineering

National Chiao Tung University in Partial Fulfillment of the Requirements

for the Degree of Master in

Electrical and Control Engineering July 2006

Hsinchu, Taiwan, Republic of China

應 用 於 車 輛 側 邊 安 全 輔 助 之 影 像 偵 測 系 統

學 生 :陳 宏 宜 指 導 教 授 :宋 開 泰 博 士 國 立 交 通 大 學 電 機 與 控 制 工 程 學 系

摘 要

本 論 文 發 展 一 套 應 用 於 車 輛 側 邊 安 全 之 影 像 偵 測 系 統 。 文 中 提 出 混 合 式 光 流 法 結 合 物 體 特 徵 點 之 影 像 運 動 偵 測 系 統 ， 此 系 統 可 在 移 動 環 境 之 連 續 影 像 中 分 割 出 疑 似 移 動 物 體 特 徵 ， 包 括 汽 車 和 機 車 。 本 論 文 運 用 CMOS 感 測 器 作 為 低 成 本 的 側 邊 安 全 偵 測 之 影 像 感 測 器 ， 及 採 用 Nios embedded p r o c e s s o r 將 此 偵 測 系 統 發 展 為 一 獨 立 式 裝 置。本 文 提 出 之 影 像 動 態 偵 測 法 則 ， 能 在 移 動 背 景 中 偵 測 移 動 物 體 特 徵 ， 在 經 由 安 全 性 分 析 使 本 系 統 能 適 時 發 出 警 示 資 訊 (聲 音 、 LED 顯 示 )提 醒 駕 駛 者 。 我 們 將 此 獨 立 式 系 統 置 於 車 中 進 行 實 際 測 試 。 測 試 之 結 果 顯 示 本 系 統 具 有 在 連 續 影 像 偵 測 出 疑 似 移 動 物 體 特 徵 之 位 置 和 相 對 應 的 光 流 特 性 ， 並 提 供 行 車 側 邊 之 安 全 輔 助 。

Image-Based Motion Detection for

Lateral Safety Assistance

St u d e n t : H u n g - Yi C h e n A d v i s o r : D r. K a i - Ta i S o n g D e p a r t me n t o f E l e c t r i c a l a n d C o n t r o l E n g i n e e r i n g N a t i o n a l C h i a o Tun g U n i v e r s i t y

ABSTRACT

I n t h i s t h es i s , a n i m a g e - b a s e d m o t i o n d e t e c t i o n s y s t e m h a s b e e n d e s i g n e d a n d r e a l i z e d f o r l a t e r a l d r i v i n g a s s i s t a n c e o f a v e h i c l e . We p r o p o s e d a f e a t u r e - b a s e d d e t e c t i o n s y s t e m , w h i c h c o mb i n e s w i t h a mi x e d o p t i c a l fl o w e s t i ma t i o n a l g o r i t h m f o r mot i o n d e t e c t i o n . T h e d e v e l o p e d s y s t e m c a n s e g me n t m o v i n g o b j e c t s f r o m a m o v i n g b a ck g r o u n d . T h e o b j e c t s c o n t a i n c a r s a n d m o t o r c y c l e s . We h a v e r e a l i z e d t h e s y s t e m i n a s t a n d - a l o n e i ma g e p r o c e s s i n g s y s t e m, w h i c h c a n o p e r a t e i n d e p e n d e n t l y o n t h e v e h i c l e u s i n g a C M O S i ma g e s e n s o r a n d N i o s e mb e d d e d p r o c e s s o r . E x p e r i m e n t a l r e s u l t s s h o w t h a t t h e p r o p o s e d m e t h o d s a r e e f f e c t i v e t o s e g me n t f e a t u r e s o f mov i n g o b j e c t s f r o m a m o v i n g b a c k g r o u n d f o r l a t e r a l s a f e t y a s s i s t a n c e .

誌 謝

謹 向 我 的 指 導 教 授 宋 開 泰 教 授 致 上 感 謝 之 意 ， 感 謝 他 兩 年 來 在 專 業 上 的 指 導 及 生 活 上 的 關 懷 ， 以 他 豐 富 的 學 識 與 經 驗 ， 配 合 理 論 的 應 用 ， 使 得 本 論 文 得 以 順 利 完 成 。 感 謝 與 我 共 同 奮 鬥 的 同 學 忠 憲 、 晉 懷 及 鎮 謙 的 相 互 鼓 勵 及 提 攜 ， 以 及 學 弟 濬 尉 、 振 暘 、 志 昇 、 俊 瑋 、 富 聖 及 裕 宏 在 研 究 上 提 供 了 很 多 協 助 ， 同 時 也 在 生 活 上 為 我 添 加 了 許 多 樂 趣 。 感 謝 實 驗 室 學 長 任 詔 、 奇 謚 及 嘉 豪 在 我 需 要 幫 忙 的 時 候 ， 適 時 給 予 我 研 究 上 的 寶 貴 建 議 和 理 論 上 的 指 導 。 最 後 ， 特 別 感 謝 我 的 父 母 及 兄 弟 ， 由 於 他 們 的 辛 苦 栽 培 ， 在 生 活 上 給 予 我 細 心 地 關 懷 與 照 料 ， 使 得 我 得 以 順 利 地 完 成 此 論 文 ， 在 此 我 願 以 此 論 文 獻 給 我 最 感 激 的 父 母 親 。

目 錄

中 文 摘 要 ... i 英 文 摘 要 ... ii 誌 謝 ... iii 目 錄 ...iv 圖 例 ...vi 表 格 ... x 第 一 章 緒 論 ... 1 1 . 1 研 究 動 機 . . . ... . ... . ... . ... . ... . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 1 1 . 2 相 關 研 究 回 顧 . ... . ... . ... . ... . ... . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 2 1 . 2 . 1 . 防 撞 技 術 的 現 況 ... . ... . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 3 1 . 2 . 2 . 車 輛 影 像 辨 識 相 關 研 究 回 顧 . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 7 1 . 3 問 題 描 述 . . . ... . ... . ... . ... . ... . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 9 1 . 4 論 文 組 織 . . . ... . ... . ... . ... . ... . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 9 第 二 章 運 動 偵 測 系 統 ... 11 2 . 1 光 流 估 測 ( O p t i c a l F l o w E s t i ma t i o n ) . . . 1 2 2 . 1 . 1 . 光 流 估 測 法 則 . ... . ... . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 1 2 2 . 1 . 2 . 混 合 式 光 流 估 測 法 則 . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . . 1 6 2 . 2 特 徵 擷 取 ( F e a t u r e D e t e c t i o n ) . . . 2 0 2 . 2 . 1 . 特 徵 邊 緣 偵 測 法 . ... . ... . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 2 0 2 . 2 . 2 . H a r r i s 角 點 偵 測 . . ... . ... . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 2 1 2 . 3 物 體 分 割 ( O b j e c t S e g me n t a t i o n ) . . . 2 3 2 . 3 . 1 . 道 路 場 景 分 析 . ... . ... . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 2 3 2 . 4 安 全 性 分 析 ( S a f e t y A n a l y s i s ) . . . 2 6 2 . 4 . 1 . 擴 散 焦 點 (FOE) 估 測 . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . . 2 8 第 三 章 獨 立 式 影 像 動 態 偵 測 系 統 ... 30 3 . 1 影 像 動 態 偵 測 系 統 之 硬 體 架 構 . . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . 3 0 3.2 CMOS 影 像 感 測 器 之 介 面 電 路 ... . 32 3 . 3 H a r r i s 角 點 偵 測 硬 體 電 路 ... . 34 3 . 4 N i o s 發 展 介 面 之 規 劃 與 設 計 ... . . 35 3 . 5 N i o s 之 軟 體 設 計 ... 3 9

3 . 5 . 1 . 內 部 中 斷 向 量 設 定 與 記 憶 體 存 取 . . .. . .. . . . .. . .. . . . .. . .. . . 3 9 3 . 5 . 2 . 特 徵 擷 取 . ... . ... . ... . ... . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . 3 9 3 . 5 . 3 . 光 流 估 測 . ... . ... . ... . ... . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . 4 0 3 . 5 . 4 . 物 體 分 割 . ... . ... . ... . ... . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . 4 1 3 . 5 . 5 . 安 全 性 分 析 ... . ... . ... . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 4 3 第 四 章 實 驗 結 果 ... 46 4 . 1 M a t l a b 模 擬 結 果 .. . ... . ... . ... . ... . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 4 7 4 . 1 . 1 . 安 全 偵 測 結 果 ... . ... . ... . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 4 7 4 . 1 . 2 . 安 全 偵 測 之 限 制 . ... . ... . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 5 1 4 . 2 獨 立 式 系 統 驗 證 . ... . ... . ... . ... . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . 5 4 4.2.1. CM OS 影 像 感 測 器 擷 取 之 實 驗 結 果 . . .. . . . .. . .. . . . .. . .. . . 5 5 4 . 2 . 2 . 特 徵 擷 取 之 實 驗 結 果 .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . . . 5 6 4 . 2 . 3 . 光 流 估 測 之 實 驗 結 果 .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . . . 5 6 4 . 3 實 車 測 試 結 果 . . ... . ... . ... . ... . ... . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 5 8 4 . 3 . 1 . 狀 況 一 . ... . ... . ... . ... . ... . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 5 9 4 . 3 . 2 . 狀 況 二 . ... . ... . ... . ... . ... . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 6 0 4 . 3 . 3 . 狀 況 三 . ... . ... . ... . ... . ... . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 6 2 4 . 4 實 驗 討 論 . . . ... . ... . ... . ... . ... . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . 6 3 第 五 章 結 論 與 未 來 展 望 ... 64 5 . 1 結 論 . . . .. . ... . ... . ... . ... . ... . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 6 4 5 . 2 未 來 展 望 . . . .. . ... . ... . ... . ... . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . . .. . .. . . 6 5 參 考 文 獻 ... 66 附 錄 A Nios Development Kit, Stratix Edition 規 格 ... 68 附 錄 B ICM 205B 之 規 格 ... 69

圖 例

圖 1-1 TOYOTA ASV 架 構 圖 ... 3 圖 1-2 HONDA ASV-2 實 驗 一 號 車 和 二 號 車 ... 4 圖 1-3 NISSAN ASV 架 構 圖 ... 5 圖 1-4 SUZUKI ASV-2 架 構 圖 ... 6 圖 1-5 VOLVO BLIS 示 意 圖 ... 7 圖 1-6 側 視 鏡 可 視 範 圍 與 Blind Zone 示 意 圖 ... 8 圖 2-1 系 統 架 構 圖 ... 11 圖 2-2 微 分 法 光 流 估 測 的 明 亮 限 制 線 ... 14 圖 2-3 關 聯 性 光 流 估 測 法 ... 15 圖 2-4 光 流 計 算 流 程 圖 ... 16 圖 2-5 計 算 Ix 1、 Iy 1、 Ix 2、 Iy 2和 Et 所 使 用 的 Sobel mask ... 17 圖 2-6 (a)影 像 原 始 圖 ... 19 ( b ) 為 ( a ) 影 像 特 徵 擷 取 之 結 果 圖 2-7 明 亮 限 制 線 81 組 光 流 向 量 可 能 性 之 計 算 結 果 ... 19 圖 2-8 關 聯 性 光 流 估 測 法 SSD 之 計 算 結 果 ... 19 圖 2-9 混 合 式 光 流 估 測 法 之 結 果 ... 19 圖 2-10 特 徵 點 選 取 之 示 意 圖 ... 20 圖 2-11 局 部 區 塊 在 影 像 中 的 位 置 [18] ... 21 圖 2-12 道 路 場 景 分 析 (側 視 圖 ) ... 24 圖 2-13 道 路 場 景 分 析 (上 視 圖 ) ... 24 圖 2-14 (a)側 車 接 近 本 車 之 光 流 流 動 方 式 ... 24 ( b ) 背 景 物 體 之 光 流 流 動 方 式 圖 2-15 為 圖 2-9 依 光 流 特 性 將 特 徵 點 統 計 之 結 果 ... 25 圖 2-16 具 有 相 同 光 流 資 訊 u 值 的 特 徵 點 ， ... 25 在 ( a ) 座 標 x 軸 與 ( b ) y 軸 方 向 之 分 布 情 形 圖 2-17 物 體 分 割 之 結 果 ... 26 圖 2-18 背 景 和 道 路 之 光 流 ， 水 平 分 量 必 朝 右 ... 28 圖 2-19 取 I,IV 象 限 各 ㄧ 個 光 流 求 FOE ... 28 圖 2-20 延 伸 兩 條 背 景 光 流 之 交 點 即 為 FOE 的 位 置 ... 29 圖 2-21 直 線 A 以 下 為 道 路 平 面 區 域 估 測 之 結 果 ... 29

圖 3-1 影 像 動 態 偵 測 系 統 之 硬 體 架 構 圖 ... 31 圖 3-2 ICM205B 之 外 觀 ... 32 圖 3-3 輸 出 影 像 格 式 [23] ... 33 圖 3-4 ICM205B 輸 出 腳 位 圖 [23] ... 33 圖 3-5 School Boy 研 發 電 路 板 之 外 觀 ... 35 圖 3-6 Harris 角 點 偵 測 之 腳 位 [4] ... 35

圖 3-7 Nios Development Kit, Stratix Edition ... 36

圖 3-8 SOPC 之 操 作 介 面 ... 37 圖 3-9 DMA 運 作 示 意 圖 [26] ... 37 圖 3-10 DMA 內 部 設 定 ... 38 圖 3-11 Circular Buffer 示 意 圖 ... 39 圖 3-12 光 流 流 動 方 式 之 統 計 結 果 ... 40 圖 3-13 u,v 搜 尋 範 圍 示 意 圖 ... 41 圖 3-14 光 流 搜 尋 範 圍 為 -7≦ u,v≦ 7 和 其 物 體 分 割 之 結 果 ... 42 圖 3-15 光 流 搜 尋 範 圍 為 -7≦ u≦ 1, -3≦ v≦ 1 和 其 物 體 分 割 之 結 果 ... 42 圖 3-16 第 一 類 側 車 行 為 示 意 圖 ... 43 圖 3-17 第 二 類 側 車 行 為 示 意 圖 ... 44 圖 3-18 Image_right 區 域 位 置 示 意 圖 ... 44 圖 3-19 Image_down 區 域 位 置 示 意 圖 ... 44 圖 3-20 第 三 類 側 車 行 為 示 意 圖 ... 45 圖 4-1 影 像 運 動 偵 測 獨 立 式 系 統 之 外 觀 ... 46 圖 4-2 背 景 (1)偵 測 結 果 之 ㄧ ... 48 圖 4-3 背 景 (1)偵 測 結 果 之 二 ... 48 圖 4-4 背 景 (2)偵 測 結 果 之 ㄧ ... 48 圖 4-5 背 景 (2)偵 測 結 果 之 二 ... 48 圖 4-6 機 車 (1)偵 測 結 果 之 ㄧ ... 49 圖 4-7 機 車 (1)偵 測 結 果 之 二 ... 49 圖 4-8 機 車 (1)偵 測 結 果 之 三 ... 49 圖 4-9 機 車 (1)偵 測 結 果 之 四 ... 49 圖 4-10 機 車 (2)偵 測 結 果 之 ㄧ ... 49 圖 4-11 機 車 (2)偵 測 結 果 之 二 ... 49 圖 4-12 機 車 (2)偵 測 結 果 之 三 ... 50

圖 4-13 機 車 (2)偵 測 結 果 之 四 ... 50 圖 4-14 機 車 (3)偵 測 結 果 之 ㄧ ... 50 圖 4-15 機 車 (3)偵 測 結 果 之 二 ... 50 圖 4-16 機 車 (3)偵 測 結 果 之 三 ... 50 圖 4-17 機 車 (3)偵 測 結 果 之 四 ... 50 圖 4-18 機 車 (3)偵 測 結 果 之 五 ... 51 圖 4-19 機 車 (3)偵 測 結 果 之 六 ... 51 圖 4-20 轎 車 (1)偵 測 結 果 之 ㄧ ... 51 圖 4-21 轎 車 (1)偵 測 結 果 之 二 ... 51 圖 4-22 轎 車 (2)偵 測 結 果 之 ㄧ ... 51 圖 4-23 轎 車 (2)偵 測 結 果 之 二 ... 51 圖 4-24 轎 車 (1)偵 測 結 果 之 三 ... 52 圖 4-25 轎 車 (1)偵 測 結 果 之 四 ... 52 圖 4-26 轎 車 (2)偵 測 結 果 之 三 ... 52 圖 4-27 轎 車 (2)偵 測 結 果 之 四 ... 52 圖 4-28 機 車 (4)偵 測 結 果 之 ㄧ ... 53 圖 4-29 機 車 (4)偵 測 結 果 之 二 ... 53 圖 4-30 機 車 (5)偵 測 結 果 之 ㄧ ... 53 圖 4-31 機 車 (5)偵 測 結 果 之 二 ... 53 圖 4-32 機 車 (6)偵 測 結 果 之 ㄧ ... 53 圖 4-33 機 車 (6)偵 測 結 果 之 二 ... 53 圖 4-34 機 車 (6)偵 測 結 果 之 三 ... 54 圖 4-35 機 車 (6)偵 測 結 果 之 四 ... 54 圖 4-36 Nios SDK Shell 執 行 程 式 的 主 選 單 和 影 像 系 統 選 單 畫 面 ... 55 圖 4-37 CMOS 室 內 取 像 結 果 ... 55 圖 4-38 CMOS 道 路 取 像 結 果 ... 55 圖 4-39 影 像 邊 緣 偵 測 和 角 點 偵 測 結 果 ... 56 圖 4-40 特 徵 點 光 流 估 測 結 果 ... 57 圖 4-41 光 流 估 測 結 果 之 一 ... 57 圖 4-42 光 流 估 測 結 果 之 二 ... 58 圖 4-43 影 像 運 動 偵 測 系 統 置 於 實 車 內 的 情 況 ... 58 圖 4-44 系 統 警 示 LED 燈 未 亮 ... 59

圖 4-45 狀 況 一 之 實 車 測 試 結 果 ... 60 圖 4-46 狀 況 二 之 實 車 測 試 結 果 ... 61 圖 4-47 狀 況 三 之 實 車 測 試 結 果 ... 62

表 格

表 1 Nios 系 統 所 規 畫 的 元 件 ... 38

表 2 圖 4-2~4-23， Matlab 實 驗 結 果 之 數 據 統 計 ... 48

表 3 本 影 像 偵 測 系 統 之 處 理 效 能 ... 63

第 一 章 緒 論

1.1 研 究 動 機

當 車 輛 帶 給 人 們 舒 適 便 利 的 同 時 也 帶 來 許 多 問 題 [1][2] ， 例 如 : 中 國 大 陸 在 一 年 中 就 有 9 萬 2 千 人 死 於 交 通 事 故 。 根 據 調 查 顯 示 ， 發 現 80%交 通 事 故 是 由 於 駕 駛 者 來 不 及 反 應 ， 超 過 65%的 意 外 是 車 輛 尾 部 追 撞 ， 其 餘 的 則 是 車 輛 側 邊 的 撞 擊 。 調 查 也 發 現 如 果 駕 駛 者 能 夠 提 早 一 秒 以 內 知 道 危 險 狀 況 ， 那 麼 將 會 有 90%意 外 狀 況 將 可 以 避 免 。 這 些 交 通 事 故 不 僅 造 成 個 人 及 家 庭 的 負 擔 ， 更 是 社 會 有 限 醫 療 資 源 及 國 家 生 產 力 的 損 失 。 為 了 避 免 交 通 意 外 事 故 帶 給 人 們 的 傷 害 ， 同 時 也 為 了 增 進 「 行 」 的 便 利 。 智 慧 型 運 輸 系 統 (Intelligent Transportation Systems，ITS)已 引 起 廣 泛 的 研 究 與 討 論。智 慧 型 運 輸 系 統 的 目 的 是 為 了 解 決 當 前 日 益 繁 忙 的 交 通 問 題 ， 而 其 主 要 的 概 念 是 結 合 先 進 的 軟 硬 體 技 術 及 交 通 學 理 ， 以 期 對 運 輸 系 統 的 整 體 運 作 ， 達 到 即 時 性 、 動 態 化 及 自 動 化 的 效 果 。 另 一 方 面 ， 由 於 安 全 與 舒 適 的 考 量 ， 汽 車 已 朝 著 智 慧 型 車 輛 的 方 向 發 展。智 慧 型 車 輛 係 藉 由 先 進 之 電 腦、資 訊、 電 子 、 通 訊 與 感 測 等 科 技 的 應 用 ， 透 過 所 提 供 即 時 資 訊 的 溝 通 與 連 結 ， 以 改 善 人 、 車 、 路 等 運 輸 次 系 統 間 的 互 動 關 係 ， 進 而 增 進 運 輸 系 統 之 安 全 、 效 率 與 舒 適 。 目 前 對 於 先 進 科 技 提 昇 車 輛 安 全 性 能 的 研 發 計 畫 有 許 多 不 同 的 名 稱 ， 例 如 先 進 安 全 車 輛 (Advanced Safety Vehicle，ASV)、智 慧 型 車 輛 (Intelligent Ve hi cl e ， I V) 、 先 進 車 輛 控 制 與 安 全 系 統 ( A d v a nc e d Ve hi c l e C o n t r ol a nd Safety Systems ， AVCSS) 等 [ 3 ]。 其 中 在 先 進 車 輛 控 制 與 安 全 系 統 的 研 究 重 點 大 都 致 力 於 如 何 避 免 行 車 意 外 的 發 生 [4]，而 先 進 車 輛 控 制 與 安 全 系 統 可 以 是 駕 駛 人 的 行 車 輔 助 系 統 (Driver assistant systems)或 是 自 主 式 車 輛 系 統 (Autonomous vehicle systems) 。 行 車 輔 助 系 統 能 偵 測 行 車 周 圍 的 其 他 車 輛 及 障 礙 物 、 道 路 狀 況 以 及 駕 駛 人 的 精 神 狀 況 等 等 ， 當 一 有 可 能 的 危 險 發 生 時 ， 如 其 他 車 輛 或 障 礙 物 的 接 近 、 駕 駛 人 的 精 神 狀 況 不 佳 ， 行 車 輔 助 系 統 會 適 時 的 發 出 提 醒 資 訊 ( 聲 音 、 燈 號 顯 示 ) 提 醒 駕 駛 人 。 自 主 式 車 輛 系 統 更 可 不 需 經 過 駕 駛 人 的 操 控 ， 維 持 行 車 的 安 全 ， 避 免 危 險 的 發 生 。

AVCSS 相 關 技 術 包 括 ： 防 撞 警 示 系 統 、 車 道 偏 離 警 示 系 統 、 智 慧 型 照 明 系 統 等 等 ， 其 主 要 特 色 是 結 合 感 測 器 、 電 腦 、 通 訊 、 電 機 及 控 制 技 術 應 用 於 車 輛 及 道 路 設 施 上 [5]， 協 助 駕 駛 人 提 高 行 車 安 全 性 ， 彌 補 駕 駛 人 因 判 斷 錯 誤 或 技 術 不 足 所 造 成 的 疏 失 。 其 關 鍵 技 術 便 是 感 測 器 的 可 靠 性 ， 目 前 國 內 外 相 關 研 究 多 數 使 用 到 的 感 測 器 ， 如 超 音 波 感 測 器 、 微 米 波 雷 達 及 雷 射 (紅 外 線 )、 影 像 感 測 器 CCD、 CMOS， 其 中 超 音 波 感 測 器 與 紅 外 線 感 測 器 的 測 量 距 離 短 且 易 受 天 候 影 響 而 產 生 雜 訊 ， 而 微 米 波 雷 達 雖 然 量 測 距 離 長 且 不 會 受 到 天 候 影 響 其 效 能 ， 但 是 微 米 波 雷 達 的 價 格 貴 、 體 積 大 、 解 析 度 低 、 技 術 層 次 高 卻 成 為 它 的 缺 點 ， 要 成 為 一 般 中 小 型 房 車 的 安 全 配 備 ， 低 成 本 的 感 測 器 為 本 研 究 之 優 先 考 量。影 像 感 測 器 中 的 CMOS 感 測 器 由 於 其 整 合 性 高 ， 可 以 將 後 端 的 處 理 單 元 一 起 整 合 至 單 一 晶 片 上 ， 進 而 加 快 處 理 時 間 而 達 到 即 時 (Real time)的 效 能 ， 故 其 發 展 十 分 值 得 重 視 [7]。 一 般 車 輛 由 於 後 視 鏡 和 側 視 鏡 的 可 視 範 圍 之 外 往 往 還 有 許 多 視 覺 角 度 上 的 盲 點 ， 使 得 駕 駛 者 在 變 換 車 道 或 超 越 前 車 時 無 法 正 確 地 判 斷 其 安 全 性 ， 而 駕 駛 者 也 因 此 會 短 暫 地 轉 移 前 視 的 注 意 力 到 車 輛 側 後 方 去 確 定 是 否 有 其 他 車 輛 存 在 。 除 此 之 外 ， 下 雨 天 、 起 霧 和 夜 晚 時 視 線 能 見 度 變 差 ， 更 是 降 低 了 後 視 鏡 和 側 視 鏡 的 功 能 。 而 汽 車 側 邊 防 撞 是 屬 於 安 全 預 防 的 一 環 ， 是 利 用 先 進 安 全 車 輛 上 的 感 測 器 對 車 輛 兩 側 周 圍 的 環 境 作 一 偵 測 ， 進 而 得 到 其 與 鄰 車 的 環 境 資 訊 ， 當 駕 駛 者 任 意 超 越 前 車 或 變 換 車 道 情 形 時 ， 若 有 危 險 便 發 出 警 示 ， 避 免 意 外 的 發 生 ， 增 進 行 車 安 全 。 因 此 本 論 文 將 運 用 CMOS 感 測 器 作 為 低 成 本 的 側 邊 安 全 偵 測 之 影 像 感 測 系 統 ， 設 計 出 影 像 動 態 偵 測 法 則 ， 使 能 在 移 動 背 景 中 偵 測 移 動 物 體 ， 並 適 時 發 出 提 醒 資 訊 (聲 音 、 LED 顯 示 )提 醒 駕 駛 者 。

1.2 相 關 研 究 回 顧

開 發 車 輛 安 全 輔 助 系 統 來 改 善 駕 駛 者 的 安 全 與 舒 適 是 現 今 智 慧 型 車 輛 設 計 者 的 一 大 挑 戰 ， 其 中 關 鍵 技 術 之 ㄧ 是 藉 由 捕 獲 視 訊 影 像 和 影 像 處 理 來 了 解 車 輛 四 周 狀 況 ， 稱 之 為 車 輛 視 覺 (Car vision)[9]。 以 攝 影 機 為 基 礎 的 夜 間 視 覺 、 停 車 輔 助 系 統 、 道 路 偏 移 警 示 系 統 、 死 角 偵 測 已 經 實 際 應 用 在 大 眾 運 輸 車 輛 。 令 人 期 待 的 車 道 變 換 和 操 作 輔 助 系 統 也 將 在 困 難 的 交 通 情 況

下 輔 助 駕 駛 人 ； 而 智 慧 型 交 談 式 人 機 介 面 將 幫 助 駕 駛 人 集 中 於 必 要 的 行 車 資 訊 ， 控 制 車 輛 反 應 快 速 。 在 車 輛 視 覺 裝 置 方 面，單 色 VGA 影 像 感 測 器 搭 配 50Hz 處 理 器 其 資 料 傳 輸 率 可 達 每 秒 15Mbyte， 實 用 上 是 可 行 的 。 且 根 據 單 一 車 輛 視 覺 所 能 捕 捉 的 視 野 ， 盡 可 能 的 發 揮 它 的 應 用 功 能 ， 可 大 大 減 少 系 統 成 本 。 而 且 ， 在 未 來 的 安 全 車 輛 架 構 中 ， 視 覺 系 統 應 結 合 其 他 感 測 器 所 得 資 訊 以 增 加 其 可 靠 度 。

1.2.1. 防 撞 技 術 的 現 況

目 前 防 撞 技 術 大 多 整 合 於 ASV 之 計 畫 中，而 其 所 使 用 的 防 撞 技 術 多 為 整 合 性 的 系 統 ， 即 結 合 了 超 音 波 、 毫 米 波 雷 達 、 雷 射 、 影 像 感 測 等 系 統 ， 而 非 只 使 用 單 一 技 術 。 其 現 有 的 發 展 的 現 況 分 述 如 下 ： 資 料 來 源 h t t p : / / w w w. t o y o t a . c o . j p / e n / t e c h / i t s / p r o g r a m/ f u t u r e / t i e _ u p . h t ml 圖 1-1 TOYOTA ASV 架 構 圖 （ 一 ） TOYOTA ASV-2 此 系 統 利 用 立 體 攝 影 機 與 掃 描 式 毫 米 波 雷 達 偵 測 前 方 車 輛 或 障 礙 物 的 距 離 與 相 對 速 度 ， 並 且 估 計 前 方 車 輛 或 障 礙 物 的 加 速 度 或 減 速 度 。 使 用 減 速 感 測 器 與 輪 胎 速 度 感 測 器 偵 測 道 路 斜 率 與 輪 胎 路 面 間 最 大 摩 擦 係 數 ， 並

將 資 訊 傳 送 至 電 子 控 制 單 元 (Electronic Control Unit, ECU)。 當 電 子 控 制 單 元 判 斷 有 立 即 危 險 或 碰 撞 發 生 ， 系 統 將 會 警 示 駕 駛 者 ， 如 果 駕 駛 者 已 經 踩 煞 車 ， 則 由 智 慧 型 煞 車 系 統 輔 助 煞 車 ； 如 果 駕 駛 者 未 採 取 任 何 行 動 ， 系 統 將 自 動 採 煞 車 。 資 料 來 源 ： h t t p : / / w w w. h o n d a . c o . j p / f a c t b o o k / a u t o / s a f e t y / 2 0 0 0 0 5 1 0 /0 0 3 . h t ml 圖 1-2 HONDA ASV-2 實 驗 一 號 車 和 二 號 車 （ 二 ） HONDA ASV-2 一 號 實 驗 車 HONDA ASV- 2 計 畫 中 的 一 號 實 驗 車 ， 其 主 要 的 研 究 目 標 即 為 防 撞 系 統 ， 其 所 使 用 的 系 統 包 括 ： 1. 車 道 偏 離 警 示 及 輔 助 系 統 使 用 CCD 攝 影 機 偵 測 車 道 標 線 來 輔 助 駕 駛 人 行 駛 於 車 道 中 央 。 2. 適 應 行 駛 控 制 系 統 使 用 毫 米 波 雷 達 主 動 偵 測 主 車 與 前 車 的 距 離 與 相 對 速 度，以 維 持 最 佳 適 當 車 距 。 3. 撞 擊 速 度 減 緩 系 統 此 系 統 能 夠 比 駕 駛 人 更 快 偵 測 到 潛 在 的 碰 撞 危 險，並 且 發 出 警 示 訊 息。當 駕 駛 人 沒 有 採 取 任 何 煞 車 動 作 以 避 開 危 險 時，則 系 統 會 自 動 煞 車 以 減 低 碰 撞 速 度 。

（ 三 ） NISSAN ASV NISSAN ASV 實 驗 車 配 置 了 很 多 先 進 感 測 器 ， 其 所 使 用 的 系 統 包 括 ： 1. 睡 意 警 告 系 統 在 儀 表 板 上 裝 設 的 影 像 感 測 器 可 以 監 測 駕 駛 狀 況，並 且 發 出 警 告 以 避 免 駕 駛 者 在 行 駛 中 打 瞌 睡 。 2. 夜 間 行 人 監 控 系 統 此 系 統 可 偵 測 行 人 所 發 出 的 紅 外 線，並 告 知 駕 駛 者；儀 表 板 上 會 顯 示 所 偵 測 到 的 行 人 方 向，讓 駕 駛 者 很 容 易 就 可 以 發 現 需 要 注 意 的 區 域 。 3. 周 邊 危 險 告 知 (緊 急 煞 車 提 前 告 知 系 統 ) 本 系 統 會 根 據 前 方 狀 況、煞 車 中 車 輛 的 速 度、踏 板 動 作 等 等 資 訊 來 分 析 ， 煞 車 燈 會 在 駕 駛 踩 煞 車 之 前 就 亮 起 ， 給 予 後 方 車 輛 警 告 。 4. 障 礙 物 警 報 系 統 ： 本 系 統 會 根 據 和 障 礙 物 (如 前 方 或 後 方 的 車 輛，或 者 路 上 的 掉 落 物 ) 的 距 離 來 啟 動 警 報 系 統 提 醒 駕 駛 者 。 資 料 來 源 ： h t t p : / / w w w. n i s s a n . c o . j p / ms 9 5 / f u tu r e / t e c h n o / s a f e t y / a s v - t e c h . h t ml 圖 1-3 NISSAN ASV 架 構 圖

（ 四 ） SUZUKI ASV-2 此 系 統 利 用 雷 射 掃 瞄 儀 偵 測 車 間 距 離 與 相 對 車 速 ， 因 此 ， 比 其 他 同 型 系 統 會 有 較 低 的 失 誤 率 。 如 果 駕 駛 者 在 警 示 一 段 時 間 後 仍 沒 有 採 取 行 動 ， 系 統 會 自 動 煞 車 。 且 透 過 自 動 控 制 油 門 與 煞 車 ， 配 合 與 前 車 的 距 離 與 相 對 速 度 ， 使 車 輛 與 前 車 保 持 固 定 的 安 全 距 離 ， 而 在 過 彎 或 變 換 車 道 時 ， 系 統 則 會 經 由 裝 設 在 側 邊 後 照 鏡 上 的 距 離 偵 測 器 和 CCD 攝 影 機 及 計 算 距 離 的 立 體 影 像 系 統 ， 以 偵 測 後 邊 來 車 的 距 離 與 速 度 。 資 料 來 源 ：h t t p : / / w w w. g l o b a l s u z u k i . c o m / c o r p _ i n f o / p d f / k a n k y o 2 0 0 1 _ e . p d f 圖 1-4 SUZUKI ASV-2 架 構 圖 綜 合 現 今 之 防 撞 技 術 ， 世 界 各 大 廠 及 學 術 單 位 都 積 極 展 開 研 究 ， 其 中 以 行 車 危 險 警 示 及 危 險 閃 避 系 統 更 是 發 展 重 點 之 ㄧ 。 各 廠 商 對 於 前 方 或 後 方 障 礙 物 的 辨 識 都 已 提 出 完 善 的 車 輛 防 撞 機 制 ， 但 對 於 側 邊 防 撞 機 制 卻 仍 然 相 對 較 少 。 NISSAN ASV 在 左 右 後 視 鏡 架 設 CCD Camera 來 偵 測 側 邊 障 礙 物 ， 並 在 車 輛 左 右 後 方 側 邊 裝 配 尾 端 障 礙 物 雷 達 偵 測 。 Volvo 也 提 出 視 覺 盲 點 資 訊 系 統 (Blind Spot Information System， BLIS)， 在 兩 側 的 後 視 鏡 上 各 安 裝 數 位 攝 影 機，此 攝 影 機 可 每 秒 拍 攝 25 張 畫 面，並 透 過 畫 面 比 對 的 先 進 技 術 ， BLIS 會 在 車 身 四 周 形 成 長 9.5 公 尺 長 ， 寬 3 公 尺 的 警 示 區 域 中 隨 時 做 出 反 應 。 無 論 汽 車 或 機 車 ， 白 天 或 黑 夜 ，BLIS 都 能 精 準 監 控 所 有 接 近 車 身 的 物 體 ， 只 要 行 車 速 度 超 過 每 小 時 10 公 里 ， BLIS 就 會 自 行 啟 動 ， 若 在 警 示 區 域 內 遭 遇 比 自 身 時 速 慢 20 公 里 或 是 快 70 公 里 以 內 的 移 動 物 體 ， 便 會 向 駕 駛 者 做 出 提 醒 ， 突 顯 出 側 邊 防 撞 機 制 的 重 要 性 。

資 料 來 源 ：

h t t p : / / w w w. v o l v o c a r s . n l / S h o w r o o m / Vo l v o + B L I S + ( B l i n d + S p o t + I n f o r m a t i o n + S y s t e m ) . h t m

圖 1-5 VOLVO BLIS 示 意 圖

1.2.2. 車 輛 影 像 辨 識 相 關 研 究 回 顧

許 多 研 究 成 果 在 視 覺 為 基 礎 的 文 獻 中 被 提 出 來 [10]。 相 關 研 究 可 大 略 分 成 三 種 方 法 ： 基 於 特 徵 法 (Feature based ） 之 追 蹤 、 基 於 模 型 法 (Model based） 之 追 蹤 和 基 於 光 流 法 (Optic flow based)之 估 測 。

基 於 特 徵 法 之 追 蹤 [11] ， 係 利 用 車 輛 的 特 徵 如 車 牌 的 大 小 比 例 關 係 、 車 輛 幾 何 對 稱 等 等 ， 減 少 處 理 程 序 的 資 料 量 ， 持 續 追 蹤 比 對 特 徵 來 了 解 移 動 物 體 狀 況 。 但 是 ， 如 何 在 偵 測 物 體 上 選 擇 明 顯 的 特 徵 且 在 時 間 與 空 間 上 要 穩 定 呈 現 是 相 當 困 難 的 。 除 此 之 外 ， 由 於 資 料 量 減 少 ， 辨 識 的 誤 差 容 易 變 大 。 Leuven et al 提 出 基 於 模 型 法 的 即 時 影 像 追 蹤 系 統 [13 ]。 事 實 上 ， 車 輛 的 形 式 不 可 能 完 全 一 樣 ， 只 靠 少 部 份 模 型 建 立 比 對 很 難 追 蹤 成 功 。 為 了 描 述 一 般 車 輛 模 型 ， Gardner et al 提 出 使 用 六 個 自 由 度 參 數 來 表 示 車 輛 模 型 [12] ， 然 而 這 樣 的 方 法 不 適 用 全 自 主 式 車 輛 輔 助 系 統 。 光 流 的 發 生 主 要 來 自 於 攝 影 機 與 環 境 物 體 之 間 的 相 對 運 動 ， 使 得 所 獲 得 的 連 續 影 像 的 影 像 強 度 (Image intensity)產 生 時 間 空 間 上 的 位 移 變 化 ， 利

用 移 動 物 體 與 背 景 移 動 速 度 的 不 同 ， 把 移 動 物 體 從 背 景 分 離 出 來 。 因 此 從 時 間 空 間 上 的 影 像 強 度 樣 本 可 以 計 算 出 3D 空 間 中 的 表 面 點 速 度 投 射 在 2D 影 像 平 面 上 的 速 度 場 近 似 值 ， 進 而 求 出 物 體 相 對 於 觀 察 者 的 深 度 、 環 境 結 構 與 距 離 速 度 比 ， 即 發 生 碰 撞 所 需 時 間 等 參 數 。 光 流 估 測 法 則 大 致 可 以 分 四 類 [14]： 微 分 法 (Differential-based)、 關 聯 性 法 (Correlation-based)、 能 量 法 (Energy-based)及 相 位 法 (Phase-based)， 大 部 分 的 研 究 學 者 都 是 基 於 微 分 法 或 關 聯 性 法 這 兩 種 光 流 估 測 法 則 的 觀 念 來 衍 生 出 新 的 法 則 或 者 進 行 效 能 的 改 善 ， 如 結 合 邊 緣 資 訊 [15]、 彩 色 資 訊 [16]或 Kalman Snakes[17]， 利 用 移 動 物 體 與 背 景 移 動 的 速 度 不 同 ， 把 移 動 物 體 從 背 景 中 分 離 出 來 。 光 流 法 的 一 個 優 點 是 可 以 結 合 較 多 的 資 料 使 光 流 法 更 強 健 。 然 而 ， 其 缺 點 在 於 此 法 需 要 每 秒 較 多 的 圖 像 數 與 較 高 的 影 像 解 析 度 來 確 保 結 果 的 正 確 。 黃 瑞 祥 的 混 合 式 光 流 估 測 法 則 是 利 用 微 分 法 及 關 連 性 法 的 綜 合 來 做 計 算 [8]， 因 為 不 論 是 微 分 法 或 是 關 聯 性 法 ， 皆 需 要 十 分 龐 大 的 計 算 量 ， 如 果 沒 有 效 能 極 佳 的 運 算 裝 置 ， 很 難 完 成 如 此 龐 大 的 計 算 ， 因 此 黃 瑞 祥 提 出 將 這 兩 種 方 法 結 合 的 一 種 混 合 式 光 流 估 測 法 ， 如 此 一 來 可 以 減 低 資 料 的 計 算 量 ， 卻 也 可 以 達 到 一 定 效 能 。 但 是 黃 瑞 祥 學 長 使 用 連 續 影 像 的 邊 緣 資 訊 作 為 所 需 要 計 算 的 光 流 的 特 徵 點 ， 對 於 即 時 影 像 系 統 而 言 仍 然 計 算 量 龐 大 。 圖 1-6 側 視 鏡 可 視 範 圍 與 Blind Zone 示 意 圖

1.3 問 題 描 述

一 般 車 輛 由 於 後 視 鏡 和 側 視 鏡 的 可 視 範 圍 之 外 往 往 還 有 許 多 視 覺 角 度 上 的 盲 點 ， 如 圖 1-6 所 示 ， 若 Blind Zone 區 域 有 其 他 車 輛 經 過 ， 使 得 駕 駛 者 在 變 換 車 道 或 任 意 超 越 前 車 時 無 法 正 確 地 判 斷 其 安 全 性 ， 而 也 因 此 駕 駛 者 會 短 暫 地 轉 移 前 視 的 注 意 力 到 車 輛 側 後 方 去 確 定 是 否 有 其 他 車 輛 存 在 。 因 此 在 規 劃 僅 具 有 單 CMOS 攝 影 機 之 影 像 偵 測 系 統 上。首 先 要 解 決 的 問 題 是 ： 如 何 在 移 動 的 背 景 中 分 割 出 (偵 測 出 )環 境 中 的 車 輛 (移 動 中 的 物 體 )。 有 鑒 於 在 台 灣 都 市 的 交 通 ， 機 車 佔 了 很 重 要 的 部 份 ， 且 車 輛 的 形 式 不 可 能 完 全 一 樣 ， 爲 了 能 同 時 偵 測 到 機 車 和 汽 車 ， 建 立 多 個 模 型 來 比 對 較 不 合 適 。 在 邊 緣 、 角 點 、 和 紋 理 三 種 特 徵 中 ， 因 為 角 點 屬 於 二 維 特 徵 點 ， 經 由 追 蹤 比 對 後 ， 可 得 到 明 確 的 移 動 資 訊 ， 另 一 方 面 ， 本 實 驗 室 曾 提 出 應 用 於 車 輛 前 方 安 全 之 影 像 追 蹤 系 統 [4]， 使 用 角 點 資 訊 ， 經 過 連 續 影 像 的 追 蹤 比 對 後，得 到 物 體 的 移 動 資 訊，然 而，由 於 物 體 在 畫 面 上 的 形 體 由 小 變 大 (由 遠 至 近 ) 或 由 大 變 小 ( 由 近 至 遠 ) 的 角 點 資 訊 卻 無 法 在 連 續 影 像 中 持 續 追 蹤 比 對 ， 造 成 有 用 移 動 資 訊 不 足 。 因 此 提 出 以 特 徵 點 結 合 混 合 式 光 流 估 測 法 則 ， 應 用 於 車 輛 側 邊 安 全 設 計 作 為 主 要 之 研 究 主 題 。 然 而 ， 所 面 臨 的 問 題 是 如 何 選 擇 明 確 的 特 徵 點 以 及 利 用 這 些 特 徵 點 上 的 光 流 資 訊 來 分 離 移 動 中 物 體 與 背 景 的 特 徵 點 。 但 對 於 複 雜 的 背 景 而 言 ， 遠 方 背 景 的 特 徵 容 易 與 移 動 中 物 體 特 徵 混 淆 ， 也 就 是 說 離 觀 察 者 越 遠 的 背 景 特 徵 ， 從 觀 察 者 的 角 度 來 看 ， 其 特 徵 光 流 資 訊 的 移 動 量 不 大 。 另 一 方 面 ， 若 移 動 中 物 體 的 行 進 方 向 和 速 度 與 觀 察 者 相 似 的 話 ， 從 觀 察 者 的 角 度 來 看 ， 其 特 徵 資 訊 的 移 動 量 也 不 大 ， 所 以 不 能 只 單 靠 光 流 資 訊 的 移 動 量 大 小 來 區 分 移 動 中 物 體 與 背 景 特 徵 點 。 故 本 論 文 的 目 標 為 發 展 一 能 在 移 動 的 背 景 中 簡 單 且 有 效 地 偵 測 出 移 動 中 的 物 體 之 影 像 偵 測 系 統 。 另 外 ， 本 論 文 將 此 偵 測 系 統 實 現 於 獨 立 式 系 統 (Stand alone system)， 使 之 能 在 車 輛 上 獨 立 運 作 。

1.4 論 文 組 織

本 論 文 共 分 五 章 ， 第 一 章 緒 論 ， 主 要 在 於 描 述 本 論 文 之 研 究 動 機 、 介 紹 防 撞 技 術 現 況 以 及 相 關 文 獻 回 顧 。 第 二 章 則 介 紹 運 動 偵 測 系 統 ， 包 括 特 徵 擷 取 以 及 混 合 式 光 流 估 測 法 則 。 第 三 章 介 獨 立 式 影 像 運 動 偵 測 系 統 設

計 ， 包 括 硬 體 架 構 、 影 像 擷 取 介 面 電 路 、 角 點 偵 測 電 路 、 Nios 發 展 介 面 和 N i o s 軟 體 設 計 。 第 四 章 為 實 驗 結 果 ， 以 M a t l a b 模 擬 驗 證 所 提 出 之 系 統 可 行 性 ， 並 使 用 所 發 展 的 影 像 處 理 系 統 進 行 實 車 測 試 。 第 五 章 則 是 結 論 以 及 未 來 展 望 。

第 二 章 運 動 偵 測 系 統

本 論 文 主 要 是 基 於 光 流 法 之 追 蹤 原 理 再 結 合 追 蹤 物 體 所 表 現 出 一 些 特 殊 、 可 信 的 特 徵 做 為 需 要 光 流 估 測 的 依 據 ， 然 後 在 每 連 續 兩 張 影 像 找 出 其 相 關 的 光 流 資 訊 。 圖 2-1 顯 示 本 論 文 提 出 影 像 動 態 偵 測 系 統 ， 其 架 構 主 要 分 成 四 部 份 ： 特 徵 擷 取 、 光 流 估 測 、 物 體 分 割 、 安 全 性 分 析 。 一 開 始 輸 入 連 續 兩 張 灰 階 影 像 I1、 I2 經 由 特 徵 擷 取(Feature Detection) 將 每 張 影 像 圖 像(Image Frame)屬 性 (灰 階 值 、 水 平 和 垂 直 灰 階 梯 度 )和 I1 所 偵 測 到 的 特 徵 點(即 角 點 和 邊 緣 )位 置 ， 以 及 特 徵 點 在 連 續 影 像 中 空 間 與 時 間 上 變 化 的 屬 性(Ex、 Ey、 Et)， 形 成 一 特 徵 清 單 (Features list)。 並 經 由 光 流

估 測(Optical Flow Measurement) 得 到 特 徵 點 在 連 續 兩 張 影 像 中 的 光 流 向

量，在 此 稱 為 光 流(Optical Flow)。然 後 結 合 FOE 觀 念 利 用 光 流 的 大 小 和 方

向 做 物 體 分 割(Object Segmentation)， 找 出 可 能 是 移 動 物 體 的 區 塊 位 置 。 Images Sequence Features list Alarm Signal Optical flow Moving objects Feature Detection Optical Flow Estimation Object Segmentation Safety Analysis Delay 圖 2-1 系 統 架 構 圖

最 後 依 據 區 塊 位 置 和 其 光 流 向 量 資 訊 結 合 道 路 場 景 做 安 全 性 分 析(Safety Analysis)， 若 在 移 動 環 境 中 的 影 像 有 移 動 中 的 物 體 ， 則 發 出 警 示 信 號 提 醒 駕 駛 者 。 以 下 則 分 別 解 說 每 一 個 區 塊 。

2.1 光 流 估 測 （ Optical Flow Estimation）

針 對 以 視 覺 系 統 為 主 要 環 境 資 訊 來 源 ， 即 牽 涉 到 從 動 態 連 續 影 像 中 進 行 所 謂 的 運 動 感 知(Motion perception)，主 要 分 為 兩 個 步 驟，第 一 個 步 驟 是 量 測 3D 空 間 運 動 投 射 在 2D 的 影 像 平 面 上 的 運 動 參 數，第 二 個 步 驟 是 解 釋 已 獲 得 2D 影 像 平 面 上 的 運 動 參 數 以 建 構 出 3D 空 間 環 境 的 結 構 及 物 體 的 運 動。因 此 研 究 重 點 在 於 從 時 變 場 景(Scene)影 像 估 測 光 流 速 度，即 是 量 測 2D 影 像 平 面 上 每 個 圖 素 或 區 塊 的 速 度 向 量 來 描 述 3D 空 間 中 相 對 應 點 的 速 度 狀 態 ； 然 後 從 光 流 所 表 示 的 2D 速 度 向 量 分 布 所 形 成 的 速 度 場 (Velocity field)， 做 速 度 場 的 運 動 分 析 [8]。

2.1.1. 光 流 估 測 法 則

在 研 究 光 流 法 之 前 ， 首 先 要 認 清 光 流 和 影 像 流 的 差 別 。 影 像 流 是 指 一 個 影 像 表 面 上 的 每 個 點，其 在 3D 空 間 上 每 一 點 的 瞬 間 速 度，在 2D 影 像 平 面 上 的 投 影 ， 這 些 速 度 向 量 在 影 像 平 面 上 的 投 影 速 度 即 構 成 所 謂 的 影 像 流 場 。 而 光 流 主 要 是 影 像 強 度 的 改 變 ， 其 發 生 來 自 於 攝 影 機 與 環 境 物 體 之 間 的 相 對 運 動 ， 使 得 在 連 續 影 像 的 影 像 強 度(Image intensity)產 生 時 間 空 間 上 的 變 化 ， 也 就 是 說 是 一 個 影 像 的 亮 度 變 化 在 2D 空 間 分 布 上 的 可 視 速 度 ， 而 這 個 影 像 強 度 的 變 化 有 可 能 是 因 為 光 源 位 置 的 改 變( 物 體 本 身 的 位 置 並 沒 有 移 動)而 造 成，也 有 可 能 是 因 為 物 體 本 身 移 動 所 造 成，所 以 說 光 流 為 零 並 不 一 定 代 表 物 體 是 靜 止 的 ， 而 光 流 不 等 於 零 也 不 一 定 代 表 物 體 一 定 在 移 動 ， 因 此 在 一 般 的 情 況 下 ， 光 流 和 影 像 流 並 不 相 同 ， 因 為 當 物 體 靜 止 時 影 像 流 一 定 為 零 ， 所 以 說 單 從 光 流 的 觀 點 下 手 ， 我 們 並 沒 有 辦 法 確 定 物 體 移 動 的 狀 態 。 不 過 利 用 Verri 和 Poggio 的 假 設 ， 假 設 說 一 個 時 變 的 影 像 它 的 表 面 平 滑 且 環 境 照 度 均 勻 ， 則 可 以 令 它 的 光 流 場 等 效 於 它 的 影 像 流 場 ， 如 此 一 來 就 可 以 利 用 光 流 的 計 算 ， 找 出 其 影 像 流 的 變 化 ， 進 而 求 出 影 像 移 動 的 狀 態 。

Differential-based approach：

由 光 流 的 基 本 定 義 來 看 ， 光 流 的 發 生 主 要 來 自 於 攝 影 機 與 環 境 物 體 之 間 的 相 對 運 動 ， 使 所 獲 得 的 連 續 影 像 的 影 像 強 度 產 生 時 間 空 間 上 的 位 移 變 化 ， 因 此 假 設 在 某 一 張 影 像 的 物 體 上 有 一 個 Point P ， 其 影 像 強 度 為 I(x,y,t)， 則 在 經 過 一 短 暫 時 間 δt 之 後 的 影 像 上 ， 該 P 點 在 x,y 方 向 分 別 移 動 了 δx 與 δy 的 距 離 ， 但 是 在 移 動 的 過 程 中 其 影 像 強 度 並 沒 有 改 變 ， 因 此 可 以 產 生 如 下 的 關 係 式 ： ) , , ( ) , , (x y t I x x y y t t I = +δ +δ +δ （2-1） 把 式 子 右 邊 的 部 份 以 泰 勒 展 開 式 展 開 ， 得 到 式 子(2-14) ε δ δ δ + ∂ ∂ + ∂ ∂ + ∂ ∂ + = t I t y I y x I x t y x I t y x I( , , ) ( , , ) （2-2） 其 中 ε 為 高 次 項 。 將 上 式 兩 邊 的 I(x,y,t)相 減 並 同 除 δt 之 後 ， 可 得 式 子(2-3) 0 = ∂ + ∂ ∂ ∂ + ∂ ∂ ∂ + ∂ ∂ ∂ t t I t t y I t y x I t x δ δ ε δ （2-3） 當 δt→ 0 時 t ∂ ε 可 以 忽 略 ， 可 得 式 子(2-4) 0 = ∂ ∂ + ∂ ∂ ∂ + ∂ ∂ ∂ t I y I t y x I t x δ δ （2-4） 則 令 Ex、 Ey、 Et 分 別 為 影 像 強 度 I 對 x， y 及 t 的 偏 導 函 數 ， 令 t x u δ δ = 和 t y v δ δ = 以 產 生 式 子(2-5) 0 = + + _{y t} xu E v E E （2-5） 上 面 的 式 子 提 供 了 一 個 u、 v 變 數 的 線 性 方 程 式 ， 也 就 是 說 P 點 的 速 度 向 量(u,v)就 包 含 在 這 線 性 方 程 式 當 中 ， 其 中 Ex、 Ey、 Et 分 別 代 表 該 像 素

影 像 強 度 對 x,y, t 的 偏 導 函 數 ， 也 就 是 影 像 強 度 在 x、 y 方 向 及 時 間 軸 上 的

梯 度 變 化 。(2-5) 式 子 所 表 示 的 直 線 也 稱 為 移 動 限 制 線 (Motion constraint

line)，或 稱 為 明 亮 限 制 式 (Brightness constraint)，可 用 圖 2-2 中 的 直 線 來 表

示 ， 並 將(2-5)式 子 改 寫 成 t y x E u v E E , )⋅( , ) = − ( （ 2-6） 則 光 流 速 度(u,v)在 明 亮 梯 度 (Ex,Ey)方 向 上 的 分 量 就 等 於 2 2 y x t E E E + − （2-7） 但 是 光 憑 這 明 亮 限 制 式 並 無 法 求 出 實 際 的 光 流 方 向 及 量 值 度 。 明亮限制線

)

,

(

E

_x

E

_y

u

v

圖 2-2 微 分 法 光 流 估 測 的 明 亮 限 制 線

Correlation-based approach：

關 聯 性 法 通 常 用 於 兩 張 連 續 的 時 變 影 像 ， 在 第 一 張 影 像 中 每 一 個 點 的 像 素 都 可 以 在 第 二 張 影 像 裡 找 到 一 個 和 它 最 匹 配 的 點 ， 而 我 們 所 要 的 結 果 就 是 這 每 一 個 點 從 一 張 影 像 到 第 二 張 影 像 的 位 移 向 量 ， 通 常 在 第 二 張 影 像 中 很 難 找 到 一 個 完 全 相 同 的 點 ， 因 此 是 在 第 二 張 影 像 中 的 一 些 候 選 像 素 中 ， 找 出 最 匹 配 的 點 。 1 I I₂ ‧ ‧ ‧ 2n+1 2n+1 2N+1 2N+1 p(x+u,y+v) p(x,y) p W p W p(x,y) 圖 2-3 關 聯 性 光 流 估 測 法 首 先 ， 選 取 兩 張 連 續 的 影 像 分 別 為 影 像 I1和 影 像 I2， 如 圖 2-3 所 示 ， 光 流(u,v)定 義 為 在 I1 的 圖 框 中 以 像 素 p(x,y)為 中 心 ， 小 片 區 域 Wp 到 I2 圖 框 的 有 限 範 圍 位 移(u,v)，其 中 位 移 的 範 圍 限 定 在 (2N+1)×(2N+1)的 區 域 中 ， N 是 所 能 容 許 的 最 大 位 移 量 。 有 限 的 移 動 範 圍 就 是 假 定 Wp 在 下 一 個 的 圖 框 的 所 有 可 能 位 置，也 就 是 假 設 有(2N+1)×(2N+1)個 可 能 的 位 移 量，然 後 以 Wp 的 區 域 範 圍，在 這 些 可 能 的 位 移 點 進 行 相 似 性 量 測，以 決 定 出 p 真 正 的 移 動 位 置 。 相 似 性 量 測 是 計 算 Wp 範 圍 中 相 對 應 位 置 的 像 素 之 間 影 像 強 度 的 和 方 差(Sum-of-squared difference, SSD)：

[

]

N v N N u N j v y i u x I j y i x I v u y x SSD n n j n n i ≤ ≤ − ≤ ≤ − + + + + − + + =

∑ ∑

− = =− , ) , ( ) , ( ) , ; , ( _{1 2} 2 2 , 1 _（2-8） 其 中 u、 v 為 p 在 兩 張 影 像 中 的 位 移 量 ， 且 -N≦ u,v≦ N， I (x,y)及 I (x,y)分 別 為 第 一 張 影 像 I 及 第 二 張 影 像 I 中 的 影 像 強 度 。

由(2-8)式 子 知 道 ， SSD 越 小 代 表 相 似 程 度 越 高 ， 也 就 較 接 近 其 真 正 的 移 動 位 置 ， 如 此 一 來 就 可 以 求 得 p 點 的 位 移 向 量 。

2.1.2. 混 合 式 光 流 估 測 法 則

對 於 光 流 估 測 ， 本 論 文 採 用 黃 瑞 祥 的 混 合 式 光 流 估 測 法 則[8]， 其 主 要 仍 以 關 聯 性 法 的 原 理 為 核 心 ， 並 導 入 微 分 法 的 明 亮 限 制 式 條 件 ， 預 測 特 徵 點 位 移 位 置 ， 減 少 搜 尋 範 圍 來 加 快 圖 樣 比 對 的 速 率 並 降 低 無 謂 的 計 算 量 。 因 為 不 論 是 微 分 法 或 是 關 聯 性 光 流 估 測 法 ， 皆 需 要 十 分 龐 大 的 計 算 量 ， 如 果 沒 有 效 能 極 佳 的 運 算 裝 置 ， 很 難 達 成 即 時 效 果 ， 因 此 黃 瑞 祥 提 出 將 這 兩 種 方 法 結 合 的 混 合 式 光 流 法 估 測 法 ， 得 到 一 種 運 算 更 快 速 度 ， 更 能 即 時 處 理 的 光 流 計 算 方 法 。 在 黃 瑞 祥 的 論 文 中 是 以 影 像 邊 緣 資 訊 作 為 需 要 光 流 估 測 的 特 徵 點 ， 而 我 們 是 採 用 角 點 作 為 可 信 特 徵 並 增 加 角 點 附 近 邊 緣 資 訊 作 為 需 要 光 流 估 測 的 特 徵 點 ， 不 但 減 少 運 算 量 ， 也 避 免 不 必 要 的 資 訊 產 生 。 圖 2-4 為 本 文 之 光 流 計 算 流 程 圖 ， 其 演 算 法 則 如 下 ：

CMOS 影像感測器 擷取兩張 連續影像 搜尋最接近明亮 限制線的(u,v)向 量集合 關聯性法 匹配程度比對 得到最接近真正 光流速度向量 (u,v)值 最後一個特徵點? 選取需要計算光 流向量的特徵點 計算每個像素的 Ix,Iy,Ex,Ey,Et 否 是 特徵點光流 速度向量列表 圖 2-4 光 流 計 算 流 程 圖

1） 首 先 ， 擷 取 兩 張 連 續 的 影 像 I1 及 I2的 影 像 強 度(灰 階 度 )。

2） 計 算 影 像 I1 及 I2在 x,y 方 向 上 的 梯 度 值 Ix 1、Iy 1和 Ix 2、Iy 2，並 利 用 Sobel

mask( 如 圖 2-5) 求 出 兩 張 連 續 影 像 在 x,y,t 方 向 的 梯 度 值 Ex、 Ey、 Et。

[

]

[

( 1, 1) 2* ( 1, ) ( 1, 1)

]

) 1 , 1 ( ) , 1 ( * 2 ) 1 , 1 ( 1 1 1 1 1 1 1 _{− − − + − + − +} + + + + + − + = y x I y x I y x I y x I y x I y x I I_x （2-9）

[

]

[

( 1, 1) 2* ( , 1) ( 1, 1)

]

) 1 , 1 ( ) 1 , ( * 2 ) 1 , 1 ( 1 1 1 1 1 1 1 _{− − − + − + + −} + + + + + + − = y x I y x I y x I y x I y x I y x I I_y （2-10）

[

]

[

( 1, 1) 2* ( 1, ) ( 1, 1)

]

) 1 , 1 ( ) , 1 ( * 2 ) 1 , 1 ( 2 2 2 2 2 2 2 _{− − − + − + − +} + + + + + − + = y x I y x I y x I y x I y x I y x I I_x （2-11）

[

]

[

( 1, 1) 2* ( , 1) ( 1, 1)

]

) 1 , 1 ( ) 1 , ( * 2 ) 1 , 1 ( 2 2 2 2 2 2 2 _{− − − + − + + −} + + + + + + − = y x I y x I y x I y x I y x I y x I I_y （2-12） 2 1 x x x I I E = + （2-13） 2 1 y y y I I E = + （2-14） ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ + + + + + + − + + + + − + − + + − + − − − ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎣ ⎡ + + + + + + − + + + + − + − + + − + − − = ) 1 , 1 ( ) 1 , ( * 2 ) 1 , 1 ( ) , 1 ( 2 ) , ( * 4 ) , 1 ( * 2 ) 1 , 1 ( ) 1 , ( * 2 ) 1 , 1 ( ) 1 , 1 ( ) 1 , ( * 2 ) 1 , 1 ( ) , 1 ( 2 ) , ( * 4 ) , 1 ( * 2 ) 1 , 1 ( ) 1 , ( * 2 ) 1 , 1 ( 1 1 1 1 1 1 1 1 1 2 2 2 2 2 2 2 2 2 y x I y x I y x I y x I y x I y x I y x I y x I y x I y x I y x I y x I y x I y x I y x I y x I y x I y x I E_t （2-15） -1 -2 -1 0 0 0 1 2 1 -1 0 1 -2 0 2 -1 0 1 -1 -2 -1 -2 -4 -2 -1 -1 -1 1 2 1 2 4 2 1 2 1 Direction of Gradient 圖 2-5 計 算 Ix 1、 Iy 1、 Ix 2、 Iy 2和 Et 所 使 用 的 Sobel mask

3） I1 作 特 徵 擷 取 ， 採 用 角 點 作 為 可 信 特 徵 點 並 增 加 角 點 附 近 邊 緣 資 訊 作 為 需 要 光 流 估 測 的 特 徵 點 選 擇 ， 詳 如 2.2 節 所 述 。 圖 2-6(b)顯 示 的 白 色 方 框 為 特 徵 擷 取 結 果 。 4） 在 影 像 I1 上 ， 設 定 特 徵 點 的 光 流(u,v)的 最 大 搜 尋 範 圍 皆 為 ±N， 則 可 得 (2N+1)×(2N+1)組 的 (u,v)向 量 集 合，預 設 值 為 N=4，共 81 組 向 量 集 合 。 將 搜 尋 範 圍 內 的 每 個 光 流 向 量 值 代 入 特 徵 點 p(x,y)的 明 亮 限 制 式 (2-5) 中 ， 比 較 計 算 後 所 得 的 值 ， 如 果 其 值 的 絕 對 值 小 於 一 定 的 閥 值 則 紀 錄 下 這 值 位 置 的(u,v)向 量，如 此 可 以 得 到 一 個 最 接 近 特 徵 點 p(x,y)明 亮 限 制 線 的 向 量 集 合 。 圖 2-7 為 2-6(b)白 色 方 框 其 中 之 一 特 徵 點 座 標 位 置 (271,181)，其 Ex=-102、Ey=-74、Et=-176.5 代 入 明 亮 限 制 式 (2-5)之 光 流 向 量 81 組 可 能 性 的 計 算 結 果 ， 其 所 示 的 灰 色 區 域 ， 就 是 此 特 徵 點 最 接 近 明 亮 限 制 線 的 向 量 集 合 。 5） 以 步 驟 4 所 得 的 向 量 集 合 作 為 關 聯 性 匹 配 程 度 比 對 的 搜 尋 範 圍 ， 如 式 (2-16)改 以 每 個 圖 素 的 x 和 y 方 向 的 梯 度 值 Ix i、 Iy i 為 特 徵 值 ， 將 影 像 I1 上 的 特 徵 點 p(x,y)及 其 周 圍 n×n 鄰 域 像 素 與 影 像 I2作 圖 樣 特 徵 比 對， 預 設 值 為 n=3，找 出 一 個 匹 配 程 度 最 高 的 光 流 速 度 向 量 (u,v)，也 就 是 說 SSD 越 小 代 表 相 似 程 度 越 高 ， 而 這 個 向 量 即 為 最 接 近 這 一 個 特 徵 點 的 光 流 速 度 向 量 的 整 數 值。圖 2-8 所 示 的 灰 色 區 域 為 從 圖 2-7 所 得 的 向 量 集 合 作 為 比 對 搜 尋 範 圍 代 入 式(2-16)的 計 算 結 果，在 u=3,v=-1 位 置 上 其 SSD 值 最 小 ， 即 為 此 特 徵 點 最 接 近 的 光 流 向 量 的 整 數 值 。 關 聯 性 匹 配 式(2-8)改 以 每 個 圖 素 的 x 和 y 方 向 的 梯 度 值 Ix i、 Iy i為 特 徵 值 ：

[

]

[

]

N v N N u N j v y i u x I j y i x I j v y i u x I j y i x I v u y x SSD _n n j n n i y y n n j n n i x x ≤ ≤ − ≤ ≤ − + + + + − + + + + + + + − + + =

∑ ∑

∑ ∑

− = =− − = =− , ) , ( ) , ( ) , ( ) , ( ) , ; , ( 2 2 1 2 2 1 2 , 1 _（2-16） 其 中 u、 v 為 p 點 在 兩 張 影 像 中 的 位 移 量 ， 且 -N≦ u,v≦ N。 6） 重 複 步 驟 4~5，找 出 每 一 個 特 徵 點 上 的 光 流 速 度 向 量。成 一 特 徵 光 流 資 訊 列 表，主 要 包 含 特 徵 點 的 位 置 座 標 和 光 流 速 度 量 值 資 訊。圖 2-9 為 圖 2-6(a)混 合 式 光 流 估 測 法 的 結 果 。

(a) (b) 圖 2-6 (a)影 像 原 始 圖 ； (b)為 (a)影 像 特 徵 擷 取 之 結 果 v -4 880.5 778.5 676.5 574.5 472.5 370.5 268.5 166.5 64.5 -3 806.5 704.5 602.5 500.5 398.5 296.5 194.5 92.5 -9.5 -2 732.5 630.5 528.5 426.5 324.5 222.5 120.5 18.5 -83.5 -1 658.5 556.5 454.5 352.5 250.5 148.5 46.5 -55.5 -157.5 0 584.5 482.5 380.5 278.5 176.5 74.5 -27.5 -129.5 -231.5 1 510.5 408.5 306.5 204.5 102.5 0.5 -101.5 -203.5 -305.5 2 436.5 334.5 232.5 130.5 28.5 -73.5 -175.5 -277.5 -379.5 3 362.5 260.5 158.5 56.5 -45.5 -147.5 -249.5 -351.5 -453.5 4 288.5 186.5 84.5 -17.5 -119.5 -221.5 -323.5 -425.5 -527.5 -4 -3 -2 -1 0 1 2 3 4 u

特徵點座標 (271,181)，Ex= -102、Ey= -74、Et= 176.5

圖 2-7 明 亮 限 制 線 81 組 光 流 向 量 可 能 性 之 計 算 結 果 v -4 -3 54.077 -2 35.548 45.792 -1 34.823 12.067 0 42.896 1 55.455 2 64.238 58.793 3 65.509 64.91 4 62.41 64.336 -4 -3 -2 -1 0 1 2 3 4 u 圖 2-8 關 聯 性 光 流 估 測 法 SSD 之 計 算 結 果 圖 2-9 混 合 式 光 流 估 測 法 之 結 果

2.2 特 徵 擷 取 （ Feature Detection）

在 邊 緣 、 角 點 、 和 紋 理 三 種 特 徵 中 ， 因 為 角 點 屬 於 二 維 特 徵 點 ， 經 由 追 蹤 比 對 後 ， 可 得 到 明 確 的 移 動 資 訊 ， 故 本 論 文 採 用 角 點 作 為 可 信 特 徵 點 並 增 加 角 點 附 近 邊 緣 資 訊 使 光 流 法 更 強 健 。 我 們 提 出 之 作 法 為 先 找 出 影 像 的 邊 緣 資 訊 和 角 點 資 訊 ， 選 取 以 角 點 為 中 心 包 含 角 點 在 內 之 周 圍 附 近 之 邊 緣 資 訊 為 本 論 文 特 徵 點 。 例 如 圖 2-10 示 意，三 角 形 符 號 為 角 點，而 圓 形 符 號 則 表 示 邊 緣，是 以 角 點 為 中 心，選 取 角 點 和 其 3x3 遮 罩 範 圍 內 邊 緣 資 訊， 作 為 本 論 文 特 徵 點 選 取 ， 如 圖 中 包 含 角 點 位 置 之 灰 色 區 域 。

Ο

Ο

Ο

Ο

Ο Ο Ο

Ο

Ο

Ο

Ο

Ο

Ο

Ο

Δ

Δ

Ο

Ο

Δ

圖 2-10 特 徵 點 選 取 之 示 意 圖

2.2.1. 特 徵 邊 緣 偵 測 法

特 徵 邊 緣 偵 測 法 是 利 用 Sobel Edge 來 求 得 影 像 邊 緣 資 訊 [20] 。 影 像 f(x,y) 在 位 置 (x,y) 的 梯 度 被 定 義 為 向 量 ⎥ ⎥ ⎥ ⎥ ⎦ ⎤ ⎢ ⎢ ⎢ ⎢ ⎣ ⎡ ∂ ∂∂ ∂ = ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ = ∇ y f x f I I f y x （2-17） 從 向 量 分 析 中 ， 梯 度 向 量 是 指 f 在 座 標 (x,y)處 在 x,y 方 向 上 之 最 大 改 變 率 ， 若 x,y 方 向 上 改 變 率 越 大 ， 則 存 在 邊 緣 可 能 性 越 大 ， 因 此 在 邊 緣 檢 測 上 一 個 重 要 的 量 是 此 梯 度 向 量 的 大 小 ， 標 示 為 G， 2 / 1 2 2 ₎ (I_x I_y G = + （2-18） 或 G ≈ I_x + I_y （2-19） 當 G 大 於 一 定 的 閥 值 則 即 為 特 徵 邊 緣 。

2.2.2. Harris 角 點 偵 測 法

本 論 文 所 採 用 的 角 點 偵 測 法 是 由 Harris 於 1988 年 所 提 出 [18]。其 主 要 的 觀 念 是 從 Moravec 的 角 點 偵 測 法 則 延 伸 出 來 的 [19]。 Moravec 考 慮 在 影 像 中 一 局 部 的 區 塊(Local window)， 透 過 此 區 塊 在 各 方 向 做 小 幅 的 移 動 ， 偵 測 其 灰 階 值 平 均 改 變 的 情 況 ， 由 以 下 三 種 情 況 來 探 討 ： (a)位於平坦的影像中 (b)位於邊緣的影像中 (c)位於角點的影像中 A local window 圖 2-11 局 部 區 塊 在 影 像 中 的 位 置 [18] 1. 若 此 區 塊 在 灰 階 值 平 坦 的 影 像 區 域 中 移 動( 即 灰 階 值 變 化 近 似 一 定 值) ， 則 各 方 向 的 移 動 所 偵 測 其 灰 階 值 變 化 都 很 小 ， 如 圖 2-11(a)。 2. 若 此 區 塊 在 含 有 邊 緣 的 影 像 區 域 中 移 動，則 區 塊 沿 著 邊 緣 方 向 移 動 所 偵 測 其 灰 階 值 變 化 很 小，但 區 塊 沿 著 垂 直 於 邊 緣 方 向 移 動 所 偵 測 其 灰 階 值 變 化 有 明 顯 的 變 化 ， 如 圖 2-11(b)。

3. 若 此 區 塊 在 含 有 一 角 點(Corner) 或 獨 立 的 點 (Isolated point) 的 影

像 區 域 中 移 動 ， 則 各 方 向 的 移 動 所 偵 測 其 灰 階 值 變 化 都 很 大 ， 如 圖 2-11(c)。 因 此 可 以 將 區 塊 藉 由 各 方 向 做 小 幅 的 移 動 ， 都 均 得 到 明 顯 的 灰 階 值 變 化 來 偵 測 角 點 位 置 。 據 以 上 的 分 析 ， 我 們 可 以 用 式(2-20)[18]來 表 示 。

∑

− = _{+ +} v u v u v y u x v u y x w I I E , 2 , , , , （ 2-20） 其 中 wu , v 為 中 心 點 是(u,v)的 局 部 區 塊 ， 在 此 定 義 為 一 固 定 大 小 的 矩 形 區 塊 ， 若 影 像 中 的 點(Pixel)位 於 此 區 塊 中 ， wu , v=1， 否 則 wu , v=0。 Iu , v 為 影

像 中 點(u,v)的 灰 階 值。x,y 分 別 為 在 x 方 向 和 y 方 向 的 移 動 量。Ex , y 則 是 計 算 後 的 灰 階 值 變 化 量 。 因 此 Moravec 認 為 只 要 找 出 Ex , y 的 局 部 最 大 值 且 大 於 某 於 閥 值 min{E}即 為 角 點 。 然 而 Harris 對 Moravec 的 角 點 偵 測 提 出 三 個 問 題 ： 1. 對 於 數 位 影 像 ， 我 們 只 需 考 慮 每 隔 45°方 向 的 小 幅 移 動 ， 將 式 (2-4)泰 勒 展 開 得 式 (2-21)[18]

[

]

∑

+ + = v u v u y x w xX yY O x y E , 2 2 2 , , ( , ) （ 2-21） 其 中 O(x2,y2)為 泰 勒 展 開 式 的 二 次 以 上 的 多 項 式 部 份 一 階 導 數 X,Y 可 由 式 (2-22)、 (2-23)[17]近 似 表 示 x I I X = *(−1,0,1) = ∂ /∂ （ 2-22） y I I Y = *(−1,0,1)T = ∂ /∂ （2-23） 對 於 x,y 分 量 有 極 小 的 移 動 量 ， 我 們 可 以 忽 略 較 高 次 項 部 份 ， 即 忽 略 O(x2,y2_{)， 可 得 式 (2-24)[17]} 2 2 , Ax 2Cxy By Exy = + + （2-24） 其 中 A=X2∗w， B=Y2∗w，C=(XY)∗w 2. 由 於 Ex , y對 影 像 的 雜 訊 很 敏 感，因 為 wu , v 定 義 以(u,v)為 中 心 的 局 部 矩 形 區 塊 ， 若 影 像 中 的 點(Pixel)位 於 此 區 塊 內 ， wu , v=1， 否 則 wu , v=0。Harris 提 出 改 用 Gaussian 函 數 產 生 一 平 滑 變 化 的

圓 形 區 塊(Smooth circular window)， 如 式 (2-25)[17]

2 2 2 _)/2 ( , σ v u v u

e

w

=

− + （ 2-25） 3. Ex , y 只 考 慮 E 的 最 小 值 min{E}， 致 使 式 (2-20)對 邊 緣 的 反 應 變 化 太 大 。 對 於 x,y 分 量 有 極 小 的 移 動 量 ， 可 將 式 (2-20)改 寫 為 式(2-26)[17]

T y x M y x y x E( , ) = ( , ) ( , ) （ 2-26） 其 中 M 為 一 2x2 的 對 稱 矩 陣 (Symmetric matrix) ， 如 式（ 2-27） ⎥ ⎦ ⎤ ⎢ ⎣ ⎡ = B C C A M （ 2-27） Harris 分 析 出 當 M 的 特 徵 值 α ,β 都 很 大 時 ， 即 為 角 點 。 提 出 角 點 /邊

緣 響 應 方 程 式(Corner/Edge response function）， 如 式 (2-28)[17] ，

[

_{( )}

]

2 ) (M k Tr M Det R = − ⋅ （ 2-28） 其 Tr(M)=α+β=A+B， Det(M)=αβ=AB-C2， k 為 常 數 (通 常 設 為 0.04)， 找 出 R 的 局 部 最 大 值 且 大 於 某 一 閥 值 即 為 角 點 。

2.3 物 體 分 割 （ Object Segmentation）

首 先 我 們 先 考 慮 觀 察 者 與 背 景 之 間 的 相 對 運 動 ， 在 此 定 義 背 景 是 在 空 間 中 靜 止 不 動 的 物 體 。 當 我 們 移 動 經 過 一 個 在 空 間 中 是 靜 止 的 物 體 時 ， 投 影 在 眼 睛 視 網 膜 上 的 世 界 看 起 來 就 好 像 在 流 動 一 般 。 事 實 上 在 移 動 方 向 (Motion direction)及 注 視 方 向 (Line of sight)已 知 的 情 況 下 ， 視 網 膜 或 稱 影

像 平 面(Image plane)上 所 看 到 世 界 中 的 物 體 就 好 像 從 某 特 定 點 流 入 或 向 外

擴 散 ， 而 這 個 特 定 點 就 是 所 謂 的 擴 張 焦 點(Focus of expansion, FOE)[21]。

2.3.1. 道 路 場 景 分 析

本 論 文 所 研 究 的 道 路 影 像 為 行 駛 於 平 面 道 路 上 的 車 輛(簡 稱 本 車 )由 左 /右 側 視 鏡 往 側 後 方 所 見 到 的 連 續 影 像，如 圖 2-12，影 像 中 可 看 到 行 駛 於 本 車 鄰 近 車 道 的 車 輛(簡 稱 側 車 )， 其 行 駛 方 向 與 本 車 相 同 ， 如 圖 2-13。 根 據 本 車 移 動 方 向 與 CMOS 影 像 感 測 器 的 注 視 方 向，FOE 位 置 位 於 影 像 平 面 範 圍 以 外 ， 而 其 位 置 約 位 於 影 像 右 半 平 面 外 。 接 近 本 車 的 側 車 在 影 像 中 會 呈 現 由 右 至 左 的 移 動 方 式 ， 其 影 像 大 小 會 隨 移 動 而 改 變 ， 愈 接 近 本 車 形 體 愈 大 ， 反 之 愈 小 。

圖 2-12 道 路 場 景 分 析 (側 視 圖 ) 圖 2-13 道 路 場 景 分 析 (上 視 圖 ) 背景物體 接近中側車物體 (a) (b) 圖 2-14 (a)側 車 接 近 本 車 之 光 流 流 動 方 式 (b)背 景 物 體 之 光 流 流 動 方 式

我 們 感 興 趣 的 側 車 行 為 ， 是 接 近 本 車 的 側 車 ， 接 近 本 車 的 側 車 在 影 像 中 會 呈 現 由 右 至 左 的 移 動 方 式 ， 其 影 像 大 小 會 隨 移 動 而 改 變 ， 愈 接 近 本 車 形 體 愈 大，反 之 愈 小。在 影 像 平 面 上 所 看 到 的 背 景 物 體 就 好 像 朝 FOE 中 心 流 動 進 去 ， 而 側 車 物 體 接 近 本 車 的 行 為 跟 背 景 物 體 卻 剛 好 相 反 ， 是 從 FOE 中 心 擴 散 出 來 ， 如 圖 2-14 所 示。背 景 物 體 的 光 流 u 值 大 於 零，而 側 車 物 體 的 光 流 u 值 小 於 零 。 可 利 用 光 流 的 流 動 特 性 之 方 向 ， 來 區 分 移 動 環 境 中 的 圖 2-15 為 圖 2-9 依 光 流 特 性 將 特 徵 點 統 計 之 結 果 圖 2-16 具 有 相 同 光 流 資 訊 u 值 的 特 徵 點 ， 在 (a)座 標 x 軸 與 (b)y 軸 方 向 之 分 布 情 形 (a) (b)

移 動 物 體 和 背 景 影 像 的 狀 況 ， 且 依 據 特 徵 點 其 光 流 水 平 方 向 向 量 u， 把 相 同 u 值 的 特 徵 點 歸 為 同 一 類，如 圖 2-15 顯 示 統 計 的 結 果，把 具 有 相 同 u 值 光 流 資 訊 之 特 徵 點 對 其 座 標 x 軸 和 y 軸 方 向 統 計 其 分 布 情 形，如 圖 2-16 顯 示 某 同 一 類 特 徵 點 之 分 布 情 形 ， 並 找 出 其 特 徵 點 在 影 像 畫 面 上 集 中 的 區 塊 範 圍 ， 如 圖 2-17 顯 示 的 結 果 。 圖 2-17 物 體 分 割 之 結 果

2.4 安 全 性 分 析 （ Safety Analysis）

若 我 們 在 移 動 環 境 中 的 影 像 裡 ， 成 功 地 得 到 特 徵 點 在 連 續 兩 張 影 像 中 的 移 動 資 訊 ， 即 為 光 流 。 而 安 全 性 分 析 則 是 要 與 現 實 的 場 景 結 合 ， 才 能 分 割 出 移 動 中 的 物 體 。 首 先 我 們 要 先 定 義 在 連 續 兩 張 影 像 中 被 成 功 低 找 出 物 體 特 徵 點 並 算 出 其 光 流 ， 且 本 車 在 道 路 平 面 上 以 一 定 速 度 以 上 行 駛 。 一 般 來 說 ， 背 景 物 體 特 徵 點 的 光 流 必 是 輻 射 狀 朝 FOE 中 心 流 入 ， 離 FOE 愈 遠 ， 流 動 速 度 愈 快 。 然 而 ， 背 景 物 體 特 徵 點 的 光 流 流 動 速 度 並 不 只 與 FOE 距 離 有 關 ， 還 跟 本 車 (即 觀 察 者 )與 該 背 景 的 距 離 有 關 。 離 本 車 愈 遠 的 背 景 物 體 特 徵 點 其 光 流 流 動 的 速 度 愈 慢(在 此 稱 為 遠 方 背 景 特 徵 點 )。 由 2.3.1.道 路 場 景 分 析 可 知 我 們 所 要 找 出 的 移 動 物 體 為 行 駛 於 道 路 平 面 上 且 在 本 車 側 邊 或 側 後 方 的 車 輛(簡 稱 側 車 )。 假 設 側 車 之 車 速 為 Vs， 本 車 之 車 速 Vo， 側 車 在 影 像 平 面 中 大 致 有 三 種 行 為 表 現 ：

1. Vs＞ Vo ： 側 車 將 通 過 本 車 側 邊 ， 即 超 越 本 車 。 其 光 流 流 動 方 向 必 朝 左 。 2. Vs

≅

Vo ： 側 車 與 本 車 相 對 速 度 為 零 或 很 小 ， 即 側 車 與 本 車 約 保 持 固 定 距 離 。 其 光 流 向 量 甚 小 。 3. Vs＜ Vo ： 側 車 遠 離 本 車 ， 其 光 流 流 動 方 向 必 朝 右 。 第 1 項 ， 因 為 與 背 景 光 流 流 動 方 向 完 全 相 反 ， 故 能 輕 易 地 與 背 景 光 流 區 分 ； 第 2 項 ， 看 似 可 以 由 光 流 流 動 特 性 來 區 分 ， 但 對 於 遠 方 背 景 的 光 流 也 是 向 量 甚 小 ， 故 不 能 完 全 依 靠 流 動 特 性 來 區 分 ； 第 3 項 ， 雖 然 跟 背 景 的 光 流 流 動 方 式 一 樣 朝 FOE 中 心 流 入，但 側 車 與 本 車 一 樣 在 道 路 平 面 上 正 常 行 駛 ， 故 與 一 般 背 景 的 光 流 還 是 有 所 不 同 ， 反 而 相 似 於 遠 方 背 景 的 光 流 。 而 本 論 文 影 像 偵 測 系 統 應 用 於 車 輛 側 邊 安 全 ， 主 旨 在 於 輔 助 駕 駛 者 行 車 安 全 ， 根 據 本 車 側 邊 安 全 的 道 路 危 險 情 況 可 分 成 三 類 ，(一 )側 車 正 快 速 超 越 或 將 要 超 越 本 車；(二 )本 車 側 後 方 有 側 車 逐 漸 靠 近；(三 )本 車 側 邊 有 其 它 側 車 存 在 。 當 有 這 三 種 情 況 ， 則 必 須 提 醒 駕 駛 者 注 意 ， 避 免 駕 駛 者 在 任 意 超 越 前 方 車 輛 或 變 換 車 道 情 形 時 而 沒 有 注 意 到 側 邊 的 來 車 。 第 一 類 和 第 二 類 的 側 車 行 為 屬 於 第 1 項 ， 能 輕 易 地 與 背 景 特 徵 的 光 流 區 分 。 第 三 類 的 側 車 包 含 了 3 種 行 為 表 現 ， 因 此 ， 本 論 文 提 出 將 針 對 第 三 類 之 側 車 與 遠 方 背 景 的 特 徵 之 區 分 提 出 解 決 方 法 。 由 於 我 們 所 要 偵 測 的 側 車 行 駛 於 道 路 上 之 車 輛 ， 尤 其 是 本 車 鄰 近 車 道 上 的 車 輛 ， 故 由 影 像 平 面 來 看 ， 側 車 之 特 徵 點 必 有 部 份 與 道 路 區 域 有 所 重 疊 ， 以 式(2-29)表 示 。 (Moving_objects)∩ (Road_plane)＞ 0 (2-29) 問 題 是 我 們 如 何 找 出 在 影 像 中 道 路 平 面 區 域 ？ 經 由 觀 察 ，FOE 位 置 位 於 影 像 平 面 範 圍 以 外 ， 而 其 位 置 約 位 於 影 像 右 半 平 面 外 ， 不 難 發 現 道 路 平 面 必 在 FOE 之 左 下 方，所 以 我 們 可 以 利 用 FOE 的 位 置 估 測 道 路 平 面 區 域。 2.4.1 將 介 紹 FOE 之 估 測 。

2.4.1. 擴 散 焦 點 (FOE)估 測

本 論 文 提 出 一 個 藉 由 找 出 靜 態 背 景 的 光 流 來 估 測 FOE 之 法 則，以 下 將 對 其 詳 細 說 明 。FOE 產 生 是 由 於 觀 察 者 本 身 的 移 動 ， 造 成 靜 態 背 景 的 光 流 會 朝 該 點 方 向 流 入。由 此 可 知，我 們 必 須 找 出 屬 於 背 景 的 光 流 來 估 測 FOE。 在 影 像 中 許 多 的 光 流 資 訊 ， 我 們 發 現 背 景 與 道 路 的 光 流 其 水 平 分 量 是 朝 右 ， 消 失 於 影 像 右 緣 部 份 ， 如 圖 2-18。 根 據 此 特 性 ， 我 們 可 以 找 出 兩 條 斜 率 分 別 在 I、 IV 象 限 的 背 景 或 道 路 的 光 流 ， 如 圖 2-19。 延 伸 此 兩 條 光 流 ， 其 交 點 即 為 FOE， 如 圖 2-20 示 意 。 Road Plane 背景和道 路之光流 將消失於 影像右邊 緣部份 圖 2-18 背 景 和 道 路 之 光 流 ， 水 平 分 量 必 朝 右 x y I II III IV Road Plane x y I IV III II FOE 圖 2-19 取 I,IV 象 限 各 ㄧ 個 光 流 求 FOE

圖 2-20 延 伸 兩 條 背 景 光 流 之 交 點 即 為 FOE 的 位 置 再 藉 由 FOE 之 位 置 結 合 在 影 像 右 緣 靠 近 FOE 之 光 流 資 訊 ， 不 難 在 影 像 中 找 出 一 條 直 線 ， 而 直 線 以 下 的 位 置 就 是 影 像 中 道 路 平 面 區 域 。 圖 2-22 為 估 測 道 路 平 面 之 結 果 ， 首 先 在 靠 近 影 像 平 面 之 右 邊 緣 找 出 八 組 在 I、 IV 象 限 各 一 條 背 景 或 道 路 之 光 流 ， 並 延 伸 各 組 兩 條 光 流 ， 便 可 找 出 八 個 交 點 位 置 ， 取 其 平 均 值 為 FOE 集 中 區 域 中 心 位 置 之 估 測 值 (447,86)， 如 圖 上 顯 示 紅 色 內 框 區 域；以 FOE 區 域 中 心 點 座 標 (447,86)與 靠 近 FOE 區 域 的 影 像 右 半 平 面 中 找 出 在 IV 象 限 光 流 資 訊 (4,-1)， 也 就 是 斜 率 -1/4， 可 得 一 條 直 線 A， 而 直 線 A 以 下 必 包 含 影 像 道 路 平 面 區 域 。 圖 2-21 直 線 A 以 下 為 道 路 平 面 區 域 估 測 之 結 果