影像追蹤系統及其在車輛安全之應用
56
0
0
全文
(2) 影像追蹤系統及其在車輛安全之應用 Visual Tracking System and Its Applications to Vehicle Safety. 研 究 生：楊智傑. Student: Chih-Chieh Yang. 指導教授：宋開泰 博士. Advisor: Dr. Kai-Tai Song. 國立交通大學 電機與控制工程學系 碩士論文 A Thesis Submitted to Department of Electrical and Control Engineering College of Electrical Engineering and Computer Science National Chiao Tung University in Partial Fulfillment of the Requirements for the Degree of Master in Electrical and Control Engineering July 2004 Hsinchu, Taiwan, Republic of China. 中華民國九十三年七月.
(3) 影像追蹤系統及其在車輛安全之應用 學 生 :楊 智 傑. 指 導 教 授 :宋 開 泰 博 士. 國立交通大學電機與控制工程學系. 摘要 本論文發展一套應用於車輛安全之影像追蹤系統。文中提出一基於特 徵 追 蹤 法 並 結 合 擴 散 焦 點 (FOE) 及 場 景 分 析 之 影 像 追 蹤 系 統 ， 此 系 統 可 自 動偵測並同時追蹤多個動態物體，包括汽車及機車，並可在複雜的環境中 有 效 地 分 離 背 景 與 動 態 物 體 ， 以 提 供 碰 撞 偵 測 之 資 訊 。 本 論 文 採 用 CMOS 影 像 感 測 器 及 Nios embedded processor 將 此 系 統 發 展 為 一 獨 立 式 系 統 ， 使 之能在車輛上獨立運作。我們將此獨立式影像追蹤系統置於車中進行實際 測試。測試之結果顯示本系統具有追蹤車輛並提供碰撞偵測之資訊。. I.
(4) Visual Tracking System and Its Applications to Vehicle Safety. Student: Chih-Chieh Yang. Advisor: Dr. Kai-Tai Song. Department of Electrical and Control Engineering National Chiao Tung University. ABSTRACT In the thesis, a visual tracking system for vehicle safety has been developed. We proposed a feature-based tracking system, which is combined with the concept of FOE and scenario analysis. This system can automatically detect and track multiple moving objects, including cars and motorcycles. The developed system can segment features of moving objects from moving background simultaneously and provide useful information of collision warning. Furthermore, we have realized the system in a stand-alone system, which can operate independently in the vehicle using a CMOS image sensor and Nios embedded processor architecture. The stand-alone visual tracking system has been validated in actual road environment. Experimental results show that the proposed methods successfully tracks front vehicles and provides information of collision warning.. II.
(5) 誌謝 謹向我的指導教授宋開泰博士致上感謝之意，感謝他兩年來在專業上 的指導，以他豐富的學識與經驗，配合理論的應用，使得本論文得以順利 完成。 感謝與我共同奮鬥的同學嘉豪、志豪、耀慶及栢瀚的相互鼓勵及提 攜，以 及 學 弟 柏 秋、恩 捷、松 峙、維 祥、崇 民 及 鎮 源 在 生 活 上 帶 來 的 樂 趣 ， 同時感謝學長任詔、奇謚及孟儒的指導，另外感謝茂綸公司周志峰先生、 周怡慧小姐及國家晶片系統設計中心吳錫澤先生的幫忙。 最後，特別感謝我的父母，由於他們的辛苦栽培，在生活上給予我細 心地關懷與照料，使得我得以順利完成此論文，在此我願以此論文獻給我 最感激的父母親。. III.
(6) 目錄 摘 要 ............................................................................................... I ABSTRACT ................................................................................... II 誌 謝 ............................................................................................. III 目 錄 ............................................................................................. IV 圖 例 ............................................................................................. VI 表 格 .............................................................................................. X 第 一 章 緒 論 ................................................................................... 1 1.1. 研 究 動 機 ............................................................................. 1. 1.2. 相 關 研 究 回 顧 ...................................................................... 2. 1.3. 問 題 描 述 ............................................................................. 5. 1.4. 章 節 說 明 ............................................................................. 5. 第 二 章 影 像 追 蹤 系 統 ..................................................................... 7 2.1. 場 景 分 析 ............................................................................. 7 2.1.1. 影 像 流 與 特 徵 流 ............................................................. 7 2.1.2. 擴 散 焦 點 (Focus of Expansion) ......................................... 9 2.1.3. 觀 察 者 與 移 動 中 物 體 的 相 對 運 動 .................................... 9 2.1.4. 道 路 場 景 分 析 .............................................................. 10. 2.2. 系 統 架 構 ........................................................................... 10. 2.3. Harris 角 點 偵 測 ................................................................. 13. 2.4. 角 點 比 對 ........................................................................... 16 2.4.1. 特 徵 點 運 動 預 測 (Feature motion prediction) ................... 16 2.4.2. 角 點 比 對 ..................................................................... 17. 2.5. 特 徵 流 分 析 ........................................................................ 18. 2.6. FOE 估 測 ........................................................................... 20. 2.7. 相 關 性 追 蹤 ........................................................................ 21. 2.8. 碰 撞 偵 測 ........................................................................... 23. 第 三 章 獨 立 式 影 像 追 蹤 系 統 設 計 .................................................. 24 3.1. 影 像 追 蹤 系 統 之 硬 體 架 構 ................................................... 24. 3.2. CMOS 影 像 感 測 器 介 紹 ...................................................... 26. 3.3. Nios 發 展 介 面 設 計 ............................................................. 27 IV.
(7) 3.4. 影 像 擷 取 介 面 設 計 ............................................................. 27. 3.5. Nios 之 規 劃 與 設 計 ............................................................ 32. 3.6. Harris 角 點 偵 測 硬 體 設 計 ................................................... 36. 3.7. Nios 之 軟 體 設 計 ................................................................ 43 3.7.1. 內 部 中 斷 向 量 設 定 與 記 憶 體 存 取 .................................. 43 3.7.2. 角 點 比 對 ..................................................................... 43 3.7.3. 影 像 流 分 析 .................................................................. 43 3.7.4. 相 關 性 追 蹤 與 碰 撞 偵 測 ................................................ 44. 第 四 章 實 驗 結 果 .......................................................................... 45 4.1. Matlab 模 擬 影 像 追 蹤 系 統 結 果 ........................................... 45. 4.2. 獨 立 式 系 統 驗 證 ................................................................. 48 4.2.1. CMOS 影 像 感 測 器 擷 取 實 驗 結 果 ................................... 48 4.2.2. Harris 角 點 偵 測 硬 體 之 實 驗 結 果 ................................... 49. 4.3. 實 車 測 試 結 果 .................................................................... 50. 4.4. 實 驗 討 論 ........................................................................... 58. 第 五 章 結 論 與 未 來 展 望 ................................................................ 59 5.1. 結 論 .................................................................................. 59. 5.2. 未 來 展 望 ........................................................................... 60. 參 考 文 獻 ...................................................................................... 61 附 錄 A NIOS 附錄 B. D E V E L O P M E N T K I T,. S T R AT I X E D I T I O N 規 格 ..................... 64. ICM 205B 之 規 格 ............................................................ 66. V.
(8) 圖例 圖 1-1 (a)擴 張 焦 點 (FOE, Focus of expansion) (b)Inner FOE window 與 Outer FOE window[2] ............................................................................ 4 圖 2-1 三 維 空 間 之 物 體 投 影 於 影 像 平 面 之 示 意 圖 .................................... 8 圖 2-2(a)觀 察 者 之 注 視 方 向 (line of sight)與 移 動 方 向 相 同 之 示 意 圖 (motion direction) (b) 此 時 觀 察 者 在 影 像 平 面 (image plane) 所 看 到 的 影 像 流 。 ........................................................................................... 8 圖 2-3 四 種 基 本 運 動 型 式 ..................................................................... 10 圖 2-4 道 路 場 景 分 析 (側 視 圖 ) .............................................................. 11 圖 2-5 道 路 場 景 分 析 (上 視 圖 ) .............................................................. 11 圖 2-6 車 前 所 見 之 影 像 ........................................................................ 11 圖 2-7 系 統 架 構 圖 .............................................................................. 13 圖 2-8 局 部 區 塊 於 影 像 中 的 位 置 。 ...................................................... 14 圖 2-9 特 徵 點 運 動 預 測 示 意 圖 .............................................................. 17 圖 2-10 GVM 角 點 比 對 示 意 圖 .............................................................. 18 圖 2-11 移 動 中 物 體 與 道 路 平 面 重 疊 示 意 圖 .......................................... 19 圖 2-12 道 路 之 特 徵 流 ， 垂 直 分 量 必 向 下 ............................................. 20 圖 2-13 道 路 之 特 徵 流 ， 取 I,IV 各 一 個 求 FOE ...................................... 21 圖 2-14 兩 道 路 特 徵 流 之 交 點 即 為 FOE 的 位 置 ..................................... 21 圖 2-15 相 關 係 數 之 求 法 ...................................................................... 22 圖 2-16 碰 撞 偵 測 範 圍 ......................................................................... 23 圖 3-1 影 像 追 蹤 系 統 之 硬 體 架 構 圖 ....................................................... 25 圖 3-2 ICM205B 之 外 觀 ........................................................................ 26 圖 3-3 Nios development kit, Stratix edition ........................................... 28 圖 3-4 輸 出 影 像 格 式 [21] ...................................................................... 28 圖 3-5 ICM205B 輸 出 腳 位 圖 [21] ........................................................... 29 圖 3-6 ICM205B 之 時 序 圖 (1)[21] .......................................................... 29 圖 3-7 ICM205B 之 時 序 圖 (2)[21] .......................................................... 30 圖 3-8 ICM205B 之 時 序 圖 (3)[21] .......................................................... 30 圖 3-9 Dual clock FIFO ......................................................................... 31 圖 3-10 中 斷 訊 號 ff_irq 電 路 圖 ............................................................. 32 VI.
(9) 圖 3-11 CMOS 取 像 時 序 圖 .................................................................... 33 圖 3-12 SOPC 之 操 作 介 面 .................................................................... 34 圖 3-13 DMA 運 作 示 意 圖 ..................................................................... 34 圖 3-14DMA 內 部 設 定 ......................................................................... 35 圖 3-15 School Boy 研 發 電 路 板 之 外 觀 .................................................. 36 圖 3-16 Harris 角 點 偵 測 之 腳 位 ............................................................. 36 圖 3-17 Harris 內 部 電 路 ....................................................................... 39 圖 3-18 角 點 與 水 平 、 垂 直 灰 階 梯 度 之 FIFO.......................................... 40 圖 3-19 高 斯 平 滑 遮 罩 (1) ..................................................................... 40 圖 3-20 高 斯 平 滑 遮 罩 (2) ..................................................................... 40 圖 3-21 3x3 mask generator 內 部 電 路 ................................................... 41 圖 3-22 7x7 mask generator .................................................................. 42 圖 4-1 影 像 追 蹤 系 統 之 外 觀 ................................................................. 45 圖 4-2 影 像 追 蹤 結 果 (1) ........................................................................ 46 圖 4-3 影 像 追 蹤 結 果 (2) ........................................................................ 46 圖 4-4 影 像 追 蹤 結 果 (3) ........................................................................ 46 圖 4-5 影 像 追 蹤 結 果 (4) ........................................................................ 46 圖 4-6 影 像 追 蹤 結 果 (5) ........................................................................ 47 圖 4-7 影 像 追 蹤 結 果 (6) ....................................................................... 47 圖 4-8 影 像 追 蹤 結 果 (7) ........................................................................ 47 圖 4-9 影 像 追 蹤 結 果 (8) ........................................................................ 47 圖 4-10 影 像 追 蹤 結 果 (9) ...................................................................... 47 圖 4-11 影 像 追 蹤 結 果 (10) .................................................................... 47 圖 4-12 影 像 追 蹤 結 果 (11) .................................................................... 48 圖 4-13 影 像 追 蹤 結 果 (12) .................................................................... 48 圖 4-14 CMOS 道 路 取 像 結 果 ................................................................ 48 圖 4-15 CMOS 室 內 取 像 結 果 ............................................................... 48 圖 4-16 原 始 影 像 ................................................................................. 49 圖 4-17 角 點 偵 測 結 果 (1) ...................................................................... 49 圖 4-18 角 點 偵 測 結 果 (2) ...................................................................... 49 圖 4-19 角 點 偵 測 結 果 (3) ...................................................................... 50 圖 4-20 角 點 偵 測 結 果 (4) ...................................................................... 50 VII.
(10) 圖 4-21 角 點 偵 測 結 果 (5) ...................................................................... 50 圖 4-22 角 點 偵 測 結 果 (6) ...................................................................... 50 圖 4-23 角 點 偵 測 結 果 (7) ...................................................................... 50 圖 4-24 角 點 偵 測 結 果 (8) ...................................................................... 50 圖 4-25 影 像 追 蹤 系 統 置 於 實 車 內 之 情 況 ............................................. 51 圖 4-26 與 前 車 距 離 遠 ......................................................................... 52 圖 4-27 前 車 接 近 中 ............................................................................. 52 圖 4-28 前 車 接 近 中 ............................................................................. 52 圖 4-29 前 車 接 近 中 ............................................................................. 52 圖 4-30 前 車 接 近 中 ............................................................................. 52 圖 4-31 系 統 發 出 碰 撞 警 示 燈 ............................................................... 52 圖 4-32 系 統 發 出 碰 撞 警 示 燈 ............................................................... 53 圖 4-33 系 統 發 出 碰 撞 警 示 燈 ............................................................... 53 圖 4-34 系 統 發 出 碰 撞 警 示 燈 ............................................................... 53 圖 4-35 系 統 發 出 碰 撞 警 示 燈 ............................................................... 53 圖 4-36 前 車 開 始 遠 離 ......................................................................... 53 圖 4-37 前 車 遠 離 ................................................................................ 53 圖 4-38 前 車 遠 離 ................................................................................ 54 圖 4-39 前 車 接 近 ， 系 統 警 示 ............................................................... 54 圖 4-40 系 統 發 出 碰 撞 警 示 燈 ............................................................... 54 圖 4-41 系 統 發 出 碰 撞 警 示 燈 ............................................................... 54 圖 4-42 前 車 遠 離 ................................................................................ 54 圖 4-43 前 車 遠 離 ................................................................................ 54 圖 4-44 前 車 接 近 ， 系 統 警 示 ............................................................... 55 圖 4-45 前 車 接 近 ， 系 統 警 示 ............................................................... 55 圖 4-46 與 前 車 近 ， 系 統 警 示 ............................................................... 55 圖 4-47 與 前 車 近 ， 系 統 警 示 ............................................................... 55 圖 4-48 與 前 車 近 ， 系 統 警 示 ............................................................... 56 圖 4-49 與 前 車 近 ， 系 統 警 示 ............................................................... 56 圖 4-50 前 車 遠 離 ， 但 仍 在 警 示 範 圍 .................................................... 56 圖 4-51 前 車 遠 離 ， 警 示 燈 熄 滅 ........................................................... 56 圖 4-52 前 車 遠 離 ................................................................................ 56 VIII.
(11) 圖 4-53 前 車 遠 離 ................................................................................ 56 圖 4-54 前 車 遠 離 ................................................................................ 57 圖 4-55 前 車 遠 離 ................................................................................ 57 圖 4-56 前 車 遠 離 ................................................................................ 57 圖 4-57 前 車 接 近 中 ............................................................................. 57 圖 4-58 前 車 接 近 中 ............................................................................. 57 圖 4-59 前 車 進 入 警 示 範 圍 .................................................................. 57 圖 4-60 前 車 進 入 警 示 範 圍 .................................................................. 58 圖 4-61 前 車 進 入 警 示 範 圍 .................................................................. 58 圖 4-62 前 車 進 入 警 示 範 圍 .................................................................. 58 圖 4-63 前 車 進 入 警 示 範 圍 .................................................................. 58. IX.
(12) 表格 表 1 本 論 文 所 用 之 符 號 定 義 ................................................................. 7 表 2 Nios 系 統 所 規 畫 的 元 件 ............................................................... 35 表 3 本 系 統 之 處 理 效 能 ....................................................................... 59 表 4 Stratix EP1S10F780C6ES 之 規 格 ................................................... 65. X.
(13) 1. 第一章 緒論 1.1 研 究 動 機 在 智 慧 型 運 輸 系 統 (Intelligent Transportation System)的 研 究 項 目 ， 先 進 車 輛 控 制 與 安 全 系 統 (Advanced Vehicle Control and Safety System, AVCSS) 的 許 多 研 究 重 點 大 都 致 力 於 如 何 避 免 行 車 意 外 的 發 生 [1] 。 各 個 國 家 也 投 入 很 多 的 資 金 與 人 力 來 改 進 道 路 安 全 與 增 加 現 在 道 路 的 效 率 [2]。如 美 、 日 兩 國 的 Intelligent Vehicle Highway System(IVHS) 、 歐 洲 的 Road Transport Informatics(RTI)等。這 些 系 統 可 接 收 車 子 周 圍 的 多 種 感 測 器 所 感 測到的資訊以及與其它車輛或道路上的交通監測系統來交換的資訊，將這 些資訊做一統整性的判斷。而先進車輛控制與安全系統可以是駕駛人的行 車 輔 助 系 統 (Driver assistant system) 或 是 自 主 式 車 輛 系 統 (Autonomous vehicle system)。行 車 輔 助 系 統 能 偵 測 行 車 周 圍 的 其 它 車 輛 及 障 礙 物、道 路 狀況以及駕駛人的精神狀況等等。當一有可能的危險發生時，如其它車輛 或障礙物的接近、路面不平整或駕駛人的精神不濟，行車輔助系統會適時 的提醒駕駛人，達到安全行車的目的。自主式車輛系統更可不需經過駕駛 人的操控，維持安全的行車，避免危險的發生。 自主式車輛具有兩大主要功能。第一，能自主式地行駛於道路上，此 主 要 為 一 側 邊 控 制 的 問 題 。 第 二 ， 能 與 前 方 車 輛 (前 導 車 或 其 它 車 輛 )保 持 安 全 距 離，或 將 前 方 車 輛 作 為 引 導 車 成 為 跟 車 系 統。此 為 一 縱 向 控 制 問 題。 其中縱向控制問題裡一個關鍵的議題是如何有效地感測周圍的環境，相關 的研究包括障礙物之偵測、障礙物範圍估測和整體場景之描述。當有效地 感測到周圍的環境後，才能針對不同的環境做適當的反應。而我們需要解 決 的 問 題 在 於 如 何 從 一 移 動 中 的 觀 察 者 (自 主 式 車 輛 )來 偵 測 與 其 它 車 輛 的 相對位置? 即為在動態背景中如何即時地偵測動態物體，且能同時追蹤多 個動態物體? 目前市面上採用置於車上的測距雷達可解決跟前車保持距離的問題 [3][4]， 然 而 ， 價 格 較 昂 貴 (通 常 取 決 於 雷 達 感 測 器 )及 其 本 身 性 能 上 的 限 制 (偵 測 範 圍 窄 和 側 向 解 析 度 低 )成 為 打 入 市 場 的 阻 礙 。 近 幾 年 來 電 腦 系 統 的 功能愈來愈強大及影像擷取晶片的性能高且價格低廉，使得影像感測器更 1.
(14) 趨 普 及 且 重 要 [5]。 超 音 波 、 雷 達 、 雷 射 為 主 動 感 測 器 ， 量 測 發 出 的 訊 號 與 接收訊號的時間差。然而為採用相同主動感測器會有數量上的限制，才不 會使訊號互相干擾，且反射率會因材質而有很大的變化。影像感測器屬於 被 動 感 測 器，且 只 有 視 覺 系 統 可 不 需 在 加 工 的 道 路 上 (如 在 道 路 裡 埋 磁 感 應 式 感 測 器 ) 偵 測 出 標 線 及 交 通 標 秩 [6] 。 影 像 感 測 器 的 另 一 個 優 點 在 於 可 同 時追蹤多個不同的物體。綜合以上觀點，本論文將運用影像感測器作為行 車 狀 況 之 感 測 介 面，發 展 一 影 像 追 蹤 系 統，可 在 動 態 背 景 中 偵 測 動 態 物 體， 且能同時追蹤多個動態物體。. 1.2 相 關 研 究 回 顧 藉 由 影 像 感 測 器 追 蹤 動 態 物 體 的 問 題 在 文 獻 中 一 般 分 為 兩 個 步 驟 [7]: 1. 移 動 估 測 (Motion estimation): 由 影 像 感 測 器 所 擷 取 到 的 二 維 影 像 中，估 測 物 體 在 此 二 維 影 像 中 移 動的影像流。 2. 移 動 詮 釋 (Motion interpretation): 將移動估測所得到的影像流還原成在三維空間中的移動量。 為了解決移動估測的問題，在文獻中許多的方法被提出來，可大略分 成 三 種 方 法 :基 於 光 流 法 之 追 蹤 (Optic flow based tracking)、 基 於 特 徵 法 之 追 蹤 (Feature based tracking)、 基 於 模 型 之 追 蹤 (Model based tracking)。 基於光流法之追蹤的原理為假設影像的亮度變化平滑且無空間上的 不連續，每點亮度在一微小時間間隔內移動一微小位移，假設其亮度為一 定 值 ， 而 導 出 光 流 限 制 式 (Image brightness constraint equation)， 大 部 分 提 出 的 方 法 還 會 結 合 其 它 的 限 制 法 則，如 邊 緣 資 訊 [8]、彩 色 資 訊 [9]或 Kalman Snakes[10] ， 利 用 移 動 之 物 體 與 背 景 移 動 的 速 度 的 不 同 ， 把 移 動 物 體 從 背 景中分離出來。光流法的一個優點是可以把速度場很快速的求出。另一項 優點為利用一些較多的資料可以使此法更強健。然而，其缺點在於此法需 要每秒較多的圖像數與較高的影像解析度來確保結果的正確。另外， Giachetti, et al 等 人 利 用 multi-scale/multi-window 的 概 念 [11]，不 需 高 的 時 間 與 空 間 的 解 析 度 即 可 求 出 速 度 場 ， 然 而 其 結 果 未 能 達 到 real-time。 2.
(15) 在 基 於 特 徵 法 之 追 蹤 的 研 究 上 ， Beymer, et al[12]提 出 解 決 車 輛 重 疊 問題。以往的做法是追蹤整輛車身，當兩輛車重疊時，因為特徵未能完全 比 對，導 致 追 蹤 失 敗。若 改 以 在 車 身 上 找 出 幾 個 特 徵 點 (此 法 以 角 點 作 為 特 徵 )， 即 使 車 輛 重 疊 時 ， 仍 可 依 現 有 的 部 分 特 徵 點 做 追 蹤 。 另 一 個 衍 生 的 問 題是如何把這些特徵點作分類呢? 意思是如何將這些特徵群組起來說這是 同一部車上的特徵而不會與其它的車的特徵混淆。作者依在同一物體上的 特徵會有相同的運動行為作為分類。利用多張連續影像的觀察，即使兩輛 等速行駛的車輛也不會一直維持相同速度，終究可以分類出特徵。但此法 應用在交通監測上，所使用的攝影機為靜止不動的，若考慮移動中的攝影 機，則 要 考 慮 場 景 的 變 化。Roberts 提 出 裝 設 在 移 動 中 的 車 輛 的 攝 影 機 所 擷 取 的 到 的 影 像 中 ， 偵 測 且 追 蹤 動 態 車 輛 的 方 法 [2]。 他 認 為 以 高 階 的 影 像 感 知 來 選 取 所 想 要 追 蹤 的 區 域 (Region of interest)，回 傳 給 低 階 的 影 像 處 理 (特 徵 抽 取 )， 做 特 定 區 域 的 特 徵 抽 取 ， 而 不 用 整 個 影 像 全 盤 特 徵 抽 取 ， 使 得 整 個處理加快許多。另外作者也對動態背景的影像流做詳細的分析，即擴張 焦 點 (Focus-of-5xpansion, FOE)的 概 念 ， 利 用 Inner FOE window 和 Outer FOE window 的 方 法 ， 將 影 像 分 割 成 三 個 部 分 ， 如 圖 1-1 所 示 。 Inner FOE window 內 的 解 析 度 低 ， 並 不 做 處 理 ， 如 圖 1-1(a)。 只 在 兩 window 之 間 偵 測 角 點 ， 而 在 Outer FOE window 外 做 持 續 追 蹤 。 Smith 提 出 ASSET-2 的 架 構 [13]，特 徵 (角 點 )的 抽 取 使 用 SUSAN corner detector，特 徵 的 比 對 從 原 來 的兩張連續影像改為多張連續影像，特徵的分類也從單一影像移動量變為 有考慮線性影像流的變化。對於兩輛車重疊時，也有做很好的預測。以上 特徵點追蹤法的挑戰在於如何分辨背景與移動物體的影像流的不同。 基 於 模 型 之 追 蹤 (Model based tracking)法 ， 這 方 面 的 學 者 希 望 能 把 移 動中的物體一般化。通常要看應用面，如要用到追踨車輛，則需要建立一 般 化 的 車 輛 模 型 ， 愈 能 描 述 多 種 車 型 愈 好 。 Leuven, et al 提 出 用 三 個 refinements :Kalman Prediction, Multiple Hypotheses, Dynamic Updating，讓 此法能在模糊的影像也能分辨。然而此模型只適用於一般的轎車。. 3.
(16) 圖 1-1 (a)擴 張 焦 點 (FOE, Focus of expansion) (b)Inner FOE window 與 Outer FOE window[2] 林俊宏提出讓一輛車單一的模型分成四個區域作小塊、多個的模型比 對 [1]。 一 開 始 提 供 使 用 者 能 快 速 選 取 追 蹤 目 標 車 輛 的 功 能 ， 以 使 其 更 符 合 實用的需求。前導車追蹤模組使用前一個模組選取的前導車影像作為初始 的 樣 板 (Template)，並 使 用 特 徵 匹 配 法 追 蹤 目 標 的 位 置。另 外，利 用 偵 測 前 車車牌在影像中的大小，來推算兩車的相對距離和相對速度。最後採用了 Fuzzy α -β filter 做 濾 波 並 預 測 前 車 的 位 置 ， 讓 系 統 更 加 實 用 。 然 而 需 要 手動選取目標車輛，且只有一台，無法達到自動分割多個動態物體。如果 車身為白色或亮色，將無法有效地從中找出車牌位置。 綜觀以上的方法，整理各方法之特性: 光流法: 優點: 利用一些較多的資料使方法穩健。 缺點: 1. 由 於 是 對 時 間 與 空 間 的 微 分 ， 所 以 抗 雜 訊 低 。 2. 對 於 影 像 時 間 與 空 間 的 解 析 度 要 高 。 3. 物 體 的 移 動 必 需 是 平 滑 且 連 續 。 特徵法: 優 點 :由 於 只 找 出 影 像 中 的 特 徵 點 ， 處 理 的 資 料 量 小 。 缺點: 4.
(17) 1. 特 徵 點 的 挑 選 必 需 要 明 顯 且 在 時 間 與 空 間 上 要 穩 定 呈 現 。 2. 物 體 的 移 動 不 應 包 含 翻 轉 的 動 作 ， 而 使 特 徵 點 消 失 。 3. 特 徵 點 的 匹 配 與 預 測 法 則 需 對 應 用 面 做 不 同 的 設 計 。 模型比對法: 優點: 1. 即 使 物 體 在 靜 止 時 也 能 依 所 存 在 的 模 型 找 到 物 體 。 2. 抗 雜 訊 能 力 強 ， 即 使 在 模 糊 的 環 境 也 能 比 對 。 缺點: 模型的建立無法全面性，且車子的形式不可能完全一樣，還有 其它如機車、行人等要對每種物體作各別的模型是不實際的做 法。. 1.3 問 題 描 述 綜合以上的方法，有鑑於在台灣的交通，機車占了很重要的部分，為 了能同時偵測機車和汽車，建立多個模型來比對較不適合。另一方面，希 望能即時處理影像資料，因此選擇特徵點追蹤法作為本論文的主軸。然而 特徵點追蹤法所面臨的問題是如何利用這些特徵點在連續圖像間的移動 (在 此 稱 為 特 徵 流 )來 分 離 移 動 中 物 體 與 背 景 的 特 徵 點 。 雖 然 Robert[2]提 出 雙 FOE window 的 作 法 ， 但 對 於 複 雜 的 背 景 而 言 ， 遠 方 背 景 的 特 徵 仍 容 易 與移動中物體的特徵混淆。意思是說離觀察者愈遠的背景的特徵點，從觀 察者的角度來看，其特徵點的移動量不大。另一方面，若移動中的物體的 行進速度和方向與觀察者相似的話，從觀察者的角度來看，其特徵點的移 動量也不大，所以此兩種特徵點並不能只靠移動量來區分。故本論文的目 標為發展一能在動態背景中簡單且有效地偵測出動態物體並持續追蹤其特 徵點之影像追蹤系統。另外，為了達到易於與自主式車輛結合的目的，本 論 文 將 此 影 像 追 蹤 系 統 實 現 於 獨 立 式 系 統 (Stand alone system)， 使 之 能 在 車輛上獨立運作。. 1.4 章 節 說 明 本論文共分五章，第一章為介紹相關研究背景，並說明研究目標。第 二章介紹影像追蹤系統，包括場景的分析、特徵點的偵測與其追蹤法則。 第 三 章 介 紹 獨 立 式 影 像 追 蹤 系 統 設 計，包 括 硬 體 架 構、影 像 擷 取 介 面 設 計、 5.
(18) 角點偵測電路設計、追蹤法則設計。第四章為實驗結果，使用所發展的影 像處理系統進行測試。第五章為結綸與未來展望。. 6.
(19) 2. 第二章 影像追蹤系統 在 此 先 將 本 論 文 所 用 的 符 號 定 義 整 理 如 表 1: 表 1 本論文所用之符號定義 Symbol: Explanation. ∗ :線 性 迴 旋 積 分 ∩ :交 集 運 算 子. E x , y :灰 階 值 變 化 量 wu ,v :以 (u,v)為 中 心 點 的 局 部 區 塊 I u ,v ： 影 像 中 點 (u,v)的 灰 階 值 x,y： 分 別 為 在 x 方 向 和 y 方 向 的 移 動 量. σ ： 標 準 差 (standard deviation). ρ ： 相 關 係 數 (Correlation coefficient) I ij ： 模 板 影 像 I 中 第 (i,j)個 像 素 (pixel)之 灰 階 值 M ij ： 映 射 矩 陣 M 中 第 (i,j)個 像 素 (pixel)之 灰 階 值. 2.1 場 景 分 析 在說明所要分析的場景之前，我們需要先了解影像流、特徵流以及觀 察 者 、 移 動 中 的 物 體 與 背 景 之 間 可 能 的 相 對 運 動 型 式 和 擴 張 焦 點 (Focus of expansion)的 概 念 。. 2.1.1. 影 像 流 與 特 徵 流 影 像 流 (Image flow) 是 用 三 維 空 間 中 物 體 在 影 像 平 面 上 的 投 影 點 的 二 維 速 度 來 表 示 三 維 空 間 中 相 對 應 投 射 點 的 速 度 ， 以 圖 2-1 來 說 明 ， 一 個 剛 體 B 相 對 於 影 像 平 面 作 任 意 方 向 的 運 動，而 在 剛 體 上 有 一 點 P 具 有 速 度 S， 其 世 界 座 標 為 (X, Y, Z)，原 點 固 定 於 O w。影 像 平 面 是 以 O w 作 為 投 影 中 心 (即 觀 點 )， 同 時 在 影 像 平 面 上 有 影 像 座 標 系 統 (x,y)， 原 點 O I 被 世 界 座 標 的 Z 軸所通過。則假如影像平面上的一點 p 是空間中點 P 的投影點，則 p 的速 度 向 量 V=(u, v)就 是 空 間 中 點 P 速 度 向 量 S 的 投 影，所 以 經 由 前 面 的 定 義， 速 度 向 量 V 就 是 P 點 速 度 向 量 S 投 影 在 p 點 的 影 像 流 速 度 向 量，並 且 可 用 7.
(20) Y. OW X World coordiante V. v. u. p. y. Oi. x. Image plane. S. Rigid Body. P. 圖 2-1 三 維 空 間 之 物 體 投 影 於 影 像 平 面 之 示 意 圖 Image plane. Line of sight. Motion direction. Obeserver. (b). (a). 圖 2-2(a)觀 察 者 之 注 視 方 向 (line of sight)與 移 動 方 向 相 同 之 示 意 圖 (motion direction) (b)此 時 觀 察 者 在 影 像 平 面 (image plane)所 看 到 的 影 像 流 。 它來代替描述點 P 在空間中之運動。而像這種影像流速度向量在整個影像 平 面 上 的 分 布 情 形 就 構 成 了 所 謂 的 影 像 流 場 (Image-flow field)[14]。. 特 徵 流 (Feature flow) 則 是 在 連 續 影 像 中 把 每 張 影 像 的 特 徵 點 擷 取 出 來，並在影像間比對其特徵。因此可看作是這些特徵點會在影像間運動， 而我們稱這些特徵點在整個影像平面上移動分佈的情形稱為影像流場 8.
(21) (Feature-flow field)。. 2.1.2. 擴 散 焦 點 (Focus of Expansion) 首先我們先考慮觀察者與背景之間的相對運動，在此定義背景是在空 間中靜止不動的物體。當我們移動經過一個在空間中是靜止的物體時，投 影在眼睛視網膜上的世界看起來就好像在流動一般。事實上在移動方向 (Motion direction)及 注 視 方 向 (Line of sight)已 知 的 情 況 下 ， 視 網 膜 或 稱 影 像 平 面 (Image plane)上 所 看 到 世 界 中 的 物 體 就 好 像 從 視 網 膜 上 某 特 定 點 流 出 來 一 樣 ， 而 這 個 特 定 點 就 是 所 謂 的 擴 張 焦 點 ， 簡 稱 FOE。 當 我 們 注 視 方 向 與 移 動 方 向 相 同 時 ， 如 圖 2-2(a)， 則 會 看 到 如 圖 2-2(b)的 景 像 。 每 個 運 動 與 注 視 方 向 者 會 產 生 唯 一 的 FOE。 假 如 運 動 方 向 平 行 於 視 網 膜 (影 像 )平 面 則 FOE 可 能 位 於 視 網 膜 (影 像 )平 面 範 圍 以 外 無 窮 遠 的 位 置 上 [15]。. 2.1.3. 觀 察 者 與 移 動 中 物 體 的 相 對 運 動 一般出現在動態影像中的運動通常由四個基本運動型式所構成，如圖 2-3[14]， 這 四 個 基 本 運 動 型 式 分 別 是 ： 型 式 一：與 觀 察 者 保 持 固 定 距 離 的 移 動 (Translation)，移 動 的 方 向 與 視 軸 方 向 垂 直 。 觀 察 者 看 到 的 影 像 如 圖 2-3(a)， 圖 中 物 體 是 相 對 觀 察 者 向右移動。 型式二: 與觀察者的距離是呈遠近變化的移動，移動方向與視軸方向平 行 。 觀 察 者 看 到 的 影 像 如 圖 2-3(b)， 圖 中 物 體 正 接 近 觀 察 者 。 型 式 三 : 與 視 軸 保 持 固 定 距 離 的 轉 動 (Rotation) 。 觀 察 者 看 到 的 影 像 如 圖 2-3(c)， 圖 中 物 體 正 向 左 旋 轉 。 型 式 四 : 與 視 軸 保 持 固 定 距 離 的 轉 動 (Rotation)， 但 旋 轉 軸 線 垂 直 於 視 軸 。 觀 察 者 看 到 的 影 像 如 圖 2-3(d)， 圖 中 物 體 正 逆 時 針 翻 轉 。. 9.
(22) Line of sight. Line of sight. (a) Type I. Line of sight. (b) Type II. (c) Type III. Line of sight (d) Type IV. 圖 2-3 四 種 基 本 運 動 型 式. 根據這四個基本運動型式，由於我們所要追蹤的物體是前方行駛中的車 輛，幾乎為型式一與二的組合。至於型式三、四則是因為路面的高低起伏 而產生的，因為遠小於前兩者，故在此不多做討論。. 2.1.4. 道 路 場 景 分 析 綜合前兩小節，本論文所要研究的道路影像為向前直行於平面道路上 的 車 (簡 稱 本 車 )中 所 見 到 的 前 方 連 續 影 像，如 圖 2-4，影 像 中 可 看 到 行 駛 於 本 車 前 方 的 車 輛 (簡 稱 前 車 )， 其 行 駛 方 向 與 本 車 相 同 ， 如 圖 2-5。 因 為 移 動 方 向 (Motion direction)與 CMOS 影 像 感 測 器 之 注 視 方 向 相 同 ， 則 影 像 中 必 會 出 現 FOE， 而 其 位 置 約 位 於 影 像 中 心 點 ， 如 圖 2-6 所 示 。 就 運 動 型 式 一 而言，前車在影像中會呈現左右的移動，而無上下之移動。其大小會隨運 動 型 式 二 的 移 動 而 改 變 ， 愈 接 近 本 車 ， 形 體 愈 大 ;反 之 愈 小 。. 2.2 系 統 架 構 本論文主要是基於特徵法之追蹤的原理在利用追蹤的物體所表現出 一些特殊、可信的特徵做為追蹤的依據，然後在每張影像中找出其相關的 位 置 [2]。 這 些 特 徵 通 常 為 邊 緣 、 角 點 或 紋 理 等 可 以 很 清 楚 地 在 每 張 影 像 中 被 確 認 出 來 。 Barnard and Thompson [16]提 出 對 好 的 特 徵 的 三 個 重 要 的 準 則: 1. 特 徵 必 須 可 明 確 地 定 義 出 來 ， 而 且 是 離 散 的. 10.
(23) Image plane Field of view. CMOS Sensor. Line of sight Motion direction. Road plane. 圖 2-4 道 路 場 景 分 析 (側 視 圖 ). Field of view. Motion direction. FOE. CMOS Sensor 圖 2-5 道 路 場 景 分 析 (上 視 圖 ). 圖 2-6 車 前 所 見 之 影 像. 2. 特 徵 必 需 在 時 間 上 是 穩 定，即 相 同 的 特 徵 點 經 過 一 段 時 間 還 保 有 相 似的特性。 3. 對 於 相 似 的 特 徵 在 匹 配 上 必 需 一 致 。. 11.
(24) 從特徵點找出特徵流包括兩個步驟: 1. 將 特 徵 點 從 兩 張 或 更 多 張 的 連 續 影 像 中 抽 取 出 來 。 抽 取 出 來 的 特 徵 要準確地位於該影像平面上，因為特徵位置的誤差會影響後序整個 處理過程的準確度。 2. 這 些 特 徵 點 必 需 在 各 個 影 像 間 被 追 蹤 與 比 對 。. 在邊緣、角點和紋理三種特徵中，因為角點屬於二維特徵點，經由追 蹤 比 對 後，可 得 到 明 確 的 移 動 資 訊，故 本 論 文 採 用 角 點 作 為 特 徵 點。圖 2-7 顯示本論文提出之影像追蹤系統，其設計主要分為六部分：特徵擷取、特 徵 比 對 、 特 徵 流 分 析 、 FOE 估 算 、 相 關 性 追 蹤 及 碰 撞 偵 測 。 一 開 始 輸 入 連 續 灰 階 影 像 經 由 特 徵 擷 取 (Feature detector) 將 每 張 影 像 圖 像 (Image frame) 所 偵 測 到 的 特 徵 點 (即 角 點 )位 置、及 其 屬 性 (灰 階 值、水 平 和 垂 直 灰 階 梯 度 ) 形 成 一 特 徵 點 清 單 (Feature list)。再 由 特 徵 比 對 (Feature matching)將 鄰 近 兩 張圖像所得到的特徵點清單比對，得到特徵點在連續影像中移動的向量， 在 此 稱 特 徵 流 (Feature flow)。用 特 徵 分 析 器 (Flow analyser) 來 分 析 特 徵 流 ， 找 出 屬 於 背 景 特 徵 的 特 徵 流，經 過 FOE 估 算 (FOE estimation)定 義 出 偵 測 範 圍 (Detect region)回 傳 給 特 徵 分 析 器。找 出 在 偵 測 範 圍 內 符 合 移 動 中 物 體 的 特 徵 流 ， 將 其 特 徵 點 位 置 輸 出 給 相 關 性 追 蹤 (Correlation tracking)在 原 始 影 像 中 擷 取 出 以 其 特 徵 點 為 中 心 的 樣 板 (Template)。最 後 依 其 樣 板 在 連 續 影 像 中持續追蹤。碰撞偵測則是定義出與前車的安全距離，若偵測到移動中物 體的特徵點在安全距離內，則發出警告訊號提醒駕駛人。以下則分別解說 每一個區塊。. 12.
(25) Feature detector. Gray-level Images. Feature list Observer moving direction (straight, right or left). Feature matching Feature flow Flow analyser. Detect region Background flow. FOE estimation. Moving objects flow Correlation tracking Moving objects position. Collision detect. Alarm signal. 圖 2-7 系 統 架 構 圖. 2.3 Harris 角 點 偵 測 本 論 文 所 使 用 的 角 點 偵 測 法 則 是 由 Harris [17]於 1988 年 所 提 出。其 主 要 的 觀 念 是 從 Moravec[18] 的 角 點 偵 測 所 延 伸 出 來 的 。 故 我 們 先 了 解 Moravec 角 點 偵 測 的 原 理 。 Moravec 考 慮 在 影 像 中 一 局 部 的 區 塊 (Local window)，經 由 將 此 區 塊 在 各方向做小幅的移動，偵測其灰階值平均改變的情況。主要分為以下三種 情況： 1.. 若 此 區 塊 在 灰 階 值 平 坦 的 影 像 區 域 中 移 動 (即 灰 階 值 變 化 近 似 一 定 值 )， 則 各 方 向 的 移 動 所 得 的 灰 階 值 變 化 均 很 小 ， 如 圖 2-8( a ) 。. 13.
(26) A local window. (a) 位 於 平 坦 的 影 像 中. (b) 位 於 邊 緣 的 影 像 中. (c) 位 於 角 點 的 影 像 中. 圖 2-8 局 部 區 塊 於 影 像 中 的 位 置 。 2.. 若 此 區 塊 在 含 有 邊 緣 的 影 像 區 域 中 移 動，則 區 塊 沿 著 邊 緣 的 移 動 所 得 的 灰 階 值 變 化 很 小。但 垂 直 於 邊 緣 方 向 的 移 動 所 得 的 灰 階 值 變 化 則 有 大 幅 的 變 化 ， 如 圖 2-8(b)。. 3.. 若 此 區 塊 在 含 有 一 角 點 (Corner) 或 一 獨 立 的 點 (Isolated point) 的 影 像 區 域 中 移 動，則 此 區 塊 在 各 方 向 上 移 動 所 得 的 灰 階 直 變 化 均 很 大 ， 如 圖 2-8(c)。. 故我們可以將區塊藉由各方向小幅的移動，均得到明顯的灰階值變化 來偵測角點。 由 以 上 的 分 析 ， 我 們 可 以 用 式 (2-1) [17]來 表 示 。. E x , y = ∑ wu , v I x + u , y + v − I u , v. 2. (2-1). u ,v. 其 中 wu ,v 為 中 心 點 是 (u,v)的 局 部 區 塊，在 此 定 義 為 一 固 定 大 小 的 矩 形 區 塊 ， 若 影 像 中 的 點 (Pixel) 位 於 此 區 塊 中 ， wu ,v = 1 ， 否 則 wu ,v = 0 。 I u ,v 為 影 像 中 點 (u,v)的 灰 階 值 。 x,y 分 別 為 在 x 方 向 和 y 方 向 的 移 動 量 。 E x , y 則 是 計 算 後 的 灰 階 值 變 化 量 。 因 此 Moravec 認 為 只 要 找 出 E x , y 的 局 部 最 大 值 且 大 於 某 於 閥 值 min{E}即 為 角 點 。 然 而 Harris 提 出 三 點 Moravec 會 遇 到 的 問 題 1.. 對 於 數 位 影 像 ， 我 們 只 需 考 慮 每 隔 45°方 向 的 小 幅 移 動 ， 將 式 (2-1)泰 勒 展 開 得 式 (2-2) [17]. 14.
(27) [. ]. E x , y = ∑ wu ,v xX + yY + O (x 2 , y 2 ). 2. (2-2). u ,v. 其 中 O (x 2 , y 2 ) 為 泰 勒 展 開 式 的 二 次 以 上 的 多 項 式 一 階 導 數 X,Y 可 由 式 (2-3)、 (2-4) [17]近 似. X = I ∗ ( −1,0,1) = ∂I / ∂x. (2-3). Y = I ∗ ( −1,0,1) T = ∂I / ∂y. (2-4). 對 於 x, y 分 量 有 極 小 的 移 動 量，式 (2-2)忽 略 較 高 次 項 (即 忽 略 O (x 2 , y 2 ) ) 得 式 (2-5) [17] E x , y = Ax 2 + 2Cxy + By 2. (2-5). 其 中 A = X 2 ∗ w , B = Y 2 ∗ w , C = ( XY ) ∗ w 2.. E x , y 對 影 像 的 雜 訊 很 敏 感，因 為 wu ,v 定 義 為 以 (u,v) 為 中 心 的 的 局 部 矩 形 區 塊 ， 若 影 像 中 的 點 (Pixel) 位 於 此 區 塊 中 ， wu ,v = 1 ， 否 則 wu ,v = 0 。 Harris 改 用 Gaussian 函 數 產 生 一 平 滑 變 化 的 圓 形 區 塊 (Smooth circular window) ， 如 式 (2-6) [17]. wu ,v = e − ( u 3.. 2. + v 2 ) / 2σ 2. (2-6). 式 (2-1) 只 考 慮 E 的 最 小 值 (min{E})，致 使 式 (2-1) 對 邊 緣 的 反 應 變 化 太 大 。 將 式 (2-1) 改 寫 為 式 (2-7) [17] E ( x, y ) = ( x, y ) M ( x, y )T. (2-7). 其 中 M 為 一 2 × 2 的 對 稱 矩 陣 (symmetric matrix) ， 如 式 (2-8) [17]. 15.
(28) ⎡ A C⎤ M =⎢ ⎥ ⎣C B ⎦. (2-7). Harris 分 析 出 當 M 的 特 徵 值 α , β 都 很 大 時 ， 即 為 角 點 。 並 提 出 角 點 /. 邊 緣 響 應 方 程 式 (Corner/edge response function) ， 如 式 (2-9) [17]. R = Det ( M ) − k ⋅ [Tr( M )]. 2. (2-9). 其 中 Tr( M ) = α + β = A + B , Det ( M ) = αβ = AB − C 2 , k 為 常 數，通 常 設 為 0.04。 找出 R 的局部最大值且大於某一閥值即為角點。. 2.4 角 點 比 對 追蹤角點的流程是對連續影像中的每一張圖像擷取出角點，再從該角 點 的 初 始 圖 像 與 隨 後 的 圖 像 間 做 比 對。角 點 比 對 包 含 兩 個 步 驟 : 首 先 對 該 角 點 的 移 動 做 預 測，稱 為 特 徵 點 運 動 預 測 (Feature motion prediction)，定 義 出 角點的候選名單，再針對這些角點做比對。以下分別對特徵運動預測 (Feature motion prediction) 與 GVM(Gradient Vector Matcher)[2] 角 點 比 對 說. 明。. 2.4.1. 特 徵 點 運 動 預 測 (Feature motion prediction) 由於影像的雜訊、移動物體的任意移動及攝影機本身的位移，對特徵 點運動的預測不可能完全準確地預測其位置。因此我們必須定義出影像平 面 中 一 個 以 預 測 後 位 置 為 中 心 的 區 域 ， 在 此 稱 為. Region. of. Interest(ROI)[19][2]。如 圖 2-9 所 示，當 我 們 找 出 時 間 為 t-2 的 圖 像 ( 以 後 簡. 稱 frame(t-2)) 裡 的 A 點 ， 對 應 到 時 間 為 t-1 的 圖 像 ( 以 後 簡 稱 frame(t-1)) 裡 的 A’ 點 。 設 A 到 A’ 的 距 離 ( A − A' )=L ， 則 我 們 可 以 預 測 A’ 在 frame(t) 時 可 能 的 位 置 為 A” 。 A” 的 估 測 位 置 為 (x”,y”) ， 如 式 (2-10) 、 (2-11) 。. x" = ( x '− x ) + x ' = 2 x '− x. (2-10). y" = ( y ' − y ) + y ' = 2 y ' − y. (2-11). 16.
(29) features(t-2) Motion prediction. A" ‧ (x",y"). features(t-1) features(t). A' L. (x',y'). A. Detection region. (x,y) 圖 2-9 特 徵 點 運 動 預 測 示 意 圖 本 論 文 設 ROI 的 大 小 為 7 × 7 pixels。接 著 找 出 落 於 ROI 中 的 特 徵 點 ( 如 圖 2-9 所 示 之 圓 形 特 徵 點 ) 與 A” 比 對 。. 2.4.2. 角 點 比 對 本 論 文 主 要 用 GVM(Gradient Vector Matcher) [2][19] 作 為 角 點 比 對 的 方法，並做部分的更改。以下對本論文作法做詳細說明。 當 我 們 用 Harris 偵 測 出 角 點 時 ， 同 時 將 該 角 點 的 性 質 : 灰 階 值 ( 以 下 簡 稱 I) 、 水 平 灰 階 梯 度 ( 以 下 簡 稱 dx) 及 垂 直 灰 階 梯 度 ( 以 下 簡 稱 dy) 作 為 比 對 的 項 目。由 於 一 般 的 CM OS 影 像 感 測 器 會 有 自 動 調 整 影 像 灰 階 度 的 功 能 ( 即 自 動 白 平 衝 ,Auto white balance) ， 以 保 持 影 像 不 會 過 度 曝 光 或 太 暗 。 故 我 們 不 能 直 接 用 I,dx,dy 來 比 對 角 點 。 因 此 我 們 將 設 一 個 三 維 向 量 由 I,dx,dy 三 個 分 量 所 組 成，假 設 原 角 點 之 向 量 為 v，候 選 角 點 之 向 量 為 w，如 圖 2-10 所示。 將 v,w 用 式 (2-12) 比 對 ， 其 中 m(v,w) 為 比 對 可 信 值 (Match confidence value)。若 m 值 愈 小，則 兩 角 點 愈 相 似，在 此 設 一 閥 值 mth=0.0007。原 GVM. 的 作 法 是 將 該 角 點 周 圍 3 × 3 的 (dx ) 2 相 加 再 開 根 號 取 代 dx，同 理，該 角 點 周 圍 3 × 3 的 (dy ) 2 相 加 再 開 根 號 取 代 dy。但 這 樣 會 把 向 量 v,w 原 有 的 四 個 象 限 縮為一個象限，減少比對的可信度。然而此法仍有比對錯誤的時候，但經. 17.
(30) I. Current corner Candidate corner V W Iy. Ix. 圖 2-10 GVM 角 點 比 對 示 意 圖 過多個連續圖像的比對後，自然而然這些比對錯誤的角點會被濾除，這也 是使用多張圖像處理的好處之一。. m( v , w) =. v−w vw. (2-12). 2.5 特 徵 流 分 析 若我們在連續的影像中成功地比對角點，則可得到特徵點在連續影像 中的移動資訊，即為特徵流。而特徵流的分析則是要與現實的場景結合， 才能分割出移動中的物體。首先我們先定義角點被成功地比對為此角點在 連續的十張圖像中都能夠被比對。 一 般 來 說 ， 靜 態 背 景 的 特 徵 流 必 是 由 FOE 輻 射 狀 向 外 擴 散 ， 離 FOE 愈 遠 ， 擴 散 速 度 愈 快 。 然 而 ， 靜 態 背 景 的 特 徵 流 移 動 的 速 度 並 不 只 與 FOE 的 距 離 有 關 ， 還 跟 本 車 (即 觀 察 者 )與 該 背 景 的 距 離 有 關 。 離 本 車 愈 遠 的 靜 態 背 景 的 特 徵 點 擴 散 速 度 愈 慢 (在 此 稱 遠 方 背 景 特 徵 點 )。 由 2.1 場 景 分 析 可 知 我 們 所 要 追 蹤 的 物 體 為 行 駛 於 道 路 上 的 前 方 車 輛 ( 簡 稱 前 車 ) 。 設 前 車 之 車 速 為 Vc ， 本 車 之 車 速 為 Vo ， 以 運 動 型 式 二 來 分 ，. 前車在影像平面中有三種表現： 18.
(31) 1. Vc>Vo ， 前 車 將 超 前 本 車 ， 即 超 車 。 其 特 徵 流 必 朝 向 FOE 。 2. Vc ≅ Vo ， 前 車 與 本 車 約 保 持 固 定 距 離 。 其 特 徵 流 移 動 量 甚 小 。 3. Vc<Vo ， 前 車 逼 近 本 車 。 前 車 之 特 徵 流 會 遠 離 FOE 。. 第 1 項因為與背景特徵流之方向完全相反，故可輕易地與背景特徵流 區分。第 2 項，看似也可由移動特性來區分。但遠方之背景特徵流也是移 動緩慢，故並不能用移動特性區別。第 3 項，理論上，雖然也是同背景特 徵 流 一 樣 遠 離 FOE 運 動，由 於 前 車 屬 於 高 速 行 駛 狀 態，故 向 外 擴 散 的 速 度 遠小於背景特徵流。但它的問題同第 2 項，相似於遠方背景的特徵流。. 本 論 文 提 出 將 針 對 第 2、3 項 之 前 車 與 遠 方 之 背 景 的 特 徵 流 之 區 分 提 出 解決方法。由於我們所要追蹤之前車為行駛於道路上之車輛。故由影像平 面 來 看，前 車 之 特 徵 點 必 與 道 路 區 域 有 所 重 疊，以 式 (2-13) 表 示，如 圖 2-11 所示。遠方之背景特徵並沒有與道路區域重疊，故可將兩者分開。. ( moving _ objects ) ∩ ( road _ plane) > 0. 圖 2-11 移 動 中 物 體 與 道 路 平 面 重 疊 示 意 圖. 19. (2-13).
(32) 問題是我們如何找出在影像中道路的平面區域? 經由觀察，不難發現 道 路 平 面 必 在 FOE 之 下 方 。 所 以 我 們 可 以 用 FOE 的 位 置 估 測 道 路 平 面 的 區 域 ， 由 圖 1-1(a) 知 接 近 FOE 的 區 域 ， 其 解 析 度 低 ， 並 不 適 合 特 徵 流 的 分 析 ， 故 我 們 將 設 道 路 平 面 設 為 FOE 若 干 距 離 以 下 的 區 域 。 2.6 將 介 紹 FOE 之估測。. 2.6 FOE 估 測 本 論 文 提 出 一 個 藉 由 找 出 道 路 特 徵 流 來 估 測 FOE 之 法 則，以 下 將 對 其 詳 細 說 明 。 FOE 產 生 是 由 於 觀 察 者 本 身 的 移 動 ， 造 成 靜 態 物 體 的 特 徵 流 會 從 該 點 向 外 擴 散。由 此 可 知，我 們 必 須 找 出 屬 於 背 景 的 特 徵 流 來 估 測 FOE。 在影像中諸多的特徵流，我們發現道路的特徵流其垂直分量向下，消失於 影 像 下 緣 部 分，如 圖 2-12。根 據 此 特 性，我 們 可 以 找 出 兩 條 斜 率 分 別 在 I 、 IV 象 限 的 道 路 特 徵 流 ， 如 圖 2-13。 延 伸 此 兩 條 特 徵 流 ， 其 交 點 即 為 FOE ，. 如 圖 2-14 。. 圖 2-12 道 路 之 特 徵 流 ， 垂 直 分 量 必 向 下. 20.
(33) 圖 2-13 道 路 之 特 徵 流 ， 取 I,IV 各 一 個 求 FOE. FOE. 圖 2-14 兩 道 路 特 徵 流 之 交 點 即 為 FOE 的 位 置. 2.7 相 關 性 追 蹤 經 由 特 徵 流 分 析 與 FOE 估 測，我 們 得 到 移 動 物 體 的 特 徵 點。但 因 為 影 像受到外界光變化的影響或訊號本身的雜訊，角點比對無法在連續影像持 續 很 久 。 所 以 我 們 用 相 關 係 數 (Correlation coefficient)[20][1] 的 方 法 將 特 徵 點持續追蹤。. 21.
(34) 如 圖 2-15 所 示 ， 設 點 A 為 在 圖 像 (t) 偵 測 出 移 動 物 體 的 特 徵 點 ， 位 置 為 (x 0 ,y 0 ) ， I 是 以 A 為 中 心 ， 大 小 為 m × n 之 模 板 影 像 (Template image) 。 M 則 為 圖 像 (t+1) 中 ， 取 一 大 小 為 m × n 的 映 射 矩 陣 (Mapping matrix) ， 即 我 們 要比對是否與 I 模板影像相似。 用 式 (2-14) 求 出 相 關 係 數 (Correlation coefficient) ρ ， 在 此 設 一 閥 值 為 0.7[1]。 ρ 愈 大 表 M 與 I 愈 相 似。其 中 I ij 為 模 板 影 像 I 中 第 (i,j) 個 像 素 (Pixel). 之 灰 階 值 ， M ij 為 映 射 矩 陣 M 中 第 (i,j) 個 像 素 (Pixel) 之 灰 階 值 。 若 M(x,y) 有 ρ 之 最 大 值 且 大 於 0.7 ， 該 M 之 中 心 點 位 置 為 A’(x,y) ， 則 將 A 的 位 置 更 新 為 (x,y) ， 完 成 整 個 比 對 的 過 程 。. m. ρ=. n. m. n. m. n. mn ∑∑ ( I ij ⋅ M ij ) − ∑∑ I ij ∑∑ M ij i =1 j =1. i =1 j =1. i =1 j =1. (2-14). m n m n m n m n ⎡ 2 2⎤ ⎡ 2 2⎤ ⎢mn ∑∑ ( I ij ) − ( ∑∑ I ij ) ⎥ ⋅ ⎢mn ∑∑ ( M ij ) − ( ∑∑ M ij ) ⎥ i =1 j =1 i =1 j =1 ⎦ ⎣ i =1 j =1 ⎦ ⎣ i =1 j =1. 本 論 文 所 使 用 之 模 板 影 像 I 的 大 小 為 7 × 7 像 素。映 射 矩 陣 M 則 為 以 該 特 徵 點 為 中 心 之 11 × 11 像 素 之 間 任 一 點 作 為 M 之 映 射 矩 陣 之 中 心 點，如 圖 2-15 。. Frame t+1. Frame t 7 I x0. (x0,y0) ‧A. 11 Search region (x0,y0). 7. x0. ‧A. M A＇ ‧ (x,y). 7. 7 y0. y0 圖 2-15 相 關 係 數 之 求 法. 22. 11.
(35) 2.8 碰 撞 偵 測 當我們持續地利用相關係數法來追蹤前車時，我們可以在影像中定義 出 一 固 定 大 小 及 位 置 之 碰 撞 偵 測 區 域 (Collision detect region) ， 如 圖 2-16 所 示 ， 其 位 置 為 179<x<200, 150<y<230 。 一 旦 被 追 蹤 的 特 徵 點 進 入 此 碰 撞 偵測區域時，系統則發出警告訊號，以提醒駕駛者。 y. x. Collision detect region. 圖 2-16 碰 撞 偵 測 範 圍. 23.
(36) 3. 第三章 獨立式影像追蹤系統設計 本 論 文 之 系 統 架 構 設 計 為 發 展 一 獨 立 式 系 統 (Stand alone system) 。 即 此系統可獨立運作，即時擷取影像並追蹤前方車輛。若偵測到與前車之距 離過近，則即時發出提醒資訊，以供駕駛者參考。此獨立式系統的優點在 於可輕易地放置在車中與車輛結合，若技術成熟則可進一步發展成 SoC(System on chip) 晶 片 化 而 達 到 價 格 低 廉 ， 大 量 生 產 且 易 安 裝 使 用 的 好. 處。然而，如何設計一精簡的獨立式系統又可即時地處理影像資訊則是一 項 挑 戰 [6]。因 此 本 論 文 依 系 統 內 每 個 模 組 的 功 能 將 系 統 分 成 軟 體 與 硬 體 來 設 計 。 其 中 硬 體 設 計 有 CMOS 影 像 感 測 器 之 介 面 電 路 、 Harris 即 時 角 點 偵 測 電 路 及 Nios 內 嵌 式 處 理 器 。 軟 體 設 計 則 為 Nios 處 理 器 內 部 中 斷 向 量 、 記憶體存取、角點比對、影像流分析、相關性追蹤。. 3.1 影 像 追 蹤 系 統 之 硬 體 架 構 本 系 統 主 要 分 為 三 個 部 分 。 第 一 部 分 是 CMOS 影 像 感 測 器 之 介 面 電 路。第 二 部 為 Harris 角 點 偵 測 之 硬 體 電 路。第 三 部 分 則 是 Nios 內 嵌 式 處 理 器 。 本 系 統 架 構 圖 如 圖 3-1 所 示 。 CMOS 影 像 感 測 器 採 用 IC MEDIA 公 司 所 提 供 的 ICM205B CMOS image sensor module; Harris 角 點 偵 測 電 路 則 是 實 現 於 茂 綸 公 司 所 生 產 的 Cyclone School Boy 研 發 電 路 板 ; 主 體 Nios 內 嵌 式 處 理 器 及 周 邊 電 路 實 現 於 Altera 公 司 所 製 造 的 Nios development kit, Stratix edition 。 我 們 可 以 使 用 PC 透 過 UART 下 達 命 令 給 Nios ， 並 可 將 影. 像 藉 由 乙 太 網 路 傳 至 PC ， 或 發 出 碰 撞 警 示 訊 號 使 LED 燈 發 亮 。 一 開 始 I 2 C 控 制 器 先 設 定 CMOS 感 測 器 之 初 始 狀 態 ， 本 系 統 設 影 像 大 小 為 320 × 240 之 16 位 元 4:2:2 YCbCr，取 其 8 位 元 之 Y 當 灰 階 影 像。將 灰 階 影 像 傳 給 FIFO 及 Harris 角 點 偵 測 電 路 ， Harris 角 點 偵 測 電 路 則 輸 出 角 點 位 置 ， 而 Sobel 輸 出 水 平 、 垂 直 灰 階 梯 度 。 灰 階 影 像 存 入 Image FIFO ， 水 平 、 垂 直 灰 階 梯 度 存 入 dx,dy FIFO ， 角 點 位 置 存 入 Corner FIFO 。 原 本 Harris 角 點 偵 測 電 路 可 輸 出 水 平 、 垂 直 灰 階 梯 度 ， 因 為 考 量 外 部 接 線 之 雜. 訊 干 擾 ， 故 將 Harris 內 部 之 Sobel operator 同 樣 在 Stratix 晶 片 內 做 一 次 產 生 水 平 、 垂 直 灰 階 梯 度 。 Nios 處 理 器 則 將 FIFO 內 的 資 料 寫 入 SDRAM 以 供 Nios 做 後 級 的 影 像 處 理 。 接 下 來 說 明 各 部 分 之 設 計 流 程 。 24.
(37) 圖 3-1 影 像 追 蹤 系 統 之 硬 體 架 構 圖. 25. Cyclone EP1C20F324C7 device. Harris corner corner detector. image. School Boy Development kit. CMOS image sensor. Initial command. corner. SDRAM (image memory). Corner FIFO. dx,dy. dx,dy FIFO. Nios Development kit, Stratix. Sobel operator. image. Image FIFO. I2C controller. Stratix EP1S10F780C6 device. SRAM (Program/ data memory). Address. Data. SDRAM interface. FIFO interface. DMA. Nios CPU. Nios processor. Flash. Ethernet PHY/MAC device. Avalon Bus. Tri-State Bridge. UART. Collision warning signal. Ethernet. Image/result. RS232. Command/ user interface. LED. Host PC.
(38) 3.2 CMOS 影 像 感 測 器 介 紹 本 論 文 所 使 用 的 CMOS 影 像 感 測 器 為 IC MEDIA 公 司 所 出 產 的 ICM205B VGA/QVGA CMOS 影 像 感 測 器，如 圖 3-2。以 下 將 介 紹 ICM205B. 之特性。 ICM205B 為 一 數 位 彩 色 影 像 單 晶 片 [21]。內 部 有 640 × 480 之 影 像 感 測. 陣 列 ， 以 漸 進 式 方 式 (Progressive manner) 輸 出 ， 每 秒 最 高 可 輸 出 30 張 圖 像 (Frame) 。 每 個 像 素 (Pixel) 會 經 由 一 個 彩 色 濾 波 器 形 成 所 謂 的 Bayer pattern 。 在 此 稱 這 種 資 料 格 式 為 Raw data 。. 隨 著 外 在 景 色 亮 度 的 變 化 ， Raw data 可 經 由 數 位 增 益 (Digital gain) 調 整 所 有 的 像 素 (Pixels) 或 分 別 調 整 四 個 Bayer pattern 的 像 素。我 們 可 用 內 建 的 自 動 曝 光 控 制 電 路 (Built-in automatic exposure control circuit) 來 控 制 或 是 外 部 CPU 經 由 串 列 匯 流 排 (Serial bus) 來 控 制 。 接 著 資 料 會 經 由 彩 色 插 補 模 組 使 得 每 個 像 素 可 得 到 完 整 的 RGB 數 值 。 另 外 ， 可 用 內 建 的 自 動 白 平 衡 電 路 (Built-in white balance circuit) 或 是 外 部 CPU 經 由 串 列 匯 流 排 (Serial bus) 來 校 正 或 強 化 色 彩。在 最 後 輸 出 級 的 輸 出 格 式 包 括 8/16 位 元 YCbCr,24 位 元 RGB 或 8 位 元 Raw data。以 下 列 出 ICM205B 之 特 性 [21]:. 圖 3-2 ICM205B 之 外 觀. 26.
(39) 3.3 Nios 發 展 介 面 設 計 本 論 文 主 要 使 用. Altera 公 司 針 對 (System On a Programmable. Chip)SOPC 設 計 所 提 供 的 Nios 發 展 板 (Stratix 版 本 ) ， 以 Nios 嵌 入 式 處 理. 器 為 主 體 。 SOPC 為 一 種 軟 硬 體 整 合 設 計 技 術 ， 讓 我 們 可 以 很 快 速 地 將 硬 體 系 統 (包 括 微 處 理 器 、 記 憶 體 、 週 邊 介 面 電 路 及 使 用 者 邏 輯 電 路 )以 及 軟 體 設 計 ， 都 放 至 單 一 個 可 規 劃 晶 片 中 ， 以 達 到 系 統 的 積 體 設 計 。 Nios 則 是 Altera 對 SOPC 設 計 提 供 的 解 決 方 案 之 一 。 Nios 為 一 軟 核 心 (Soft Core) 嵌. 入式處理器，可有彈性地整合記憶體、週邊介面電路、使用者邏輯電路及 其 它 矽 智 產 (Intellectual property, IP) 。 這 種 可 組 成 (Configurable) ， 一 般 目 的 (General-purpose) 精 簡 指 令 集 計 算 機 RISC 處 理 器 可 輕 易 地 結 合 使 用 者 邏 輯 電 路 ， 並 且 規 劃 至 PLD 晶 片 。 Nios CPU 可 以 被 規 劃 成 16 或 32- 位 元 的處理器。由於考量到在影像處理的資料量龐大，故本設計規劃運算邏輯 單 元 (Arithmetic and Logic Unit, ALU) 、 匯 流 排 及 暫 存 器 的 位 元 數 均 為 32 位元。 本 論 文 所 使 用 的 發 展 板 Nios development kit, Stratix edition 之 外 觀 如 圖 3-3 。 Stratix EP1S10F780C6ES 為 可 規 劃 之 FPGA ， 可 將 我 們 的 硬 體 設 計 檔. 燒 錄 於 其 中。若 將 Nios 燒 錄 於 其 中，則 可 快 速 地 與 發 展 板 之 周 邊 電 路 溝 通。. 3.4 影 像 擷 取 介 面 設 計 本 論 文 所 使 用 的 輸 出 模 式 為 QVGA ， 即 大 小 為 320 × 240 像 素 之 影 像 。 輸 出 格 式 為 16 位 元 4:2:2 YCbCr。因 本 論 文 只 處 理 灰 階 影 像，故 只 取 Y 值， 大 小 為 8 位 元 ， 如 圖 3-4 。 影 像 感 測 器 輸 出 腳 位 如 圖 3-5 ， 影 像 感 測 器 介 面 時 序 圖 如 圖 3-6~3-8 所 示 ， 其 中 圖 3-6 為 訊 號 vsync 、 hsync 與 blank 的 對 應 關 係 ， 圖 3-7 為 訊 號 hsync 、 blank 與 pclk 的 對 應 關 係 。 圖 3-8 主 要 為 訊 號 sen_clk 、 pclk 與 sen_data 的 對 應 關 係 。. 27.
(40) ByteBlaster Connector Serial RS-232 Connector (Debug). Serial RS-232 Connector (Console) Power Connector. Expansion Prototype Connectors (40 I/O pins each). 10/100 Ethernet MAC/PHY & RJ-45 Connector 8 MB Flash Compact Flash 16 MB SDRAM LEDs. 1MB SRAM. Buttons Stratix EP1S10F780C6. 50 MHz Oscillator. 7 Segment. Configuration Controller (MAX 7128AE). 圖 3-3 Nios development kit, Stratix edition. 圖 3-4 輸 出 影 像 格 式 [21]. 腳位說明： y. VSYNC: 垂 直 同 步 訊 號。其 週 期 為 輸 出 一 張 圖 像 的 時 間，換 言 之 ，. 輸 出 頻 率 即 為 每 秒 輸 出 之 圖 像 數 (frame/second) ， 本 論 文 設 定 每 秒 三十張圖像。 y. HSYNC: 水 平 同 步 訊 號 ， 其 週 期 為 圖 像 中 輸 出 一 水 平 掃 描 線 之 時. 間。 y. BLANK: 當 BLANK=1 時 ， 輸 出 之 資 料 才 有 意 義 。 因 此 BLANK 可. 28.
(41) 視為輸出致能訊號。 y. DOUT0~DOUT15: 輸 出 之 資 料 線 ， 因 為 只 取. Y ， 故 只 取. DOUT0~DOUT7 。. y. PCLK: Pixel clock， 為 輸 出 同 步 訊 號 。 當 PCLK 正 緣 時 ， 輸 出 一 個. 像 素 的 資 料 ， 如 圖 3-8。 因 為 輸 出 為 16 位 元 4:2:2YCbCr,QVGA 格 式 ， 故 PCLK 之 頻 率 為 3MHz 。. 圖 3-5 ICM205B 輸 出 腳 位 圖 [21]. 圖 3-6 ICM205B 之 時 序 圖 (1)[21] 29.
(42) 圖 3-7 ICM205B 之 時 序 圖 (2)[21]. 圖 3-8 ICM205B 之 時 序 圖 (3)[21] 在 了 解 CMOS 影 像 感 測 器 之 輸 出 訊 號 後，因 為 CMOS 寫 入 之 時 脈 頻 率 (3MHz) 遠 小 於 Nios CPU 之 存 取 時 脈 (50MHz) ， 故 我 們 利 用 Quartus II 之 Mega wizard plug-in manager 設 計 一 雙 時 脈 FIFO(Dual Clock FIFO) ， 大 小. 為 8192 個 位 元 組，如 圖 3-9 所 示 作 為 暫 存 影 像 資 料 的 記 憶 體，可 同 時 讀 寫 資 料 以 彌 補 兩 讀 寫 時 脈 的 差 距。同 時 設 置 一 中 斷 訊 號 產 生 電 路，如 圖 3-10， 作 為 發 出 一 中 斷 訊 號 通 知 Nios CPU 去 讀 取 FIFO 的 資 料 。 FIFO 腳 位 說 明 如 下 [23]: . 輸入腳位 −. data[7..0]: 輸 入 的 資 料 ， 接 DOUT[7..0] 。. −. wrreq: write request ， 寫 入 致 能 訊 號 。 與 BLANK 連 接 。. −. wrclk: write clock ， 寫 入 時 脈 ， 接 PCLK 。. −. rdreq: read request ， 讀 取 致 能 訊 號 ， 接 Nios 之 系 統 讀 取 致 能. 30.
(43) 訊 號 read_enable 。 −. rdclk: read clock ， 讀 取 時 脈 ， 接 Nios 之 系 統 時 脈 sysclk 。. −. aclr: all clear ， 清 除 FIFO 內 部 所 有 資 料 。 每 張 圖 像 要 開 始 寫. 入 FIFO 前，希 望 把 FIFO 內 部 資 料 清 除，以 確 保 資 料 的 同 步 。 故 使 用 /VSYNC 將 FIFO 清 除 。 . 輸出腳位 −. usedw[12..0]: 記 錄 FIFO 目 前 有 多 少 筆 資 料 已 寫 入 而 未 讀 出 。. 可 以 當 作 Nios CPU 偵 測 FIFO 是 否 快 滿 的 訊 號 。 −. q[7..0]: 輸 出 之 資 料 。. 因 為 QVGA 之 單 張 影 像 資 料 量 為 76800Bytes ， 然 而 mega wizard 所 能 提 供 FIFO 的 最 大 深 度 為 8192Bytes，故 我 們 將 原 始 影 像 分 成 十 次 填 入 所 設 計 之 my_FIFO ， 如 圖 3-11 ， 因 我 們 設 定 每 秒 輸 出 30 張 圖 像 ， 故 一 張 圖 像 輸 出 時 間 為 33.3 ms 。 而 在 一 個 圖 像 輸 出 的 時 間 內 ， 即 VSYNC 一 週 期 的 時 間 內 ， ， ff_irq 發 出 10 次 中 斷 ， 每 次 的 中 斷 Nios 都 會 命 令 DMA 去 抓 取 FIFO 內 7680 筆 資 料 。 因 為 讀 取 時 脈 50MHz 遠 大 於 寫 入 時 脈 3MHz ， 待 資. 料 存 滿 7680 個 位 元 組 ， 仍 有 512Bytes 當 緩 衝 空 間 ， 故 可 順 利 同 時 寫 入 和 讀 取 資 料 。 而 中 斷 的 週 期 為 2.9232ms ， DMA 一 次 抓 取 7680 筆 資 料 的 時 間 為 156.4 µ s。VSYNC 為 0 時，會 把 FIFO 內 資 料 清 除，故 DMA 必 須 在 VSYNC 為 0 之 前 把 最 後 一 次 的 7680 筆 資 料 取 完， 由 圖 3-11 右 下 圖 可 知 ， DMA 在 1.316ms 前 將 資 料 讀 取 完 成 ， 故 本 設 計 可 成 功 地 連 續 讀 取 每 秒 30 張 320 × 240 之 8 位 元 灰 階 圖 像 。. 圖 3-9 Dual clock FIFO 31.
(44) 圖 3-10 中 斷 訊 號 ff_irq 電 路 圖. 3.5. Nios 之 規 劃 與 設 計 由於考量到影像處理的資料量龐大，故本設計規劃運算邏輯單元. (Arithmetic and Logic Unit, ALU)、匯 流 排 及 暫 存 器 的 位 元 數 均 為 32 位 元 。. 規 劃 Nios 之 介 面 是 由 Quartus II 發 展 軟 體 外 掛 之 SOPC Builder 所 建 構 的， 其 規 劃 介 面 如 圖 3-12 。 DMA 主 要 功 能 是 可 以 在 記 憶 體 或 週 邊 電 路 之 間 快 速 地 存 取 資 料 ， 而. 不 需 花 CPU 的 時 間 。 好 處 是 CPU 可 以 在 這 個 時 候 ， 執 行 其 它 的 工 作 。 如 圖 3-13 所 示 ， 當 DMA 在 存 取 Data memory 時 ， CPU 可 同 時 存 取 Program memory 或 其 它 I/O 資 料 。 故 像 從 FIFO 將 大 量 的 影 像 資 料 搬 移 至 SDRAM. 的 工 作 就 適 合 DMA 來 執 行 ， CPU 只 須 設 定 DMA 內 部 參 數 即 可 [24]。 如 圖 3-14 ， 因 為 DMA 一 次 要 存 取 7680 × 4 Bytes 的 資 料 ， 另 兩 個 FIFO 各 存 16. 位 元 的 水 平 與 垂 直 灰 階 梯 度 及 8 位 元 的 角 點 資 訊 ， 故 設 定 DMA 的 長 度 記 憶 體 的 寬 度 (Width of the DMA length register) 為 15 位 元 ， 如 圖 3-14. 32.
(45) PCLK 33.3ms. VSYNC BLANK ff_irq DMA_read. (1). 1.316ms. (2). (3). (1) VSYNC週期為33.3ms。 (2)DMA讀取週期為2.9ms。 (3)DMA在下一個圖像輸出前的1.316ms讀完影像。 (4)DMA讀取7680個位元組資料之時間為156.4μs. (4) 圖 3-11 CMOS 取 像 時 序 圖. 33.
(46) 圖 3-12 SOPC 之 操 作 介 面. Master 1 (Nios CPU). I. Master 2 (DMA). D. 圖 3-13 DMA 運 作 示 意 圖. 34.
(47) 圖 3-14DMA 內 部 設 定 本論文主要用到的硬體如表 2 所示 表 2 Nios 系 統 所 規 畫 的 元 件 元件名稱. 說明. CPU. 規 劃 成 32 位 元. SDRAM. 16MB ， 將 外 部 影 像 、 角 點 、 梯 度. 資料暫存於此 SRAM. 1MB, data/program memory. UART. 與 pc 端 之 溝 通 介 面. Ethernet. 負責乙太網路之資料傳輸，可將 影 像 傳 送 至 PC 端. FIFO 控 制 介 面. 存 取 外 部 FIFO 資 料 的 介 面，使 用 interface to user logic 構 成. DMA. 負 責 存 取 外 部 FIFO 的 資 料，減 輕 CPU 的 工 作 量 。. PIO(Parallel input/output). 規劃一些外部控制訊號，或規劃 成輸入訊號，成為中斷訊號。. 35.
(48) 3.6 Harris 角 點 偵 測 硬 體 設 計 Harris 角 點 偵 測 電 路 是 實 現 於 茂 綸 公 司 所 生 產 的 School Boy 研 發 電 路. 板 ， 燒 錄 於 Cyclone EP1C20F324C7 Device， 其 外 觀 如 圖 3-15， 採 用 Altera Cyclone 系 列 Fine Line BGA 324 pin 包 裝 設 計 ， 分 為 母 板 與 子 板 。 在 母 板. 部 分 ， 除 了 電 源 部 分 已 處 理 完 成 ， 所 有 的 I/O 接 腳 也 接 至 連 接 器 以 方 便 使 用 者 接 線 或 測 試 。 而 在 子 板 部 分 ， 主 要 是 Cyclone EP1C20F324C7 Device 與 其 所 需 的 In-system programmability, ISP 電 路 所 構 成，提 供 20,060 Logic Elements 與 294,912 bits RAM 。 Harris 演 算 法 之 輸 出 / 入 腳 如 圖 3-16 所 示，輸 入 訊 號 Clk_in 接 PCLK ， data_in[7..0] 接 DOUT[7..0] ， W_en 接 BLANK ， Reset 接 VSYNC 之 反 向 訊. 號。則 輸 出 之 訊 號 則 是 如 同 CMOS 輸 出 之 時 序。 Clk_out 為 輸 出 同 步 訊 號 ， Enable_out 為 輸 出 致 能 訊 號， Corner 則 為 角 點 資 訊，當 Corner=1 代 表 該 點. 為 角 點 ， 若 Corner=0 則 不 為 角 點 。. 圖 3-15 School Boy 研 發 電 路 板 之 外 觀 Clk_in Data_in[7..0] W_en. Enable_out Harris corner detector. Clk_out Corner. Reset. 圖 3-16 Harris 角 點 偵 測 之 腳 位. 36.
(49) 最 後 我 們 將 所 偵 測 到 的 角 點 及 水 平 與 灰 階 梯 度 傳 送 到 另 兩 個 FIFO，如 圖 3-18 。 因 為 Harris 角 點 偵 測 電 路 只 比 原 影 像 訊 號 延 遲 兩 個 PCLK 週 期 ， 故我們設單一個中斷同時抓取原影像資料、角點、水平與灰階梯度。 Harris 內 部 電 路 設 計 如 圖 3-17 所 示。圖 3-17 中，輸 入 的 資 料 即 為 CMOS. 影 像 感 測 器 輸 出 的 影 像 資 料， 3x3 mask generator 是 將 灰 階 影 像 資 料 暫 存 於 FIFO 與 D flip-flop 的 組 合 電 路 中，如 圖 3-21。如 此 可 將 先 由 左 而 右 再 由 上. 而 下 之 影 像 輸 出 格 式 轉 換 為 將 3x3 遮 罩 內 之 9 個 圖 素 資 料 同 時 輸 出 。 接 著 將 遮 罩 內 每 一 個 資 料 與 其 對 應 的 v_mask 內 的 值 相 乘 。 如 圖 3-21 內 輸 出 的 為 q1~q9 ， 則 與 v_mask 相 乘 後 又 再 乘 1/8 即 得 到 Dx ， 如 式 (3-1) 。 同 理 Dy 求 法 如 式 (3-2). ⎡ q1 × 1 + q 2 × 0 + q3 × ( −1) + ⎤ 1 Dx = ⎢ q4 × 2 + q5 × 0 + q6 × ( −2) + ⎥ × ⎢ ⎥ 8 ⎢⎣ q7 × 1 + q8 × 0 + q9 × ( −1) ⎥⎦. (3-1). ⎡ q1 × 1 + q2 × 2 + q3 × 1 + ⎤ ⎢ ⎥×1 Dy = q 4 × 0 + q5 × 0 + q6 × 0 + ⎢ ⎥ 8 ⎢⎣ q7 × ( −1) + q8 × ( −2) + q9 × ( −1)⎥⎦. (3-2). 然 後 再 將 Dx 與 Dx 、 Dx 與 Dy 、 Dy 與 Dy 相 乘 分 別 得 到 Dxx 、 Dxy 、 Dyy 。 接 下 來 則 是 要 通 過 高 斯 平 滑 濾 波 器 ， 此 為 簡 化 的 電 路 ， 如 圖 3-19 。. 圖 3-20 則 為 將 圖 3-19 之 位 置 為 其 水 平 面 ， 垂 直 高 度 則 為 其 值 。 如 同 之 前 的 3x3 mask generator 電 路 ， 將 大 小 改 為 7x7 的 mask generator 電 路 ， 如 圖 3-22 。 經 過 7x7 mask generator 及 高 斯 遮 罩 後 ， 即 為 高 斯 平 滑 化 後 的 Dxxg,Dxyg,Dyyg ， 目 的 在 將 影 像 中 的 雜 訊 所 造 成 的 影 響 濾 除 。 接 著 將 設 兩. 個 閥 值 th1 、 th2 以 選 取 我 們 所 要 的 角 點 的 品 質 ， 如 式 (3-3) 、 (3-4) 。. if. ( Dxx + Dyy ) > 100 ⇒ th1 = 1 else, ⇒ th1 = 0. (3-3). if. ( Dxxg + Dyyg ) > 0 ⇒ th 2 = 1 else, ⇒ th 2 = 0. (3-4). 37.
(50) 將 所 得 的 Dxxg,Dxyg,Dyyg 代 入 Corner response function ， 式 (3-5) ， Res 值 愈 大 表 示 為 角 點 的 可 能 性 愈 高 。 Re s = Dxxg ⋅ Dyyg − ( Dxyg ) 2 − 0.04 ⋅ ( Dxxg + Dyyg ) 2. (3-5). 最 後 將 式 (3-3)~(3-5) 相 乘 如 式 (3-6) 得 Res2 Re s 2 = Re s ⋅ th1 ⋅ th 2. (3-6). 為 了 要 得 到 該 角 點 較 精 確 的 位 置，我 們 把 Res2 輸 入 5x5 mask generator 得到遮罩內所有的值，若遮罩內中心的值都比遮罩內其它的值大的話，則 說該位置即為角點。. 38.
(51) V_mask 1. v _ Mask= 2 1 Intensity[7..0]. Dxx 0 -1. 1 8. 0 -2 0. Dx. 7x7 mask generator. ⎡1 3 6 7 6 3 1 ⎤ ⎢ 3 9 18 22 18 9 3⎥ ⎥ ⎢ ⎢6 18 35 44 35 18 6⎥ 1 ⎢ ⎥ × 7 22 44 55 44 22 7⎥ 55 ⎢ ⎢6 18 35 44 35 18 6⎥ ⎥ ⎢ ⎢ 3 9 18 22 18 9 3⎥ ⎢⎣1 3 6 7 6 3 1⎥⎦. -1 Dxy. 3x3 mask generator. ⎡1 3 6 7 6 3 1 ⎤ ⎢ 3 9 18 22 18 9 3⎥ ⎢ ⎥ ⎢6 18 35 44 35 18 6⎥ 1 ⎢ ⎥ × ⎢7 22 44 55 44 22 7⎥ 55 ⎢6 18 35 44 35 18 6⎥ ⎢ ⎥ ⎢ 3 9 18 22 18 9 3⎥ ⎢⎣1 3 6 7 6 3 1⎥⎦. H_mask 1. 2. 1. h _ Mask= 0. 0. 0. -1 -2. -1. 1 8. 7x7 mask generator. Dy Dyy. 7x7 mask generator. ⎡1 3 6 7 6 3 1 ⎤ ⎢ 3 9 18 22 18 9 3⎥ ⎥ ⎢ ⎢6 18 35 44 35 18 6⎥ 1 ⎢ ⎥ × ⎢7 22 44 55 44 22 7⎥ 55 ⎢6 18 35 44 35 18 6⎥ ⎥ ⎢ ⎢ 3 9 18 22 18 9 3⎥ ⎣⎢1 3 6 7 6 3 1⎥⎦. Dxx. If (Dxx+Dyy)>100 => th1=1 else, th1=0. Dyy. Dxxg. If (Dxx+Dyy)>0 => th2=1 else, th2=0. Dyyg. th1. th1 th2 Res. th2. Re s 2 = Re s ⋅ th1 ⋅ th 2. Dxxg Dxyg. Re s = Dxxg ⋅ Dyyg − ( Dxyg ) 2 − 0.04 ⋅ ( Dxxg + Dyyg ) 2. Res. Dyyg. Non-maximum suppression Res2. 5x5 mask generator. Res3. If Res3(center)>Res3(others) => corner=1 else, corner=0. 圖 3-17 Harris 內 部 電 路. 39. Corner. Res2. Dxxg. Dxyg. Dyyg.
(52) 圖 3-18 角 點 與 水 平 、 垂 直 灰 階 梯 度 之 FIFO. ⎡1 3 6 7 6 3 1 ⎤ ⎢ 3 9 18 22 18 9 3⎥ ⎢ ⎥ ⎢6 18 35 44 35 18 6⎥ 1 ⎢ ⎥ × 7 22 44 55 44 22 7⎥ 55 ⎢ ⎢6 18 35 44 35 18 6⎥ ⎢ ⎥ ⎢ 3 9 18 22 18 9 3⎥ ⎢⎣1 3 6 7 6 3 1⎥⎦. 圖 3-19 高 斯 平 滑 遮 罩 (1). 圖 3-20 高 斯 平 滑 遮 罩 (2). 40.
(53) 圖 3-21 3x3 mask generator 內 部 電 路. 41.
(54) 圖 3-22 7x7 mask generator. 42.
數據
![圖 1-1 (a)擴 張 焦 點 (FOE, Focus of expansion) (b)Inner FOE window 與 Outer FOE window[2] 林 俊 宏 提 出 讓 一 輛 車 單 一 的 模 型 分 成 四 個 區 域 作 小 塊 、 多 個 的 模 型 比 對 [1]。 一 開 始 提 供 使 用 者 能 快 速 選 取 追 蹤 目 標 車 輛 的 功 能 ， 以 使 其 更 符 合 實 用 的 需 求 。 前 導 車 追 蹤 模 組 使 用 前 一 個 模 組 選 取](https://thumb-ap.123doks.com/thumbv2/9libinfo/8441392.181882/16.892.133.807.110.396/區域作小塊個模型比對其符合實取.webp)
+5
相關文件
國立臺北教育大學教育經營與管理學系設有文教法律碩士班及原住民文
國立高雄師範大學數學教育研究所碩士論文。全國博碩士論文資訊網 全國博碩士論文資訊網 全國博碩士論文資訊網，
Department of Computer Science and Information
Department of Computer Science and Information
Department of Computer Science and Information
Professor of Computer Science and Information Engineering National Chung Cheng University. Chair
2 Department of Materials Science and Engineering, National Chung Hsing University, Taichung, Taiwan.. 3 Department of Materials Science and Engineering, National Tsing Hua
Department of Physics, National Chung Hsing University, Taichung, Taiwan National Changhua University of Education, Changhua, Taiwan. We investigate how the surface acoustic wave
