文獻回顧

　　數位影像處理涵蓋的範圍廣泛，例如：相片修補、影像定位、物件辨識等，

本論文僅著重於嵌入式影像處理系統的設計，本節將說明一些相似的系統設計。

1.2.1 低價的嵌入式彩色視覺系統[2]

　　圖1-1 是一個嵌入式彩色視覺系統 [2]方塊圖，以 75 MIPS 的 RISC 微控制器 為主 ，連接 CMOS 影像感測器的輸出匯流排與同步訊號，然後利用 RS232 介面 將處理後的影像資訊傳送給外部的處理器，外部處理器可用此資訊來控制其它裝 置 ， 例 如 ： 自 走 車 。 此 系 統 的 CMOS 影像感測器輸出 畫面最大為 352x288 個像 素，每秒最多可輸出60 個畫面。由於使用高效能的 RISC 微控制器，每秒可以完 成16.7 個畫面(80x143 像素)的基本彩色斑點追蹤(Color Blob Tracking) 。除此之 外，藉由電路板上的連接器可以將多組系統同時連接在同一個影像感測器的 匯流 排，因此可以對同一個影像畫面平行地進行不同的操作。此系統的韌體目前可執 行以下功能：彩色斑點追蹤、色彩統計、雜訊濾波、影像感測器設定與展示功能 (例如：控制標準的伺服機)。

1.2.2 以 FPGA 實作適用於嵌入式視覺系統的影像處理架構[3]

　　作者利用FPGA 實作一個適用於智慧型嵌入式視覺系統的可程式平行架構。

在影像大小為256x256 像素之下，進行影像的中值濾波(Median Filtering)時可達 到 每秒 62.42 個畫面。文中將傳統視覺系統分成如圖 1-2 所示的七層，此論文主 要 專注 於圖1-2 方框裏面三層的功能實現，圖 1-3 則是此方框內部的細部圖解，

作者將其稱為影像前處理器(Image Pre-Processor)。圖中 Original Buffers 暫存影 像感測器的輸出 值，Temp. Buffers 則是暫存前次處理的結果， DMA Channel 負 責 將二者其中之 一的內容 分配到 Image Processing Array 進行影像前置處理，結 果 則 放 到 主 控 制 器 可 以 存 取 的 Image Memory ； 主 控 制 器 將 待 處 理 的 指 令 寫 入 Program Memory 後 ， 監 視 Main Controller 回 應 的 狀 態 決 定 是 否 完 成 ， 最 後 由 Image Memory 讀回處理結果。圖 1-3 裏面的 Image Processing Array 是此論文提 出 的 平 行 處 理 陣 列 ， 由 16 個 影 像 處 理 單 元 (Image Processing Element, IPE) 組 成，如圖1-4 所示。IPE 可視為執行某些特定影像處理演算法的小型 DSP，它接 收由Main Controller 送來的指令，可處理兩個 16 位元二的補數資料，最後輸出 一個32 位元的結果。

圖1-1 低價的嵌入式彩色視覺系統方塊圖

圖1-2 分層式的視覺系統[3]

圖1-3 影像前處理器[3]

1.2.3 用於移動式機器人的即時手勢辨識系統[4]

　　此系統藉由彩色CMOS 影像感測器擷取手勢的影像，經過一連串的影像前置 處理：像素讀取、RGB 轉 HSI、分割、濾波、壓縮等過程，然後將處理過的手勢 影像置於畫面中央以增加後續神經網路判別的效率。系統架構如圖 1-5 所示，每 個前置處理功能均為獨立的區塊，並且可平行地運作，整個手勢判別系統均包含 於一顆FPGA 內。圖 1-5 中各區塊的功能如下：

 Pixel Read：負責即時地讀取 CMOS 影像感測器輸出的 RGB 值。

 RGB2HSI ： 將 RGB 值 轉 換 成 各 別 獨 立 的 Hue( 色 相 ) 、 Saturation ( 飽 和 度)、Intensity(強度)三個分量。Intensity 使影像對環境中的光線變化具有 較低的敏感度；另外Hue 的原始數學定義含有反三角函數，使得運算因難 而不利於硬體的實作，故此篇論文也介紹一個適合用硬體實作的演算法。

C MOS Ca m era

R IS C MC U (75 MIP S )

RS 232 Tr ansce i ver

Ext e rnal Pr oce ssor

圖1-4 影像處理單元[3]

圖1-5 視覺系統方塊圖[4]

 Segmentation：將 HSI 的影像轉換成二值化的影像。文中實作兩種方法，

其 一 是 以H 分 量 為 主 的 轉 換 、 另 一 個 則 是 將 HSI 分 量 各 別 轉 換 後 再 執 行 AND 運算，最後採用效果較佳的 H 分量單獨轉換法。

 Filter and Image Compression ： 執 行 空 間 領 域 的 濾 波 ， 並 將 原 始 320x240 的影像壓縮成 32x24，用來減少輸入至神經網路的數量。

 Image Centralization ：將手勢區域 平移至影像的中 心，目的是增加 後續 神經網路判別的效率。

 Gestures Recognition：利用 RAM-Based 之神經網路執行手勢辨識。此種 神經網路屬於無權重式(weightless)，只能應用於二值化資料，故適合硬體 實現。目前此系統可判別 7 種手勢，但可藉由系統內的訓練模組增加判別 的手勢。

表1-1 是使用 EP1S10F780C6 FPGA 時，系統中各區塊的效能。其中， OF:操作 頻率，IS:影像大小(有標示**者表示神經元的數量 )，FS:每秒的畫面數量。由表 中可看到由於RGB2HSI 需使用到 320x240 次的除法，故此區塊的 FS 最低，而整 個系統的FS 則受限於此部分。

1.2.4 使用 FPGA 與 CMOS 影像感測器的影像系統[5]

　　作 者 使用System-On-Chip 方法設計一個智慧型影像感測器，用來執行除 了 高 階 決 策 之 外 的 其 它 影 像 運 算(early-vision) 。 基 本 架 構 如 圖 1-6 ， 包 含 主 板 (STRATIX FPGA 模組)、CMOS 影像感測裝置、高速 USB2.0 通訊板。系統功能 方塊圖如圖1-7 所示。

表1-1 視覺系統各區塊的效能[4]

圖1-6 智慧型影像感測器架構[5]

圖1-7 智慧型影像感測器的方塊圖[5]

由於FPGA 內部採用 Altera 公司的 NIOS 微處理器軟核，因此可以彈性地進行多 種不同的影像運算，同時因為整個主要功能都包含在 FPGA 內部，使用者可以自 訂不同的硬體周邊後加入原本的系統之中。根據作者所言，只要進一步的開發軟 體工具，將有助於進行更複雜的視覺運算。

1.2.5 用於微型自主移動式機器人的即時影像辨識系統[6]

　 　 此 論 文 使 用Analog Devices 公司的數位訊號處理器 Blackfin BF533 為運算 平 台 ， 搭 配CMOS 影像感測器 後裝載於 微型足球機器人進行即時的影像 辨識工 作，系統元 件如 圖 1-8 所示。作者藉由適當安排 DMA 存取資料的順序，並使用 自 行 設 計 的 最 佳 化 物 件 辨 識 演 算 法 ， 使 系 統 於 預 設 的 條 件 之 下 ， 在 畫 面 大 小 為 320x240 像素時，可以用 60 畫面/秒的速率對簡單的球形物體進行辨識。作者認 為目前因為使用固定式攝影機，使得機器人的視角受限於55 度之內，所以計劃發 展轉動式攝影機或使用微型立體攝影機來擷取三維物體的資訊。

1.2.6 基於 DSP 的嵌入式 CMOS 影像處理系統[7]

　 　 此 系 統 由 德 州 儀 器 公 司 的 數 位 訊 號 處 理 器 TMS320DM642 ， 搭 配 外 部 記 憶 體、通訊介面(高速 USB 裝置與網路)及 CMOS 影像感測器所組成，系統元件如圖 1-9 所示。此系統擷取 VGA 影像的速率可達 100 畫面/秒。系統軟體以德州儀器 公司的DSP/BIOS 即時作業系統為基礎，實作了網路通訊、影像擷取、影像前處 理與JPEG 壓縮等功能。根據作者描述，目前在夜晚時的影像擷取效果不佳，往 後除了改善此缺點之外，將專注於實現其它中階的影像處理功能並且改善目前的 影像前處理運算。

圖1-8 微型足球機器人的即時影像辨識系統組成[6]

圖1-9 基於 DSP 的嵌入式 CMOS 影像處理系統[7]

　　由本節 內容看來，嵌入式影像處理可採用 MCU、DSP 或 FPGA 做為系統設 計的基礎。由於MCU 一般較偏向程序控制，並且運算效能與可連接的記憶體數 量有限，對於處理高頻寬的即時影像資料顯得力有未逮，故本論文期望結合DSP 強大的運算能力與FPGA 的電路設計彈性，設計出一套適用於機器人的嵌入式影 像處理系統。