• 沒有找到結果。

應用等階集合法手勢操控系統的研究與實作

N/A
N/A
Protected

Academic year: 2021

Share "應用等階集合法手勢操控系統的研究與實作"

Copied!
103
0
0

加載中.... (立即查看全文)

全文

(1)

機械工程學系

應 用 等 階 集 合 法 手 勢 操 控 系 統 的 研 究 與 實 作

The study and application of level set method on

gesture control system

研 究 生:余涵宇

指導教授:鄭璧瑩 博士

(2)

應 用 等 階 集 合 法 手 勢 操 控 系 統 的 研 究 與 實 作 The study and application of level set method on

gesture control system

研 究 生:余涵宇 Student:Han-Yu Yu 指導教授:鄭璧瑩 博士 Advisor:Dr. Pi-Ying Cheng

國 立 交 通 大 學 機 械 工 程 學 系 碩 士 論 文 A Thesis

Submitted to Department of Mechanical Engineering College of Engineering

National Chiao Tung University in partial Fulfillment of the Requirements

for the Degree of Master In Mechanical Engineering July 2013

Hsinchu, Taiwan, Republic of China 中華民國一百零二年七月

(3)

I 應 用 等 階 集 合 法 手 勢 操 控 系 統 的 研 究 與 實 作 學生:余涵宇 指導教授:鄭璧瑩 博士 摘要 本 論 文 建 立 一 個 可 以 辨 識 靜 態 手 勢,並 進 一 步 控 制 機 械 手 臂 的 系 統,全 部 過 程 可 分 為 取 出 手 勢、學 習 及 手 勢 辨 識 。 在 取 出 手 勢 的 步 驟 中,先 利 用 連 續 影 像 相 減 找 出 變 動 的 物 體 部 分 , 再 以 此 為 影 像 分 析 的 主 要 區 域 (ROI, Region of interest) ,進 行 應 用 等 階 集 合 法 的 手 勢 分 割,以 提 高 效 率 。 為 了 手 勢 分 割 較 完 整,本 論 文 提出新型的影像切割法則,其 所定 義的曲面隱函數為能量模型採用的參數,依循零階集合(Level set zero)移動後取得內外圈的資訊作為邊緣資訊,再利用尤拉格朗日方 程式(Euler-Lagrange equation)與梯度下降法(Gradient descent method)建立隱函數演化式,使初始輪廓收斂到手掌邊緣,完成手勢 影像切割的目的。為了摒除手掌角度的影響,手勢分割後再利用手掌 的慣性積矩陣,利用特徵值分解找出慣性積矩陣的特徵向量,找到主 軸並完成手掌轉正的程序。最後為了消除較不重要的特徵,再利用傅 立葉描述子,將輪廓座的點標作為參數轉至頻率空間,並取前 40 項 係數再反轉換回座標空間,使手勢輪廓較平滑,消除高頻雜訊部分。

(4)

II 在 學 習 步 驟 中 ,本論文針對每種手勢事先蒐集 300 張訓練手 勢影像,並以每張訓練手勢的形心為起點,向手掌輪廓劃分 360 度, 每隔一度取距離並標準化作為特徵。將每張的手掌影像特徵蒐集成資 料庫並做奇異值分解,取出前 50 項最重要的特徵,並保留投射矩陣 (projection matrix) ,待欲辨識特徵與之相乘。 在線上(on-line)辨識時,在手勢影像分割出後,取出距離特徵 並利用主成份分析降低特徵維度,從資料庫中尋找與之最相近的影像, 即達到辨識的目的。 最 後 本 論 文 將 本 系 統 應 用 在 滑 鼠 游 標 控 制 上 ,並與本實驗 室研究計畫的伺服馬達所發展之機械手臂做連結,使用者將可以非接 觸式控制伺服馬達動作,進而方便遙控遠端設備。此系統辨識之速度 與正確率足可滿足非接觸控制機械手臂的目的。 關 鍵 字 :手 勢 辨 識 、 等 階 集 合 法 、 傅 立 葉 描 述 子 、 奇 異 值 分 解 、 主 成 份 分 析

(5)

III

The study and application of level set method on gesture control system

Student:Han-Yu Yu Advisor:Dr.Pi-Ying Cheng

ABSTRACT

This study establishes a system that can recognize ten different gestures. The total process can be separated into three steps: getting gesture, learning and recognizing.

In getting gesture step, we first use frame differencing method to find the region with pixel data changed, the area is called ROI(region of interest) for applying level set method to segment gesture in image. In order to segment more complete shape of gesture, this study establishes a new model of level set algorithm for image segmentation. This method use an implicit function as a variable of a defined energy model, and according to the movement of zero level set to get interior and exterior information and determine the edge position. This study use

Euler-Lagrange equation and gradient descent method to get evolution of implicit function. We accomplish this step as soon as the zero level set converges on the edge of hand shape with specified gesture.

In order to avoid the influence from the hand angle, this study get inertia matrix of hand and use eigenvalue/eigenvector decomposition to get direction of principle axis, then rotating hand on the vertical plane. Finally, for the purpose of eliminating unimportant features, we use Fourier descriptor to afford a more smooth hand shape.

In learning step, this study collect about sample 300 frames for each gesture, and define the distance between centroid and each edge point as features, then use singular value decomposition and retain projective matrix to increase the recognition efficiency.

When the system works on-line, it uses principle value analyze to reduce dimension of feature matrix, the most similar image is defined as the least average distance one, to reach for the result of pattern recognition.

Finally, this study applies this system to control cursor, and combines this system with CIDM robot arm. Users can only use hand gestures to control the action of the arm. The result of some typical experimental cases show that the proposed method and hand gesture recognition based

(6)

IV

control system is successful in the application of remote control system.

Keywords: gesture recognition ,level set, Fourier descriptor, singular value decomposition(SVD) , principle value analyze(PCA)

(7)

V 誌 本論文經不斷地討論與編修後,終於得以付梓,此時我首先必須 感謝我的指導教授─鄭璧瑩博士。我在兩年的碩班研究期間中,每次 與老師的討論中都能獲益不少,無論是做研究的態度或思考的方法, 老師都會孜孜不倦的教導並引領我們;而在撰寫論文時,老師繁忙之 中還願意多次撥冗與我討論與更改內容,這也是我特為感激的地方。 另外我在此特別感謝 CIDM 實驗室中的各成員:學長姐:嗣展、承 憲、仲翔、惠君,同學新喆、晏樟、國霖,學弟傳之、皓儀、鍾宇、 竑廷。謝謝大家在這兩年間的陪伴,無論是課業與論文上的幫助,或 是研究之餘放鬆心情的時候,都使我感到並不孤單。另外我特別感激 我的同學兼月下老人─呈祥,沒有您的搭訕舉動與牽線,我就不會認 識我現在的女朋友。 再來是我的女友佩芳,雖然妳對論文內容是零貢獻,但是!很感 謝妳在我碩班期間的陪伴,尤其在我低潮的時候,幫我加油打氣,給 了我不少鼓勵與正面的能量,謝謝妳。 最後必須感謝我的家人,從我小時候到現在即將畢業,你們一直 是我背後最強而有力的推手:經濟上總是讓我無後顧之憂,生活上總 是一直關心我,而當我遇到學業或生活上的困境時,你們總會一起提

(8)

VI 供經驗,幫助我解決當下的難題。我想對你們說:謝謝你們二十幾年 來的辛勞,沒有你們就沒有這篇論文,更沒有現在的我。 我要感謝的人太多無法一一列舉,畢竟得之於人者太多;但你們 的幫助我一定會銘記在心,謝謝! 余涵宇 謹誌 2013.7 交通大學

(9)

VII 目錄 摘要 ... I ABSTRACT ... III 誌謝 ... V 目錄 ... VII 第 一 章 緒 論 ... 1 1.1 研 究 背 景 與 動 機 ... 1 1.2 文 獻 回 顧 ... 2 1.2.1 基於分類的切割方法 ... 2 1.2.2 Chan-Vese 切割模型 ... 3 1.2.3 粒子濾波器(Particle filter) ... 5

1.2.4 支 持 向 量 機 (Support Vector Machine ,SVM) ... 6

1.2.5 倒 傳 遞 類 神 經 網 路 (Back Propagation Neural Network ) ... 7

1.2.6 均 值 移 動 (Mean shift) ... 9

(10)

VIII

第二章 研究理論與方法 ... 17

2.1 色彩空間 ... 17

2.2 連續影像相減法(Frame differencing) ... 18

2.3 主動式輪廓(Active contour) ... 20

2.4 等階集合法(Level set method) ... 22

2.4.1 邊界(Interface) ... 23

2.4.2 距離函數(Distance function) ... 25

2.4.3 移動水平集 ... 27

2.5 最 佳 設 計 ... 28

2.5.1 梯度下降法(Gradient descent method) ... 29

2.5.2 歐拉-拉格朗日方程式(Euler Lagrange equation) ... 30

2.6 手 掌 轉 正 ... 31 2.6.1 影像矩(Moment) ... 31 2.6.2 質量慣性矩(Moment of inertia) ... 32 2.6.3 質量慣性積(Product of inertia) ... 32 2.6.4 轉 主 軸 (Principal axes) ... 33 2.6.5 旋 轉 矩 陣 (Rotation matrix) ... 35

(11)

IX

2.7 傅 立 葉 描 述 子 (Fourier descriptors) ... 36

2.8 奇異值分解(Singular value decomposition) ... 38

2.9 主成份分析(Principal component analysis) ... 39

第三章 手勢辨識系統設計 ... 44 3.1 手 掌 分 割 ... 44 3.1.1 連 續 背 景 影 像 相 減 ... 44 3.1.2 主 動 式 輪 廓 模 型 推 導 ... 45 3.1.3 主 動 式 輪 廓 模 型 切 割 手 勢 ... 50 3.2 手 掌 轉 正 ... 52 3.3 傅 立 葉 描 述 子 ... 54 3.4 蒐 集 訓 練 影 像 ... 55 3.5 以 SVD 轉 換 訓 練 蒐 集 影 像 特 徵 ... 56 3.6 利 用 主 成 份 分 析 辨 識 手 勢 ... 58 第 四 章 實 驗 分 析 與 應 用 ... 62 4.1 輸 入 手 勢 ... 63 4.2 辨 識 速 度 ... 64 4.3 手 勢 分 割 實 驗 ... 65

(12)

X 4.4 特 徵 維 度 對 辨 識 率 的 影 響 ... 67 4.5 其 他 受 試 者 的 辨 識 率 ... 72 4.6 手 勢 控 制 滑 鼠 游 標 ... 74 4.7 手 勢 控 制 機 械 手 臂 ... 75 4.8 實 驗 結 論 ... 85 第 五 章 結 論 與 未 來 目 標 ... 87 5.1 結論 ... 87 5.2 未來展望 ... 88 參 考 文 獻 ... 90

(13)

1 第 一 章 緒 論 1.1 研 究 背 景 與 動 機 近 年 來 由 於 電 腦 硬 體 以 及 影 像 處 理 技 術 的 長 足 進 步 , 影 像 辨 識 技 術 已 廣 泛 出 現 在 人 們 的 日 常 生 活 中 , 且 確 實 已 能 應 用 在 各 個 領 域 , 例 如 車 牌 辨 識 、 人 臉 辨 識 和 指 紋 辨 識 , 目 前 我 們 已 利 用 電 腦 視 覺 代 替 人 們 解 決 這 些 過 程 較 單 一 且 不 斷 重 複 的 事 情 。 而 在 辨 識 技 術 中 , 手 勢 辨 識 是 較 熱 門 的 研 究 主 題 之 一 。 一 般 手 勢 辨 識 可 分 為 靜 態 手 勢 辨 識 與 動 態 手 勢 辨 識 , 前 者 目 的 為 找 出 手 勢 的 形 狀 , 並 判 別 出 手 勢 代 表 意 義 ; 後 者 為 判 斷 手 掌 移 動 的 軌 跡 方 向 再 進 行 動 作 的 辨 識 。 透 過 電 腦 精 準 的 手 勢 辨 識 , 我 們 可 以 不 用 任 何 接 觸 式 的 控 制 器 , 或 配 戴 任 何 物 件 , 而 以 直 覺 的 方 式 , 達 到 人 機 互 動 的 目 的 。 由 於 手 勢 辨 識 不 但 省 時 省 力 , 亦 可 廣 泛 應 用 於 各 種 平 台 上 , 例 如 遊 樂 器 、 機 器 人 、 電 視 等 , 所 以 勢 必 會 成 為 未 來 主 流 的 人 機 互 動 方 式 之 一 。 目 前 手 勢 辨 識 技 術 遇 到 較 困 難 的 問 題 為 , 在 較 複 雜 的 場 景 較 難 正 確 找 到 手 勢 位 置 並 正 確 分 割 出 來 , 因 此 造 成 辨 識 上 的 困 難 。

(14)

2 本 論 文 目 標 為 靜 態 且 基 於 形 狀 的 手 勢 辨 識 , 而 為 了 解 決 上 述 難 題 , 試 圖 應 用 較 強 健 的 影 像 切 割 技 術 , 因 為 一 旦 切 割 後 的 手 勢 形 狀 較 完 整 , 正 確 的 辨 識 便 將 變 得 相 對 容 易 許 多 。 1.2 文 獻 回 顧 靜 態 手 勢 辨 識 的 步 驟 可 大 略 分 為 手 勢 分 割 或 追 蹤 、 辨 識 , 以 下 介 紹 目 前 常 用 的 幾 種 方 法 : 1.2.1 基於分類的切割方法 以影像中各點的灰階值做分類的依據,在此介紹常用的 K means 方法,可把影像分成 K 類區域,即是切割出 K 塊區域。其演算法如下 1. 設定分成 K 類,並隨機或主動選 K 個點當各類的初始中心 (X1~Xk) 。 2. 其它各點算 1~K 類中心的距離,若該點到 Xm 的距離最短則把該點 分到 m 類。 3. 各點分類完畢,重新計算各類的平均值當作中心,重複步驟 2。 4. 算到各點中心不再變動為止(即收斂) ,分類結束。 K means 可保證收斂,但是其分類結果不一定是最佳解,初始中心位 置及 K 值都會影響分類效果及迴圈次數。若使用 K means 執行影像分

(15)

3

割,我們可用各點的灰階值做分類的依據,分出 K 塊有區別的區域。

圖 1.1 k means 的收斂過程(1→2→3→4) 1.2.2 Chan-Vese 切割模型

Tony Chan 與 Luminita Vese[6]提出的主動式輪廓模型: Chan-Vese Model。這個模型以水平集(Level set zero)作為參數, 並參考影像中區域的資訊定義能量,有別於在此之前其他需要影像梯 度作為參數的主動式輪廓的能量模型。

定義影像空間為 Ω,曲線 C 為 Ω 的子空間 ω 的邊界(ω ⊂ Ω,C

(16)

4 區域 Ω\ ̅。Chan-Vese 模型定義一能量函數並使之最小化。假設影 像 由兩個區域構成,灰階值為片段連續,能以 和 表示這兩個 區域的灰階值。為了說明這個模型中 Fitting term 能量的含意,接 著考慮 (C)+ (C) = (1.1) ∫ ( )| (𝑥, 𝑦) − 𝐶 | + ∫ ( )| (𝑥, 𝑦) − 𝐶 | 其中𝐶 與𝐶 為曲線 C 內、外區域的平均灰階值。考慮四種情況(圖 1.2) 圖 1.2 黃色封閉曲線為 C,只有當右下情形時,Fitting ≈ 0 顯而易見地,在圖 1.2 中的 A、B、C 三種情況中, (C)或 (C) 會大於零,只有在 D 時 (C)+ (C) = Fitting ≈ 0。因此我們若 最小化 Fitting term 的能量,可以得到在前景邊緣的 C Inf{ (C)+ (C)} ≈ 0 ≈ (𝐶 )+ (𝐶 ) (1.2)

(17)

5 除了 Fitting term 外,再考慮曲線的長度、梯度及其所包圍的面積, 則可定義出 Chan-Vese 的能量函數 F(𝐶 , 𝐶 , 𝐶) F(𝐶 , 𝐶 , 𝐶) =μ‧Length(C)+ ν‧Area(inside(C)) (1.3) + ∫ ( )| (𝑥, 𝑦) − 𝐶 | + ∫ ( )| (𝑥, 𝑦) − 𝐶 | 其中 μ≥0,ν≥0, , >0,都為權重。 利用等階集合法表示(1.3)後,便能利用 Euler-Lagrange equation 找出 F 的梯度方向∇F,再以此反方向-∇F 和定義時間 t,帶入梯度下 降法,得到輪廓的演化式,而當輪廓演化到物體邊緣上時,能量值就 會最小,即停止收斂。 1.2.3 粒子濾波器(Particle filter) 粒子濾波器是基於貝氏機率的預測模型,使用影像中的顏色及影 像紋理為特徵,學習動態模型後找出事前機率(prior probability), 再利用測量模型,產生一樣本集合,估測事後機率,以此相似性決定 下一個時間的狀態,並更新目標物體的模型。 應用在追蹤物件時,藉由視訊中目標物件的附近,隨機設置 N 個 粒子(particle),且每一個粒子皆為一個樣本(sample)集合。每一個

(18)

6 粒子代表著一個樣本集合中的狀態向量,利用不同的測量方法,給予 每個粒子不同的權重。 1.取樣:測量步驟後,每一個粒子會有不同的權重及不同機率分布, 取樣目的為將機率密度較小的粒子去除,並將每一個例子機率密度值 一致。 2.預測:追蹤物件的過程中,物件可能會隨著時間變化而改變移動方 向或移動速度,因此預測的主要目的是為了估測出每一個粒子移動後 可能的位置。 3.測量:以物件特徵(ex:顏色)給予每一個粒子相對應的權重,初始化 時,產生粒子並建立樣板。

1.2.4 支 持 向 量 機 (Support Vector Machine ,SVM)

SVM 目的在找出兩群資料間的分界,以區分兩類。對於一群在空 間中的樣本,我們希望能夠在該空間之中找出一 Hyper plan(或 decision boundary),並且,希望此 Hyper plan 可以將這群資料切 成兩群,即兩類分別在 Hyper-plan 的兩端,沒有同時在兩端的情形, 如圖 1.3

(19)

7

圖 1.3 虛線為 𝑥 − 的決策邊界

由圖 1.3 可看出,左圖兩點與 decision boundary 平行的切線間距 比右圖兩點與 decision boundary 平行的切線間距小,雖然都能分成 兩類,但由於右圖分得較開,故為較理想的 decision boundary。

1.2.5 倒 傳 遞 類 神 經 網 路 (Back Propagation Neural Network ) 倒 傳 遞 類 神 經 網 路 為 監 督 式 的 學 習 ,讓電腦了解輸入與輸 出的關係,進而達到辨識的作用。其可分為兩個階段,學習:找到合 適的權重讓輸入特徵可以計算出目標結果;分類:利用學習完的特徵 計算結果。 類神經網路為了模仿人腦神經元的工作,其模式設計如圖 1.4, 由圖 1.4可知神經元先將輸入各自乘上一個連接權值,再將所有的乘 積加總,最後由活化函數決定臨界值是否被輸出。

(20)

8 圖 1.4 單輸入單輸出類神經網路 倒傳遞類神經網路的基本架構包括輸入層、隱藏層和輸出層,其 中隱藏層與外界資訊隔離,只透過輸入層與輸出層作為對外的介面, 用來表現輸入單元間的交互影響,網路可以不只一層隱藏層,也可以 沒有隱藏層,視問題的複雜程度而決定其網路架構,如圖 1.5所示。 圖 1.5 類神經網路結構 在 學 習 階 段 , 我 們 可 輸 入 資 料 且 設 定 對 應 的 輸 出 , 再 計 算 誤 差 再 回 傳,反 覆 修 正 權 重 𝑗。辨 識 時 再 將 輸 入 資 料 乘 上 利 用 學 習 時 所 得 到 的 權 重 , 得 到 輸 出 。

(21)

9 1.2.6 均 值 移 動 (Mean shift) Mean shift 為 一 種 追 蹤 物 體 的 方 法 , 以 迭 代 的 方 式 , 先 算 出 當 前 的 偏 移 值 , 以 該 偏 移 值 移 動 該 點 , 再 重 新 計 算 偏 移 值 。 大 略 的 步 驟 步 驟 如 下 (1) 選 擇 任 意 區 域 , 窗 口 大 小 任 意 設 定 (2) 計 算 窗 口 內 的 質 心 位 置 (3) 調 整 窗 口 中 心 到 質 心 位 置 (4) 重 複 2 到 3, 直 到 收 斂 為 止 過 程 如 如 下 圖 所 示 。

(22)

10

(23)

11 1.2.7 近 年 手 勢 辨 識 方 法 在 [3]中 , 利 用 背 景 相 減 找 出 影 像 中 變 動 的 區 域 , 再 將 RGB 影 像 轉 換 為 YCbCr 影 像 , 設 Cb 及 Cr 門 檻 值 將 膚 色 部 份 去 掉 。 再 以 手 掌 面 心 向 手 部 輪 廓 取 角 度 距 離 特 徵 (圖 1.7)。 圖 1.7 角 度 距 離 圖 學 習 及 辨 識 則 利 用 倒 傳 遞 類 神 經 網 路 , 先 利 用 訓 練 影 像 訓 練 出 權 重 , 辨 識 時 則 輸 入 特 徵 進 類 神 經 網 路 , 利 用 該 權 重 得 到 對 應 手 勢 。 此 方 法 的 辨 識 結 果 可 能 因 手 掌 角 度 不 同 而 有 不 同 結 果 , 且 背 景 不 能 有 太 大 變 化 。 在 [4]中 , 先 利 用 kmeans 把 影 像 分 為 兩 類 :手 及 背 景 ,

(24)

12 再 利 用 最 小 的 矩 形 框 住 手 掌 計 算 矩 形 的 長 寬 並 計 算 比 例 , 得 知 手 掌 角 度 。 辨 識 方 法 為 : 先 用 最 左 及 最 右 的 矩 形 裡 包 含 的 手 掌 比 例 , 判 斷 是 否 有 大 拇 指 (圖 1.8): 圖 1.8 計算左右兩個矩形內的白色面積比例 再 尋 找 手 指 峰 點 , 並 把 較 不 突 出 的 峰 點 去 掉 , 完 成 辨 識 (圖 1.9)。 此 辨 識 方 法 雖 較 快 速 , 但 缺 點 為 只 能 在 單 色 背 景 且 手 掌 角 度 必 須 水 平 或 垂 直 。 圖 1.9 尋找手指峰點 在 [1]中 , 作 者 先 把 RGB 影 像 轉 至 HSV 空 間,因 為 在 HSV 中 較 好 描 述 膚 色。在 手 勢 分 割 時,作 者 利 用 反 向 投 影 的 概 念 , 即 先 統 計 出 膚 色 的 出 現 在 影 像 中 的 概 率 , 畫 出 直 方 圖 , 在 其

(25)

13 他 影 像 中 在 逐 像 素 查 找 此 色 調 出 現 在 直 方 圖 的 位 置 , 分 割 出 手 勢 (圖 1.10)。 圖 1.10 右圖為膚色的機率圖 再 利 用 多 邊 形 圈 住 手 勢 , 以 多 邊 形 到 凹 處 的 距 離 標 準 化 並 算 平 均 深 度 為 特 徵 一 , 在 算 出 多 邊 形 面 積 對 手 部 面 積 的 比 值 作 為 特 徵 二 。 圖 1.11 多 邊 形 取特徵 辨 識 時 , 利 用 影 像 不 變 矩 找 出 與 之 最 匹 配 的 輪 廓 。 此 方 法 優 點 為 較 快 速 , 但 因 沒 有 學 習 過 程 , 所 以 無 法 適 應 每 個 人 的 手 型 。

(26)

14 在 [2]中,作 者 一 開 始 先 定 義 膚 色 在 RGB 空 間 中 的 分 布 , 再 利 用 類 神 經 網 路 辨 識 是 否 為 膚 色 。 訓 練 方 法 為 輸 入 訓 練 影 像 RGB 的 值 , 使 之 輸 出 對 應 為 1 或 0。 (圖 1.12) 圖 1.12 訓練膚色 辨 識 膚 色 方 法 時 即 輸 入 每 個 像 素 RGB 值 , 經 過 類 神 經 網 路 判 斷 為 1 或 0。 (圖 1.13) 圖 1.13 類 神 經 網 路 判 斷 膚 色 得 到 一 開 始 的 膚 色 位 置 後 , 再 去 掉 手 臂 部 分 , 便 利 用 Mean Shift 追 蹤 演 算 法 追 蹤 手 掌 位 置 。

(27)

15 圖 1.14 跟蹤手勢 特 徵 抽 取 則 計 算 手 掌 影 像 的 區 塊 平 均 值 , 和 大 小 平 移 不 變 量 的 影 像 矩 作 為 特 徵 , 再 利 用 Kmeans 做 不 同 狀 態 的 分 類 。 最 後 再 將 特 徵 向 量 送 入 類 神 經 網 路 做 辨 識 。 此 篇 方 法 在 辨 識 上 有 不 錯 的 表 現 , 缺 點 為 對 光 線 較 為 敏 感 。 1.3 論 文 架 構 本 論 文 為 了 發 展 一 套 手 勢 控 制 的 介 面,以 及 改 善 目 前 因 手 勢 分 割 的 不 完 整 性 引 起 辨 識 的 誤 差 , 建 立 一 套 新 的 手 勢 辨 識 系 統 , 並 以 此 系 統 建 立 一 個 控 制 介 面 。 本 論 文 架 構 如 下 : 第一章 「 緒 論 」: 說明本論文研究之背景、動機、文獻的方法及 回顧、研究方向。 第 二 章 「 研 究 理 論 及 方 法 」:介 紹 本 論 文 手 勢 辨 識 系 統 所 應

(28)

16 用 的 各 種 理 論 。 第 三 章 「 手勢辨識系統設計」:利 用 第 二 章 的 理 論 , 設 計 手 勢 辨 識 系 統 的 架 構 :包 括 手 勢 分 割 、 學 習 及 辨 識 。 第 四 章 「 實 驗 分 析 與 應 用 」:本 章 先 測 試 手 勢 分 割 的 完 整 性 , 再 針 對 主 成 份 分 析 中 , 不 同 的 降 維 度 對 辨 識 率 的 影 像,並 實 驗 不 同 受 試 者 (不 在 訓 練 影 像 內 )的 辨 識 率 。 最 後 再 將 本 系 統 應 用 在 電 腦 鼠 標 的 控 制 上 , 將 不 用 滑 鼠 或 任 何 實 體 接 觸 控 制 鼠 標 。 第 五 章 「 結 論 與 未 來 目 標 」 :本 章 歸 納 本 系 統 適 用 的 條 件 , 並 指 出 本 系 統 未 來 繼 續 改 進 的 方 向 。

(29)

17 第二章 研究理論與方法 這個章節將介紹本論文為完成手勢辨識,其所用到的各種技巧與 理論,而由於本論文較著重在影像切割上,所以會較詳細介紹此理 論。 2.1 色彩空間 本 論 文 為 了 偵 測 膚 色 , 大 部 分 的 影 像 處 理 手 續 都 在 色彩空間上。 為色彩空間的一種,其中 Y 為顏色的亮度, 指藍色色 度, 指紅色色度。 不是絕對的色彩空間,而是一種對 RGB 空 間的編碼方法,所以其值為由 RGB 的值計算而來,如式(2.1) 、式 (2.2) 、式(2.3)所示: Y = (0.257×R) + (0.504×G) + (0.098 ×B) + 16 (2.1) = -(0.148×R) - (0.291×G) + (0.439×B) + 128 (2.2) = (0.439×R) - (0.368×G) - (0.071×B) + 128 (2.3) 以上三式為在數位影像(八位元深度)中, 與 RGB 空間中的轉 換公式。有別於廣泛使用的 RGB 空間,YCbCr 特別將亮度獨立出來,

(30)

18 且從 Cb 和 Cr 空間即可判斷顏色性質。 2.2 連續影像相減法(Frame differencing) 連續影像相減法為目前影像與特定影像相減,以找出畫面中變動 的區域。一般而言,會以第一張讀入的影像作為背景影像,接下來讀 入的影像與之相減,便可知道變動區域。然而實際應用上,會由於雜 訊或曝光的影響或環境的變動,使這種方法效果不佳。為了避免這個 問題,本論文會不斷地更新背景影像,方法如下: 1.找 背 景 影 像 ,預設 t = 0,需累積 3 張變動較小的影像,才認定 找到背景影像

(31)

19

圖 2.1 找 背 景 影 像 的 流 程 2.找 到 背 景 影 像 後 ,便進行背景相減

(32)

20 圖 2.3,a-b-c-d 為四張連續影像 以 圖 2.3 為 例 ,a 原為背景影像,背景影像再更新至 b,c 和 d 與 b 的差異較大,所以背景影像維持在 b,待手勢離開後再更新背景影像。 2.3 主動式輪廓(Active contour) 主動式輪廓發展至今已有眾多模型被提出,其共同特徵為不斷變 形一曲線(或封閉輪廓),使其停留在物體輪廓上:例如定義一初始輪 廓環繞一物體,這條曲線會變形至包覆物體為止。主動式輪廓有許多 優點: (1).其精確度高於以像素為單位的傳統影像切割方法。

(33)

21 (2).主動式輪廓的能量模型可以參考影像中許多資訊來設計,例如輪 廓形狀或影像灰階等。 (3).此方法可以提供封閉且平緩的輪廓。 圖 2.4 主動式輪廓收斂過程 Snakes 為主動式輪廓的常見範例,最初是以基於邊緣的模型被提出 的 [1]:定義Ω在ℜ2 為物體,∂Ω為物體邊界, →ℜ2 為影像, C(s):[0,1] →ℜ2 為參數式曲線。 J(C) = ∫ |𝐶′(𝑠)| 𝑑𝑠 + ∫ |𝐶′′(𝑠)| 𝑑𝑠 - ∫ |∇ (𝐶(𝑠))| 𝑑𝑠 (2.4) 其中 , , 都是正數。第一及第二項控制曲線的平緩程度,又稱作 內部能量(Internal energy) ,第三項吸引輪廓往物體靠近,又稱作 外部能量(External energy) 。由(2.4)可發現經由最小化 J(C) ,可使曲線 停留在∇ 最大的地方,使曲線 像邊緣偵測子

(34)

22 ,且同時保持曲線平緩。

2.4 等階集合法(Level set method)

本論文利用主動式輪廓切割手勢,且以等階集合法的水平集

0(Level Set zero)為參數描述輪廓,所以這節將先介紹等階集合法 (Level set method)。等階集合法這裡用作描述輪廓變化及移動的方 法,其原理為把 n 維的描述視為 n+1 維空間中的一個水平,所以它的 運算過程是在 n+1 維中進行,我們再取關注的水平集即可(圖 2.5)。 藉由等階集合法我們很容易描述輪廓的變化,且在低維時輪廓變化需 要不斷的參數化,但在高維就不用。而本章後面部分將介紹如何利用 水平集作為主動式輪廓中能量的參數,和最小化能量的方法。 圖 2.5 等階集合法 首先介紹等階集合法如何以隱式函數定義邊界(Interface) ,以 及為何要把該隱函數設為正負距離函數,以及描述水平集移動的方

(35)

23 法。 2.4.1 邊界(Interface) 為了方便說明邊界概念,我們先以點邊界 (Points)為例子。假 設在一維空間中,我們用兩點 x = 1,x = -1 將一線段切成三個子空 間,即(-∞,-1),(1,-1),(1,∞)。我們視Ω =(1,-1)為裡面,Ω = (-∞,-1)∪(1,∞)為外面,以兩點∂Ω= {-1, 1}為邊界。在一維空間 中,可發現子空間都為一維,邊界為零維度。事實上在ℜn 空間中, 子空間為 n 維度,邊界為 n-1 維度。 上述描述邊界的方法為顯式(Explicit)法,即我們明確地寫下邊 界上的點∂Ω= {-1, 1};而隱式(Implicit)法則是利用定義函數的某 水平集視為邊界:例如我們定義一函數 φ(x)= 𝑥 - 1 再取 φ(x)=0 的集合,恰可得到 x = 1 及 x = -1,同樣得到邊界∂Ω= {-1, 1}(圖 2.6)

(36)

24 圖 2.6 利用隱函數 φ(x)= 𝑥 - 1 的 φ(x)=0 的集合定義邊界 值得注意的是在得到同樣的邊界時,隱式表示方法比顯示法多了一個 維度,事實上若用隱式法在ℜn 空間定義邊界,需要定義 n 維的隱函 數再取 n-1 維的水平集作為邊界。 利用上述的定義,可知在二維空間中,利用一維曲線邊界可區分 出二維的子空間。這裡我們只考慮封閉曲線,這樣才能容易判別裡面 與外面。這裡以一封閉單位圓𝑥 𝑦 =1 作為一平面的邊界作為例子: 若用顯示邊界表示法,我們須清楚描述這條封閉曲線上的所有點,即 ∂Ω = {𝑥⃗ | |𝑥⃗|=1};而若用隱式法,我們定義函數 φ(𝑥⃗) = 𝑥 𝑦 -1, 再取 φ(𝑥⃗) =0 的水平集,得到一樣的邊界(圖 2.7)

(37)

25 圖 2.7 隱式邊界表示法描述𝑥 𝑦 =1 在二維空間中以顯示法表示邊界需定義曲線上所有的點,這在大部分 的情況下很難做到,只能參數化曲線,若曲線移動或變形時則須不斷 重新參數化曲線;而隱式法以高維函數定義邊界的方法雖看似浪費, 但在這裡就能看處它的好處,所以本論文即應用二維的隱函數表示曲 線變化。 2.4.2 距離函數(Distance function) 在定義隱函數 φ 的水平集為邊界的同時,也希望 φ 也為正負距 離函數(Signed distance function),因為這種函數有些良好性質可 簡化等階集合法,使運算過程更順利。首先距離函數定義 d(𝑥⃗)如下

(38)

26

d(𝑥⃗) = min(|𝑥⃗-𝑥⃗ |) for all 𝑥⃗ ∈ ∂Ω (2.5) 其意謂𝑥⃗∈ ∂Ω時,d(𝑥⃗)=0。而對於其它𝑥⃗,d(𝑥⃗)的值為∂Ω上與𝑥⃗最相 近的點𝑥⃗ 與𝑥⃗的距離|𝑥⃗-𝑥⃗ |。 另外距離函數可寫成以下形式 d(𝑥⃗) = |𝑥⃗-𝑥⃗ | = (( ) ( ) ) (2.6) 其中 與 為兩點間水平及垂直分量的距離差,而 d(𝑥⃗)的梯度為 ∇d =( , ) =( (( ) ( ) ) , (( ) ( ) ) ) (2.7) 所以合併(2.6(2.6) 及(2.7)可得到 |∇d|=1 (2.8) 此為距離函數的特殊性質之一。

而正負距離函數(Signed distance function)φ(𝑥⃗)為一種隱函 數,對所有的𝑥⃗而言,|φ(𝑥⃗)| = d(𝑥⃗) 。因此𝑥⃗∈∂Ω時,φ(𝑥⃗) = d(𝑥⃗) = 0; 𝑥⃗∈Ω 時,φ(𝑥⃗) = - d(𝑥⃗) ;而𝑥⃗∈Ω 時,φ(𝑥⃗) = -d(𝑥⃗) 。 正負距離函數也具有同樣性質 |∇φ(𝑥⃗) |=1 (2.9) 上節曾以隱函數 φ(x)= 𝑥 - 1 定義出邊界∂Ω= {-1, 1},而現 在也可以此為例子,重新定義正負距離函數 φ(x)=|x| - 1,定義出 同樣的邊界(圖 2.8 所示)。

(39)

27 圖 2.8 利用正負距離函數區分出 和 及∂Ω 這裡 X = 0 時 φ(x)的導數並無定義,但因我們將 φ(x)應用在卡式 座標中,即應用在有限的取樣點,所以在這種情形下 φ(0)的值會是 有限的。 2.4.3 移動水平集

我們將討論如何描述水平集(level set zero)的移動,即 φ(𝑥⃗) = 0 上各點的變化。其變化其實為高維曲面移動後取水平集的結果, 這裡我們先以外在產生的速度場作為水平集移動的例子,不過速度場 當然也有可能由水平集自身定義,所以我們再用曲率作為第二個例子, 而在本論文中,我們將會以影像中的區域資訊定義速度場。

(40)

28 我們以 ⃗⃗(𝑥⃗)表示在 φ(𝑥⃗)上每個點𝑥⃗的速度。若設速度場 ⃗⃗ = (u , v,w) ,我們希望 φ(𝑥⃗)每點以此速度場移動,最簡單描述每點移動 的方法為解決以下的 ODE ⃗ = ⃗⃗(𝑥⃗) (2.10) 而接下來我們希望描述 φ(𝑥⃗)的水平集的移動,表示如下 φ(𝑥⃗(t)) = 0 (2.11) 其中 t 參數表示點𝑥⃗隨時間變化,利用鏈鎖率法則(chain rule)可推 導出(2.11)隨 t 的變化率 ( ⃗( )) = + z z + (2.12) 其中 + z z = + = ⃗⃗‧∇ (2.13) 由(2.13)套入(2.12)得到 = ⃗⃗‧∇ (2.14) (2.14)描述 φ(𝑥⃗)的水平集的移動,又稱為等階集合方程式(Level set equation)。 2.5 最 佳 設 計

(41)

為了最小化各種不同形式的能量模型,最常使用的方法為歐拉-29 拉格朗日方程式與梯度下降法。

2.5.1 梯度下降法(Gradient descent method)

梯度下降法為最佳化技巧之一,可用數值化方法尋找區域性的最 小值。若函數 f(x)在 x = a 可微分,利用梯度∇f(a)為函數 f 在 x = a 變化率最大的方向的性質,可得知沿-∇f(a)下降最快,因此如果 b = a - s∇f(a) (2.15) 其中 s 為步伐大小,則 f(b)≧f(a) 。 因此令 f 從𝑥 出發,則 𝑥𝑛 = 𝑥𝑛 - 𝑠𝑛∇f(𝑥𝑛) (2.16) 可得到 f(𝑥𝑛 ) ≦ f(𝑥𝑛) (2.17) 即隨著步伐進行,函數 f(x)值會越來越小,因此可設定某一收斂值 為停止迭代的標準,得到函數的 f 的最小值。 梯度下降法的優點為保證收斂,其表現較為強健;缺點為其收斂 速度會隨迭代次數增加而越來越慢。若函數為凸函數(Convex function)時則可保證找到的區域最小值(Local minimum)同時也為 廣域最小值(Global minimum)。

(42)

30

圖 2.9 梯度下降法的迭代過程

2.5.2 歐拉-拉格朗日方程式(Euler Lagrange equation) 考慮一能量泛函數(functional)E E = ∫ ( , ( ), ′( )) 𝑎 (2.18) 利用 first variation,泛函數 E 的變分可寫成以下形式,其中ɛ為 微小量,η 為可微分函數 δE = ∫ (𝑎 L f𝑑 𝑑 f L)η( ) (2.19) 而 δE = 0 為 E 有最小值的必要條件,所以 L f − 𝑑 𝑑 L f′ = 0 (2.20) 為 E 有極值的必要條件,又稱為 Euler–Lagrange equation。另外 值得注意的是 δE 可寫成内積形式

(43)

31 δE = ∫ 𝑔 . η 𝑎 = <g,η> (2.21) 根據 Cauchy Schwarz 不等式 |<g,η>|2 ≦ <g,g> . <η,η> (2.22) 因為 g 為已知,所以η=g 時會使<g,η>有最大值,因此 g 可視為 E 之 梯度,即 ∇E = L f𝑑 𝑑 f L (2.23) 2.6 手 掌 轉 正 為了避免手掌角度對辨識的影響,本論文將手掌視為對稱的剛體 並利用質量慣性矩陣(inertia matrix),計算手掌主軸的角度,再 將手掌每點乘上旋轉矩陣,將手掌轉至垂直,俾利尋找手指峰點。 2.6.1 影像矩(Moment) 影像矩由特定的權重與影像位置組合而成,各種矩對影像各有不 同的描述,依需求可利用不同的矩。本論文為了取得質量慣性矩陣, 需用列矩(Raw moments)。

(44)

32 p、q = 0,1,2…,對灰階影像 I(x,y)而言,列矩𝑀 𝑗為 𝑀 𝑗 = Σ Σ 𝑗 I(x,y) (2.24) 利用列矩可以初步計算簡單的手掌幾何性質,例如手面積為𝑀 ,手 掌面心(𝑥̅, 𝑦̅)則為(𝑀 /𝑀 , 𝑀 /𝑀 ) 。 2.6.2 質量慣性矩(Moment of inertia) 對 於 一 剛 體 B,L 為空間中一軸線,則可定義剛體 B 對 L 軸的 質量慣性矩為 𝐼𝐿 = ∫ 𝑑𝑚 (2.25) 其中 r 為每個質量元素 dm 到 L 軸線的垂直距離,圖 2.10 以原點為 軸。 圖 2.10 計算質量慣性矩 2.6.3 質量慣性積(Product of inertia)

(45)

33 對 於 兩 正 交 平 面 X 與 Y,每個質量元素 dA 至各平面的垂直距 離的乘積,為其元素的質量慣性積 d𝐼 ,再對整個質量積分後得質量 慣性積𝐼 𝐼 = 𝐼 =∫ 𝑑𝐴𝐴 (2.26) 圖 2.11 計算質量慣性積 令 用 上 述 的 慣 性 矩 及 慣 性 積 ,在卡式座標可組成矩陣形式,即為 質量慣性矩陣𝐼 (inertia matrix),本論文對質心取質量慣性矩 陣𝐼𝑂 𝐼𝑂 = [ 𝐼 −𝐼 −𝐼 −𝐼 𝐼 −𝐼 −𝐼 −𝐼 𝐼 ] (2.27) 2.6.4 轉 主 軸 (Principal axes) 在 (2.27)中 ,𝐼𝑂矩陣為九個元素的矩陣,但若適當的選取坐標 系,則可將𝐼𝑂化簡為只有三個元素的對角矩陣,即是轉主軸的目的之

(46)

34 一。 主軸為剛體三面均對稱的軸,而由質量慣性積的定義,會導致剛 體的𝐼𝑂的質量慣性積部分均為零。以下圖為例,此剛體對 ′平面對稱, 所以𝐼 、𝐼 、𝐼 、𝐼 = 0,故 ′為主軸之一。 圖 2.12 主軸 在 一 般 情 況 下,除非物體完美對稱,否則想直接發現主軸位置並不 是件容易的事。以圖 2.13 為例,

(47)

35 圖 2.13 三維空間上的主軸 我們想尋求一座標系 、 、z,且三軸上的角速度 分別為 、 、 ,分別與三方向角動量平行,即 [ 𝐻𝐺 𝐻𝐺 𝐻𝐺 ] = [ 𝐼𝑤 𝐼𝑤 𝐼𝑤 ] = [ 𝐼 𝐼 𝐼 ] [ ] (2.28) 若 以 此 座 標 系 ,用原始的方法表示角動量,則為 [ 𝐻𝐺 𝐻𝐺 𝐻𝐺 ] = [ 𝐼 −𝐼 −𝐼 −𝐼 𝐼 −𝐼 −𝐼 −𝐼 𝐼 ] [ ] (2.29) 利用上述兩式,可寫成下式以尋求 、 、z的方向 [ 𝐼 − 𝐼 −𝐼 −𝐼 −𝐼 𝐼 − 𝐼 −𝐼 −𝐼 −𝐼 𝐼 − 𝐼] [ ] = [ ] (2.30) 則 找 尋 主 軸 的 問 題 即 為 解 特 徵 值 的 問 題 ,解出的特徵值即為三 個主軸的質量慣性矩,特徵向量即為主軸三個正交的方向。 2.6.5 旋 轉 矩 陣 (Rotation matrix) 在 二 維 平 面 上 , 任 何 旋 轉 矩 陣 R 可 寫 成 以 下 形 式

R(𝜃) = [cos 𝜃 − sin 𝜃sin 𝜃 cos 𝜃 ] (2.31) 在 平 面 上 的 點 向 量 乘 上 R 矩 陣 後,會對原點產生角度𝜃的旋轉(圖 2.14):

(48)

36

[𝑥𝑦] = [cos 𝜃 − sin 𝜃sin 𝜃 cos 𝜃 ] [𝑥𝑦] (2.32)

圖 2.14 向 量 乘 上 R 矩 陣 後 ,會對原點產生角度𝜃的旋轉 若欲使點向量繞點(𝑥 , 𝑦 )旋轉, 則 可 寫 成 下 列 關 係 式

[𝑥𝑦 − 𝑥− 𝑦 ] = [cos 𝜃 − sin 𝜃sin 𝜃 cos 𝜃 ] [𝑦 − 𝑦𝑥 − 𝑥 ] (2.33)

2.7 傅 立 葉 描 述 子 (Fourier descriptors) 在 完 成 影 像 切 割 的 步 驟 後 , 所 得 到 的 切 割 影 像 往 往 仍 不 夠 平 滑 , 所 以 本 論 文 對 影 像 切 割 後 的 輪 廓 做 傅 立 葉 描 述 , 並 只 取 前 幾 項 係 數 再 反 轉 換 , 這 項 作 法 能 夠 得 到 較 平 滑 的 輪 廓 , 並 保 留 較 重 要 的 特 徵 (手 指 峰 點 )。 在 二 維 平 面 上 , 若 任 意 輪 廓 起 點 為 (𝑥 , 𝑦 ), 並 依 序 為

(49)

37 (𝑥 , 𝑦 ) , (𝑥 , 𝑦 ) , (𝑥3 , 𝑦3)… , 則 為 了 方 便 做 一 維 的 傅 立 葉 轉 換 , 我 們 可 以 用 複 數 座 標 表 示 之 , 即 s(k) = x(k) + jy(k) (2.34) 其 中 k = 0,1,2… K-1 表 示 輪 廓 點 數 , x 及 y 為 原 本 輪 廓 的 x,y 座 標 。 將 輪 廓 寫 成 一 維 複 數 形 式 後 , s(k)的 離 散 傅 立 葉 轉 換 為 a(u) = Σ 𝑘= 𝐾 s(k)e j π k K (2.35) 其中u = 0,1,2… K-1。 a(u)稱 為 此 輪 廓 線 的 傅 立 葉 描 述 子 , a(u)的 傅 立 葉 反 轉 換 能 夠 重 建 輪 廓 線 s(k) , 即 s(k) = 𝐾Σ𝑢= 𝐾 a(u)ej π k K (2.36) 其 中 k = 0,1,2… K-1。 在 一 般 情 況 下 , 我 們 並 不 會 取 全 部 的 傅 立 葉 係 數 , 反 之 只 取 前 P 項 係 數 再 做 反 轉 換 , 得 到 近 似 的 s(k) 𝑠̃(k) = 𝑃Σ 𝑢= 𝑃 a(u)ej π k P (2.37) 其 中 k = 0,1,2… K-1, 表 示 雖 只 取 前 P 項 係 數 , 反 轉 後 的 輪 廓 點 數 仍 是 K 點 。 由 於 在 影 像 傅 立 葉 轉 換 中 , 高 頻 為 表 示 細 節 的 部 分 , 低 頻 為 則 表 示 大 略 形 狀 的 部 分 , 所 以 P 越 小 則 表 示 會 遺 失 掉 較 細 節 的 部 分 , 如 圖 2.15 所 示 為 長 度 K = 1174 的 輪 廓 做 傅 立 葉 描

(50)

38 述 子

圖 2.15 (a)到 (g)為 取 前 5~35 項 係 數 , (h)為 原 本 的 輪 廓 , 可 以 看 出 大 約 取 前 10 項 係 數 就 可 以 得 到 想 要 的 特 徵 形 狀 , 30 項 就 幾 乎 足 以 表 示 原 本 輪 廓 線 。

2.8 奇異值分解(Singular value decomposition) 設 A 為 m×n 階的矩陣,rank(A)=r,則 A 可分解為

A = UΣ ∗ (2.38)

(51)

39 Σ = [ 𝜎 𝜎 ] (2.39)

主對角元𝜎 >0,i = 1,2….,r 稱為奇異值(singular values) ,通常 我們會由大至小排序,即𝜎 ≧𝜎 ≧𝜎3>0,而且大部分情況下,少部分 的奇異值大於其他奇異值的總和。SVD 的特色是Σ矩陣的多數元為零, 下圖白色區塊為 0: 圖 2.16 這表示 A 僅由 U 的前個行向量, ∗的前個列向量以及Σ的左上 r×r 的子矩陣決定,當 r 遠小於 m 及 n 時,利用 SVD 可大幅減少儲存量。 圖 2.17

(52)

40 在本論文中,由於每個手勢樣本採集的特徵數較多,但並不是每 個特徵都同等重要,所以有必要從原本特徵中挑出較重要性的特徵再 比較,即降低維度。利用主成份分析,我們能將原本特徵矩陣投射至 維度較小且變異數較大的空間,達到降維的目的。 主成份分析(或稱PCA)是一種分析、簡化數據集的方法,利用基底變 換,使變換後的數據有最大的變異數,可以用來剔除沒有代表性的數 據,保留有代表性的樣本。以圖 2.18為例子。 圖 2.18 以一維軸觀測點 若我們想用一軸去近似這些點(即以二維降到一維),則將每點投射到 y或x座標上會得到相當的變異數(因為數據大約呈45度分佈),但若投 射到圖中signal軸,則可得到最大的變異數;投射到noise軸會得到 較小的變異數。一般而言,變異數大的方向為訊號的方向,較小則是 雜訊的方向,我們可將原數據以此訊號軸近似,即可以用PCA在N維空

(53)

41 間取r個軸描述(r≦N)。 設蒐集到n個p維的樣本數據{𝑜 , 𝑜 , 𝑜3…𝑜𝑛},並扣除每個數據點的 平均向量μ,得到離差矩陣𝑂 𝑂 = [ (𝑜 − 𝑚) . . (𝑜𝑛− 𝑚) ] (2.40) 𝑂矩陣中,每一列為一個特徵,每一行為一個變數。將此矩陣標準化 後可得 𝑂̃ = [ (𝑜 − 𝑚) . . (𝑜𝑛− 𝑚) ] [ 𝑠 𝑠𝑝] (2.41) 其中𝑠𝑗 = Σ𝑘= 𝑛 (𝑜𝑘𝑗 − 𝑚𝑗) 是第j特徵的變異數,𝑚𝑗是第j特徵的 樣本平均數。設𝐷為對角矩陣,對角線上依序為𝑠 、𝑠 ….𝑠𝑝,則𝑂̃可 表示為 𝑂̃ = 𝑂𝐷 (2.42) 定義共變異數矩陣(covariance matrix)為 𝑆 = 𝑂 𝑂 (2.43) 𝑆可以正交對角化為 𝑆 = 𝑊𝐻𝑊 (2.44) 其中𝑊 = { , , … 𝑝}為標準正交(orthonormal)主成份(為特徵 向量)構成的pxp的正交矩陣,即𝑊 𝑊 = 𝑊𝑊 = I,H 為特徵值矩

(54)

42 陣。令𝑧𝑘𝑗是數據點𝑜𝑘-μ所含主成份 𝑗的主成份係數,由正交投影得 𝑧𝑘𝑗 = (𝑜𝑘 − μ) 𝑗 (2.45) 其中𝑘 = 1….n, j =1…p 將這些係數合成n x p階主成份係數矩陣 Z = [ (𝑜 − 𝑚) . . (𝑜𝑛− 𝑚) ] … 𝑝 = 𝑂 𝑊 (2.46) 再考慮矩陣𝑂的奇異值分解 𝑂 𝑈ΣV (2.47) 其中𝑈為正交的左奇異矩陣,Σ為對角奇異值矩陣,V為正交右奇異 矩陣,將奇異值的結果帶入(2.43)式可得到 𝑆 = 𝑂 𝑂 = VΣ = V( )Σ (2.48) 與(2.44)對應,可得特徵值矩陣𝐻 𝐻 = ( )Σ (2.49) 主成份矩陣 𝑊 = (2.50) 主成份係數矩陣 𝑍 = 𝑂 = 𝑈ΣV = 𝑈Σ (2.51) 由此可看出奇異值分解出的正交矩陣 即為主成份矩陣𝑊,奇異值σ𝑗 可算出特徵值 𝑗 = ( )σ𝑗 ,正交矩陣𝑈和奇異值矩陣Σ可決定主成

(55)

43 份矩陣𝑍的係數。

(56)

44 第三章 手勢辨識系統設計 3.1 手 掌 分 割 在 進 行 手 勢 辨 識 前 , 如 何 將 手 掌 從 複 雜 背 景 正 確 地 擷 取 出 來 為 相 當 重 要 的 課 題 。 本 論 文 將 此 步 驟 分 為 : 1.連 續 背 景 影 像 相 減 2.膚 色 濾 除 3.主 動 式 輪 廓 切 割 手 勢 。 3.1.1 連 續 背 景 影 像 相 減 為 了 找 出 可 能 的 手 勢 位 置 , 本 模 組 先 利 用 連 續 背 景 影 像 相 減 找 出 是 否 有 物 體 進 入 。 因 為 僅 偵 測 是 否 有 膚 色 物 體 進 入 , 且 欲 屏 除 亮 度 影 響 所 造 成 的 誤 判,所 以 將 RGB 影 像 轉 至 YCbCr 空 間,不 考 慮 Y 通 道 的 變 化 (即 亮 度 的 變 化 ),並 取 Cr 通 道 , 作 為 相 減 的 參 數 。 當 前 影 像 與 背 景 影 像 相 減 出 變 動 的 區 域 後 , 若 變 動 太 小 則 更 新 當 前 影 像 為 背 景 影 像 。 若 區 域 夠 大 , 則 再 進 一 步 設 定 較 寬 鬆 的 門 檻 值 濾 除 非 膚 色 部 分 , 本 論 文 設 定 77<Cb<150, 135<Cr<177。 在 上 述 步 驟 完 成 後 若 仍 有 區 域 夠 大 , 則 視 為 膚 色 物 體 進

(57)

45 入 畫 面 , 將 此 膚 色 區 域 設 置 ROI(region of interest), 待 更 進 一 步 的 手 勢 分 割 , 如 圖 3.1 與 圖 3.2 所 示 。 圖 3.1, 保 留 的 背 景 影 像 與 當 前 影 像 的 Cr 通 道 圖 3.2, 兩 張 相 減 後 並 二 值 化 , 濾 波 後 取 出 ROI 3.1.2 主 動 式 輪 廓 模 型 推 導 為 了 切 割 較 完 整 的 手 勢 ,本論文發展利用等階集合法的主動 式輪廓模型。因為欲以形狀做特徵以進行辨識,所以希望此模型的輪 廓僅會停在物體的外輪廓上,且較不受雜訊干擾,如圖 3.3 所示。

(58)

46 圖 3.3 a 為 分 割 , c 為 其 二 值 化 後 的 結 果 ; b 為 分 割 , d 為 其 二 值 化 後 的 結 果 , 可 發 現 b、 d 的 分 割 較 能 描 述 物 體 的 形 狀 。 由於影像邊緣部分通常是灰階差異較大的地方,所以以輪廓內外 的灰階差當作邊緣能量: 𝑑 = - ( − ) (3.1) 其中 u 為輪廓上的平均灰階值,v 為輪廓外一圈的平均灰階值。 通常 E 在輪廓位在物體邊界的地方會有最小值,以二值影像(圖 3.4) 為例,其 E 的最小值 inf( 𝑑 ) = - ( − ) (3.2) 只有輪廓停留在每個連通域的邊緣時,能量才會達到最小值,

(59)

47

圖 3.4 (左上)E = 0 (右上)E =0 (左下)E = [0,inf(E)] (下)E=inf(E) 為了方便描述輪廓變化(尤其是分離或融合) ,本論文利用等階集合 法作為輪廓參數。以 C⊂Ω表示隱函數 =0 的集合 { 𝐶 𝜕 {(𝑥, 𝑦) ∈ , (𝑥, 𝑦) } 𝑖𝑛𝑠𝑖𝑑𝑒(𝐶) {(𝑥, 𝑦) ∈ , (𝑥, 𝑦) > } 𝑜 𝑡𝑠𝑖𝑑𝑒(𝐶) \ ̅ {(𝑥, 𝑦) ∈ , (𝑥, 𝑦) < } 為了取得輪廓外一圈的資訊,我們以 C 演化,向其法向方向演化一格 (圖 3.5) ,其中 𝑛=0 為目前輪廓, 𝑛 =0 為其外一圈的輪廓 圖 3.5 以 𝑛向其法向演化 為了取得輪廓外一圈的數學式,利用描述水平集移動的 Level set

(60)

48 equation = ⃗⃗‧∇ (3.3) 上式的數值形式: 𝑛+ 𝑛 = ⃗⃗‧∇ (3.4) 設 t=1 及 ⃗⃗= ⃗⃗⃗,得到 𝑛 𝑛 |∇ | (3.5) 由於在本論文實驗中會不斷的重新初始化 ,所以 𝑛 可以寫成更精 簡的形式 𝑛 𝑛 1 (3.6) 由於需在離散空間中表示輪廓長度,我們用正規化(regularized)的 脈衝函數 ,其由正規化的一階單位步階函數微分求得 (𝑧) = (1+ πarctan( z ε)) (3.7) 圖 3.6 正規化單位步階函數,ε=0.5

(61)

49

因此可以將 𝑑 以 Level set method 表示

𝑑 (u,v,φ)= − ( − ) (3.8) 其中 u 及 v 為 (φ) = ∫ 𝑢0( , ) 𝑟( ( , )) ∫ 𝑟( ( , )) (3.9) (φ) = ∫ 𝑢0( , ) 𝑟( ( , ) ∇ ) ∫ 𝑟( ( , ) ∇ ) (3.10) 若針對(3.8)做最小化,則會發生 φ 不會變動的情形,因為(3.8)只 參考兩條線的資訊,所以該式並不知道下一步該如何走,故本論文決 定改寫[7]提出的分割能量以實現邊緣的想法。利用分割能量 𝑠 𝑝𝑎 𝑎 𝑛 (u,v,φ)= − ( − ) (3.11) 其中 u 為 φ≧0 區域的平均灰階值,v 為 φ<0 區域的平均灰階值, 透過最小化 𝑠 𝑝𝑎 𝑎 𝑛可以以 φ=0 分割出灰階差異最大的兩塊區域。 為了求得 𝑠 𝑝𝑎 𝑎 𝑛的最小值,我們先求得∇ 𝑠 𝑝𝑎 𝑎 𝑛再帶入梯度下 降法。 令 𝑢=∫ (𝑥, 𝑦) ( ( , )) 及 𝑢 = ∫ ( ( , )) ,其 中 (𝑥, 𝑦)為影像;則根據 Euler-lagrange equation 得到∇ 𝑢 = (𝑥, 𝑦) 及∇ 𝑢=1,∇u = ∇( 𝑢/ 𝑢)為 ∇u = L𝑢∇ 𝑢 𝑢∇L𝑢 𝑢 ⃗⃗⃗ = L𝑢 𝑢 𝑢 ⃗⃗⃗ = 𝑢 ⃗⃗⃗ (3.12) 利用類似的計算∇v 為

(62)

50 ∇v = − 𝑣 ⃗⃗⃗ (3.13) 其中 𝑣為輪廓 c 外一圈的長度。利用以上式子可以寫出∇ 𝑠 𝑝𝑎 𝑎 𝑛為 ∇ 𝑠 𝑝𝑎 𝑎 𝑛 = −(u-v)( 𝑢 𝑣) ⃗⃗⃗ (3.14) 再利用∇ 𝑠 𝑝𝑎 𝑎 𝑛的負方向帶入梯度下降法,可以得到 的演化式 = (u-v)( 𝑢 𝑣) (3.15) ,而為了只參考邊緣資訊,利用(3.9)及(3.10)算出的 u 及 v 帶入 (3.15),則可利用(3.15)實現最小化 𝑑 。根據此式子, =0 可演 化到區域性灰階變化劇烈的地方。 3.1.3 主 動 式 輪 廓 模 型 切 割 手 勢 利 用 連 續 影 像 相 減 後 , 可 得 到 大 略 的 變 動 區 域 , 以 此 為 主 動 式 輪 廓 的 初 始 輪 廓,開 始 計 算 能 量 的 最 小 值,如 圖 3.7 所 示 。

(63)

51 圖 3.7 以 此 紅 框 為 初 始 輪 廓 由 於 此 模 型 僅 能 切 割 出 內 、 外 兩 塊 區 域 , 所 以 以 膚 色 為 主 動 式 輪 廓 的 停 留 基 準 。 在 影 像 相 減 出 的 區 域 中 , 我 們 先 計 算 此 區 塊 內 的 平 均 Cr 值,再 將 ROI 內 的 Cr 通 道 與 之 相 減,化 為 灰 階 圖 並 將 對 比 度 拉 高 。 如 圖 3.8 所 示 圖 3.8 a 為 相 減 後 的 區 域 , 以 此 區 域 為 遮 罩 , 計 算 此 區 域 的 平 均 Cr 值 , 照 上 述 方 法 處 理 後 即 為 b。 在 得 到 Cr 的 差 異 灰 階 圖 後 , 便 將 此 圖 與 初 始 輪 廓 帶 入 主 動 式 輪 廓 計 算 (圖 3.9)。 在 輪 廓 收 斂 後 , 再 利 用 型 態 學 及 連 通 域 處 理 , 去 掉 小 塊 的 面 積 , 得 到 最 後 的 分 割 結 果 。

(64)

52 圖 3.9 a:輸入灰階圖 b:等階集合法做切割的結果 c:二值化 d:挑 掉較小面積的部分 3.2 手 掌 轉 正 為 了 避 免 手 掌 角 度 影 響 辨 識 結 果,分 割 後 的 手 勢 均 做 轉 正 處 理 。 先 利 用 影 像 矩 , 得 到 手 掌 重 心𝐶𝑂位 置 , 再 計 算 手 掌 對 重 心 的 質 量 慣 性 矩 陣 : 𝐼𝑂 = [ 𝐼 −𝐼 −𝐼 −𝐼 𝐼 −𝐼 −𝐼 −𝐼 𝐼 ] (3.16) 由於本論文均處理二維影像,所以上式可簡化為

(65)

53 𝐼𝑂 = [ 𝐼 −𝐼 −𝐼 𝐼 𝐼 𝐼 ] (3.17) 對𝐼𝑂做特徵值分解可得特徵向量 V,V 的前兩項 與 即為兩個正交 軸,也是主軸的方向: θ = 𝑡 𝑛 ( ) (3.18) 其中θ為主軸的方向, 即 手 掌 在 這 兩 軸 上 兩 側 對 稱 。 將 垂 直 角 度 π /2 與 θ相減後便得到待旋轉角度θ 𝑎 𝑑 θ 𝑎 𝑑 = π /2 – θ (3.19) 得 到 θ 𝑎 𝑑後, 便 可 得 出 旋 轉 矩 陣𝑅 𝑅 = [cos θ 𝑎 𝑑 − sin θ 𝑎 𝑑 sin θ 𝑎 𝑑 cos θ 𝑎 𝑑 ] (3.20) 將 手 掌 原 本 的 每 點 位 置 矩 陣𝑥 、𝑦 , 與𝑅 相乘後便可得到轉正 後的位置矩陣𝑥 𝑎 𝑑、𝑦 𝑎 𝑑(圖 3.10): [𝑥𝑦 𝑎 𝑑 𝑎 𝑑] = [ cos θ 𝑎 𝑑 − sin θ 𝑎 𝑑 sin θ 𝑎 𝑑 cos θ 𝑎 𝑑 ] [𝑥𝑦 ] (3.21)

(66)

54 圖 3.10, a 為 切 割 後 的 手 勢 , 在 偵 測 主 軸 方 向 後 , 便 可 轉 至 垂 直 如 b 3.3 傅 立 葉 描 述 子 切 割 後 的 影 像 往 往 仍 不 夠 平 滑,為 了 消 除 同 手 勢 間 因 切 割 的 不 完 整 造 成 的 差 異 , 所 以 用 傅 立 葉 描 述 子 平 滑 化 。 本 論 文 將 原 始 輪 廓 做 傅 立 葉 轉 換 後 , 取 其 前 40 項 係 數 再 轉 換 回 來 。 圖 3.11 為 三 個 分 割 的 結 果 作 傅 立 葉 描 述 , a 對 應 d、 b 對 應 e 、 c 對 應 f, 利 用 傅 立 葉 描 述 使 三 張 的 形 狀 特 徵 更 為 相 近 , 去 除 掉 較 不 重 要 的 形 狀 凹 陷 。

(67)

55 圖 3.11 上排為三個輸入手勢,下 排 為 對 應 的 傅 立 葉 描 述 子 處 理 過 後 的 結 果 3.4 蒐 集 訓 練 影 像 本 論 文 目 標 為 判 斷 十 種 手 勢 , 分 別 蒐 集 以 下 手 勢 各 70 張 , 作 為 訓 練 的 資 料 庫 , 蒐 集 方 法 為 在 簡 單 的 場 景 中 , 做 二 值 化 的 結 果 。 由 圖 3.12 所 示 , 左 上 到 右 下 分 別 為 Gesture0~ Gesture9 共 十 種 手 勢 。

(68)

56 圖 3.12 Gesture0~ Gesture9 為 了 避 免 同 種 手 勢 間 因 角 度 影 響 的 差 異 , 所 以 拍 攝 各 種 角 度 一 併 放 入 資 料 庫 中 , 如 圖 3.13 圖 3.13 同個手勢,各種角度 3.5 以 SVD 轉 換 訓 練 蒐 集 影 像 特 徵 在 蒐 集 完 所 有 訓 練 影 像 後,便 將 每 張 所 有 的 影 像 特 徵 取 出 來 , 以 區 別 每 張 影 像 的 不 同 。 在 取 特 徵 之 前 , 每 張 訓 練 影 像 先 做 轉 正 及 傅 立 葉 描 述 , 減 少 角 度 以 及 雜 訊 的 影 響 。 本 論 文 取 每 張 訓 練 影 像 的 形 心,以 其 為 中 心,取 1 到 360 度 、 中 心 到 輪 廓 的 距 離,如 圖 3.14 所 示,取 紅 點 (輪 廓 上 )到 藍 點 (形 心 )的 距 離 , 且 除 以 360 個 距 離 中 的 最 大 值 , 以 標 準 化 摒 除 手 掌 大 小 問 題 。

(69)

57 圖 3.14 取角度距離特徵圖 以 此 方 法 得 到 每 張 影 像 1 x 360 的 特 徵 距 離 向 量𝐷𝑖𝑠𝑡 𝑛𝑐𝑒 後 (i = 1~3000), 蒐 集 出 訓 練 矩 陣𝑂 𝑂 = [ 𝐷𝑖𝑠𝑡 𝑛𝑐𝑒 𝐷𝑖𝑠𝑡 𝑛𝑐𝑒 𝐷𝑖𝑠𝑡 𝑛𝑐𝑒3 𝐷𝑖𝑠𝑡 𝑛𝑐𝑒4 𝐷𝑖𝑠𝑡 𝑛𝑐𝑒3 ] (3.22) 針 對𝑂 的 每 一 行 計 算 平 均 值 μ,再 將 𝑂 的 每 一 行 向 量 扣 掉 μ 並 轉 置 後 , 便 可 得 到 待 分 解 的 矩 陣𝑂 𝑂 = [ 𝐷𝑖𝑠𝑡 𝑛𝑐𝑒 − μ 𝐷𝑖𝑠𝑡 𝑛𝑐𝑒 − μ 𝐷𝑖𝑠𝑡 𝑛𝑐𝑒3− μ 𝐷𝑖𝑠𝑡 𝑛𝑐𝑒4− μ 𝐷𝑖𝑠𝑡 𝑛𝑐𝑒3 − μ ] (3.23) 對𝑂 做 奇 異 值 分 解 可 得 :

(70)

58 𝑂 = UΣ ∗ (3.24) 其中 U 為 360×360 的正交矩陣,V 為 3000×3000 的正交矩陣,Σ為 360×3000 的主對角矩陣。利用前幾項代表較大變異數空間的性質, 本論文取Σ的前 r 個奇異值,並去掉U及 對應的向量 𝑂 ≈ U36 Σ ∗ 3 (3.25) 其 中 r 有 待 實 驗 分 析 辨 識 率 再 決 定 其 值 ,表示將 360 個特徵減 少至 r 個。𝑂 奇 異 值 分 解 後 保 留 訓 練 影 像 特 徵 轉 換 空 間 後 的 矩 陣 Coef 和 投 射 矩 陣U36 , 待 辨 識 時 讀 入 影 像 特 徵 並 投 射 至 此 空 間 與 之 比 較 : Coef =Σ ∗ (3.26) 上 式 Coef 即 為𝑂 降 維 度 後 的 結 果 。 3.6 利 用 主 成 份 分 析 辨 識 手 勢 將 每 個 讀 入 並 切 割 出 手 勢 的 影 像 , 轉 正 並 利 用 傅 立 葉 描 述 子 平 滑 化,取 出 距 離 特 徵 的 矩 陣𝐷𝑖𝑠𝑡 𝑛𝑐𝑒 𝑋36 ,並 且 利 用 訓 練 階 段 得 到 的 投 射 矩 陣U36 , 將 此 特 徵 矩 陣 降 低 維 度 Coef_read =𝐷𝑖𝑠𝑡 𝑛𝑐𝑒 𝑋36 U36 (3.27) 其 中 Coef_read 為 特 徵 矩 陣 降 維 後 的 結 果 。 將 此 矩 陣 再 與 之

(71)

59 前 蒐 集 並 降 維 後 的 矩 陣 Coef 逐 行 計 算 歐 幾 里 得 距 離 (Euclidean distance), 分 別 對 三 千 張 影 像 (每 個 手 勢 有 訓 練 影 像 300 張 )計 算 距 離 , 距 離 最 近 的 行 即 代 表 最 像 的 訓 練 影 像 所 在 的 位 置 , 即 可 知 道 特 徵 最 相 像 的 訓 練 影 像 , 如 下 圖 3.15 尋找距離最近的訓練影像 整 個 手 勢 辨 識 系 統 流 程 如 下 : 沒 有 變 動 變 動 讀入影像 連續影像相減(3.1.1)

(72)

60 主動式輪廓切割手勢(3.1.3) 手掌轉正(3.2) 傅立葉描述子(3.3) 從輪廓取出距離特徵

(73)

61

(74)

62

第 四 章 實 驗 分 析 與 應 用

本 論 文 利 用 MatLab 及 其 影 像 處 理 工 具 箱 (Image

processing toolbox), 以 及 利 用 C++的 Opencv Library 寫 成 的 mex function 實 作 本 系 統 , 並 在 MatLab 下 用 visual studio 2010 編 譯 mex function。 本 論 文 應 用 此 系 統 的 環 境 為 Intel Core i5-2410M CPU, 2.30GHz, 讀 入 影 像 大 小 為 640x480x24 bits, 八 百 萬 畫 素 。 機 械 手 臂 示 意 模 型 及 實 體 由 本 實 驗 室 同 仁 提 供 , 示 意 模 型 及 動 作 利 用 Solidworks 的 Motion 模 式 表 現 。 本 章 先 分 析 本 論 文 的 影 像 切 割 方 法 之 正 確 性。方 法 為 每 個 手 勢 建 立 十 張 絕 對 正 確 的 影 像 , 如 圖 4.1 所 示 : 圖 4.1 左 為 測 試 影 像,右 為 本 論 文 建 立 的 絕 對 正 確 影 像 (手 勢 紅 色 部 分 )

(75)

63 再 將 本 論 文 切 割 出 的 手 勢 影 像,與 之 比 較,計 算 出 重 疊 比 率 。 再 針 對 再 主 成 份 分 析 中 , 取 不 同 的 特 徵 數 分 別 測 試 , 找 到 足 夠 的 特 徵 數 以 進 行 辨 識 , 並 對 不 同 環 境 對 辨 識 率 造 成 的 影 響 作 分 析 , 再 測 試 本 系 統 辨 識 資 料 庫 以 外 的 受 試 者 的 辨 識 率 , 最 後 利 用 本 套 系 統 控 制 機 械 手 臂 4.1 輸 入 手 勢 本 論 文 將 以 辨 識 以 下 十 種 手 勢 為 目 標 : 圖 4.2 從 左 上 到 右 下 分 別 為 Gesture0~ Gesture9, 共 十 種 手 勢 辨 識 環 境 :交 通 大 學 機 械 系 電腦整合設計與製造實驗室。

(76)

64 圖 4.3 交 通 大 學 機 械 系 電腦整合設計與製造實驗室一隅 4.2 辨 識 速 度 本 節 量 測 本 論 文 為 了 完 成 手 勢 辨 識 而 使 用 的 各 個 步 驟 所 執 行 的 時 間 , 以 執 行 100 張 後 的 時 間 取 平 均 並 做 記 錄 。 由 於 本 系 統 為 matlab 與 c 的 混 合 編 譯 , 以 下 將 標 明 每 個 步 驟 所 耗 的 時 間 及 開 發 的 平 台 以 供 參 考 。 表格 4.1 執行時間表 平 均 執 行 時 間 (ms) 開 發 平 台 中 值 濾 波 平 滑 1 C 連 續 影 像 相 減 0.7 C 主 動 式 輪 廓 80 Matlab 手 掌 轉 正 60 Matlab

(77)

65 傅 立 葉 描 述 子 20 Matlab 特 徵 抽 取 50 Matlab 主 成 份 分 析 作 辨 識 2 C 整 體 流 程 (一 張 ) 220 4.3 手 勢 分 割 實 驗 本 節 實 驗 本 論 文 提 出 的 影 像 分 割 方 法 的 正 確 率,方 法 為 計 算 Region1, 即 人 為 標 記 正 確 的 區 域 , 和 Region2, 即 手 勢 切 割 出 的 區 域 , 並 計 算 R1 和 R2, 選 數 值 較 小 者 。 當 值 越 接 近 1, 代 表 兩 區 域 越 吻 合 ; 越 接 近 0, 代 表 兩 區 域 距 離 越 分 開 。 圖 4.4 計算重疊區域 每 個 手 勢 測 試 10 張 , 如 下 圖 :

(78)

66 圖 4.5 左 邊 為 標 記 的 正 確 手 勢 區 域 , 右 為 手 勢 分 割 出 的 區 域 實驗結果如下: 圖 4.6 Gesture0~ Gesture4 的 處 理 結 果 , 上 排 為 切 割 出 的 手 勢 , 下 排 為 人 工 標 記 的 基 準 表格 4.2 Gesture0~ Gesture4 手勢切割實驗結果

輸入手勢 Gesture0 Gesture1 Gesture2 Gesture3 Gesture4 張 1 0.956977 0.960756 0.933509 0.883736 0.938445 2 0.915992 0.932259 0.936525 0.95107 0.930126 3 0.921623 0.964721 0.886009 0.927498 0.947728 4 0.910617 0.94508 0.918229 0.952986 0.90137 5 0.887476 0.958874 0.91427 0.913908 0.912591 6 0.926035 0.958273 0.90879 0.928908 0.943179 7 0.916859 0.971879 0.934648 0.960511 0.942588 8 0.78022 0.955317 0.92318 0.939999 0.941194 9 0.82999 0.97207 0.942977 0.944068 0.940063 10 0.803103 0.954972 0.929696 0.939103 0.911221

(79)

67 平均重疊率(%) 88.5 95.7 92.2 93.4 93.1 圖 4.7 Gesture5~ Gesture9 的 處 理 結 果 , 上 排 為 切 割 出 的 手 勢 , 下 排 為 人 工 標 記 的 基 準 表格 4.3 Gesture5~ Gesture9 手勢切割實驗結果

輸入手勢 Gesture5 Gesture6 Gesture7 Gesture8 Gesture9 張 1 0.873782 0.95425 0.937382 0.952996 0.947762 2 0.865159 0.940463 0.935318 0.955841 0.952597 3 0.900553 0.936061 0.9415 0.932651 0.966456 4 0.925366 0.946238 0.949762 0.944771 0.957252 5 0.888229 0.937159 0.925465 0.939605 0.959938 6 0.902285 0.959843 0.9552 0.956347 0.943578 7 0.928902 0.918256 0.936715 0.959783 0.931788 8 0.953487 0.933581 0.946787 0.948852 0.933056 9 0.941815 0.890242 0.929873 0.957226 0.950251 10 0.936973 0.946598 0.949488 0.955092 0.94119 平均重疊率(%) 91.2 93.6 94.1 95.0 94.9 4.4 特 徵 維 度 對 辨 識 率 的 影 響 本 論 文 在 辨 識 過 程 中 利 用 主 成 份 分 析 (PCA), 降 低 特 徵 矩 陣 的 維 度 。 在 這 節 我 們 針 對 r, 即 特 徵 矩 陣 的 維 度 , 對

(80)

68 辨 識 率 的 影 響 作 實 驗 。 我 們 將 r 設 為 { 𝑟 36 𝑟 𝑟 𝑟 其 中 r = 360 意 謂 不 做 主 成 份 分 析 , 即 不 做 降 維 , 直 接 比 較 距 離 最 相 近 的 特 徵 矩 陣 。 實 驗 方 法 為 : Gesture0~ Gesture9 每 個 手 勢 各 辨 識 一 百 張 , 並 記 錄 輸 入 的 手 勢 與 辨 識 出 的 手 勢 。 以 下 為 分 別 的 測 試 結 果 : 表格 4.4 辨識率,r = 360

輸入手勢 Gesture0 Gesture1 Gesture2 Gesture3 Gesture4 辨識結果 Gesture0 99 0 3 0 0 Gesture1 0 93 24 1 1 Gesture2 0 1 72 0 5 Gesture3 0 0 0 83 0 Gesture4 0 0 0 3 88 Gesture5 0 0 0 7 3 Gesture6 1 0 0 0 1 Gesture7 0 6 0 2 1 Gesture8 0 0 1 0 1 Gesture9 0 0 0 4 0 辨識率(%) 99 93 72 83 88 輸入手勢 Gesture5 Gesture6 Gesture7 Gesture8 Gesture9 辨識結果 Gesture0 0 6 0 0 0 Gesture1 0 0 14 0 5 Gesture2 0 0 0 5 0 Gesture3 0 0 0 0 0 Gesture4 0 0 0 0 0

(81)

69 Gesture5 100 0 0 0 0 Gesture6 0 89 2 0 1 Gesture7 0 5 83 0 0 Gesture8 0 0 0 95 0 Gesture9 0 0 1 0 94 辨識率(%) 100 89 83 95 94 表格 4.5 辨識率,r = 100

輸入手勢 Gesture0 Gesture1 Gesture2 Gesture3 Gesture4 辨識結果 Gesture0 100 1 1 0 0 Gesture1 0 99 12 0 1 Gesture2 0 0 86 0 4 Gesture3 0 0 0 93 0 Gesture4 0 0 0 6 92 Gesture5 0 0 0 1 3 Gesture6 0 0 1 0 0 Gesture7 0 0 0 0 0 Gesture8 0 0 0 0 0 Gesture9 0 0 0 0 0 辨識率(%) 100 99 86 93 92 輸入手勢 Gesture5 Gesture6 Gesture7 Gesture8 Gesture9 辨識結果 Gesture0 0 0 0 0 0 Gesture1 1 0 4 0 0 Gesture2 0 0 0 1 0 Gesture3 0 0 0 0 0 Gesture4 0 0 0 0 0 Gesture5 99 0 0 0 0 Gesture6 0 84 8 0 0 Gesture7 0 16 88 0 0 Gesture8 0 0 0 99 0

(82)

70

Gesture9 0 0 0 0 100 辨識率(%) 99 84 88 99 100

表格 4.6 辨識率,r = 50

輸入手勢 Gesture0 Gesture1 Gesture2 Gesture3 Gesture4 辨識結果 Gesture0 100 0 0 0 0 Gesture1 0 93 4 0 0 Gesture2 0 0 96 0 5 Gesture3 0 0 0 96 0 Gesture4 0 0 0 4 91 Gesture5 0 0 0 0 4 Gesture6 0 5 0 0 0 Gesture7 0 2 0 0 0 Gesture8 0 0 0 0 0 Gesture9 0 0 0 0 0 辨識率(%) 100 93 96 96 91 輸入手勢 Gesture5 Gesture6 Gesture7 Gesture8 Gesture9 辨識結果 Gesture0 0 0 0 0 0 Gesture1 0 0 4 0 0 Gesture2 0 0 0 8 0 Gesture3 0 0 0 0 0 Gesture4 0 0 0 0 0 Gesture5 100 0 0 0 0 Gesture6 0 81 0 0 0 Gesture7 0 19 96 0 0 Gesture8 0 0 0 92 0 Gesture9 0 0 0 0 100 辨識率(%) 100 81 96 92 100

(83)

71 表格 4.7 辨 識 率 , r = 25

輸入手勢 Gesture0 Gesture1 Gesture2 Gesture3 Gesture4 辨識結果 Gesture0 100 6 0 0 1 Gesture1 0 78 0 1 1 Gesture2 0 0 97 1 3 Gesture3 0 0 0 92 1 Gesture4 0 0 0 0 87 Gesture5 0 0 0 4 6 Gesture6 0 6 0 1 1 Gesture7 0 10 0 0 0 Gesture8 0 0 3 1 0 Gesture9 0 0 0 0 0 辨識率(%) 100 78 97 92 87 輸入手勢 Gesture5 Gesture6 Gesture7 Gesture8 Gesture9 辨識結果 Gesture0 1 5 0 0 1 Gesture1 4 0 14 0 0 Gesture2 0 0 0 15 0 Gesture3 0 0 0 0 0 Gesture4 0 0 0 0 0 Gesture5 93 0 0 0 0 Gesture6 1 94 8 0 0 Gesture7 0 1 76 0 0 Gesture8 0 0 0 85 0 Gesture9 1 0 2 0 99 辨識率(%) 93 94 76 85 99 由 實 驗 數 據 中 可 以 發 現 , 若 辨 識 不 做 PCA, 則 整 體 辨 識 率 比 做 PCA 的 辨 識 率 來 的 低 。 而 進 一 步 觀 察 PCA 中 效 果 較 好 的 為 r = 100 及 r = 50, 因 此 本 論 文 將 以 r= 50 作 為 預 設 的 維 度 ,

(84)

72 以 下 實 驗 也 以 此 維 度 做 為 固 定 參 數 。 4.5 其 他 受 試 者 的 辨 識 率 本 節 對 未 經 訓 練 的 他 人 手 勢 進 行 辨 識 , 一 樣 實 驗 Gesture0~ Gesture9 十 種 手 勢 , 觀 察 本 人 與 他 人 的 辨 識 率 差 異。實 驗 方 法 為 :受 試 者 Gesture0~ Gesture9 每 個 手 勢 各 辨 識 一 百 張 , 並 記 錄 輸 入 的 手 勢 與 辨 識 出 的 手 勢 。 辨 識 結 果 表格 4.8 他人辨識率

輸入手勢 Gesture0 Gesture1 Gesture2 Gesture3 Gesture4 辨識結果 Gesture0 100 0 0 0 0 Gesture1 0 86 0 41 13 Gesture2 0 0 83 4 2 Gesture3 0 0 0 53 0 Gesture4 0 0 0 0 70 Gesture5 0 0 0 1 15 Gesture6 0 14 0 0 0 Gesture7 0 0 0 1 0 Gesture8 0 0 17 0 0 Gesture9 0 0 0 0 0 辨識率(%) 100 86 83 53 70 輸入手勢 Gesture5 Gesture6 Gesture7 Gesture8 Gesture9 辨識結果

Gesture0 0 2 0 0 0 Gesture1 1 0 0 0 8

數據

圖 1.1  k means 的收斂過程(1→2→3→4)
圖 1.3 虛線為
圖 1.6 Mean shift 迭 代 過 程 , a-&gt;b-&gt;c
圖 2.1 找 背 景 影 像 的 流 程   2.找 到 背 景 影 像 後 ,便進行背景相減
+7

參考文獻

相關文件

Each unit in hidden layer receives only a portion of total errors and these errors then feedback to the input layer.. Go to step 4 until the error is

To decide the correspondence between different sets of fea- ture points and to consider the binary relationships of point pairs at the same time, we construct a graph for each set

Model checking: residuals can be obtained by 1-step ahead forecast errors at each time point, (observations minus the fitted value) Then if the model is adequate, residuals should

Step 5: Receive the mining item list from control processor, then according to the mining item list and PFP-Tree’s method to exchange data to each CPs. Step 6: According the

The aim of this study is to investigate students in learning in inequalities with one unknown, as well as to collect corresponding strategies and errors in problem solving..

Thus, this study argued the role and function of KIBS through evolution of local innovation system first; and then, this study analyzed interaction between technical firms and

The regression analysis results indicated that after the corporate image, service quality, satisfaction, perceived value and loyalty between each dimension and is

本研究採用的方法是將階層式與非階層式集群法結合。第一步先運用