應用車輛駕駛機率模型發展整合型車輛安全控制系統

行政院國家科學委員會專題研究計畫 成果報告

應用車輛駕駛機率模型發展整合型車輛安全控制系統(第 2 年)

研究成果報告(完整版)

計 畫 類 別 ： 個別型

計 畫 編 號 ： NSC 96-2221-E-011-131-MY2

執 行 期 間 ： 97 年 08 月 01 日至 98 年 07 月 31 日 執 行 單 位 ： 國立臺灣科技大學機械工程系

計 畫 主 持 人 ： 陳亮光

計畫參與人員： 碩士班研究生-兼任助理人員：謝育安 碩士班研究生-兼任助理人員：楊釧暉 碩士班研究生-兼任助理人員：余序鵬

報 告 附 件 ： 出席國際會議研究心得報告及發表論文

處 理 方 式 ： 本計畫可公開查詢

中 華 民 國 98 年 11 月 06 日

行政院國家科學委員會補助專題研究計畫 ; 成 果 報 告

□期中進度報告 應用車輛駕駛機率模型發展整合型車輛安全控制系統

計畫類別：; 個別型計畫 □ 整合型計畫 計畫編號：NSC 96-2221-E-011 -131 -MY2

執行期間： 96 年 8 月 1 日至 98 年 7 月 31 日

計畫主持人： 陳亮光 國立台灣科技大學機械系 共同主持人：

計畫參與人員： 聶亨全、謝博鈞 國立台灣科技大學機械系 楊釧暉、戴志奇 國立台灣科技大學機械系 成果報告類型(依經費核定清單規定繳交)：□精簡報告 ;完整報告

本成果報告包括以下應繳交之附件：

□赴國外出差或研習心得報告一份

□赴大陸地區出差或研習心得報告一份

;出席國際學術會議心得報告及發表之論文各一份

□國際合作研究計畫國外研究報告書一份

處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計畫、

列管計畫及下列情形者外，得立即公開查詢

□涉及專利或其他智慧財產權，□一年□二年後可公開查詢

執行單位：國立台灣科技大學機械系

中 華 民 國 98 年 10 月 31 日

目錄

一、研究目標 ... 1

二、車輛運動動態描述與個案探討 ... 1

三、賽局之個案模擬結果與分析 ... 2

3.1 個案探討一之模擬結果... 2

3.2 個案探討二之模擬結果... 3

3.3 結果分析... 4

四、駕駛疲勞指標 ... 8

4.1 以 DSP 實現線上駕駛人狀態判別系統 ... 8

4.2 人臉偵測系統程序... 8

4.3 眼睛位置判別系統程序... 9

4.4 眼睛狀態識別系統程序... 10

4.5 疲勞程度指標... 10

五、卡爾曼濾波器整合駕駛人狀態與控制權重調器設計 ... 11

5.1 卡爾曼濾波器整合駕駛人狀態... 12

5.2 控制權重調節器... 13

5.3 駕駛介入主動轉向輔助系統行為識別... 14

六、實驗規劃及結果討論 ... 15

6.1 駕駛人模擬器... 15

6.2 駕駛人模擬器實驗結果討論... 16

七、結論及未來工作 ... 19

八、參考文獻 ... 19

行政院國家科學委員會專題研究計畫成果報告

應用車輛駕駛機率模型發展整合型車輛安全控制系統

Development of an Integrated Vehicle Active Safety System Using a Stochastic Driver Model

計 畫 編 號：NSC 96-2221-E-011 -131 -MY2 執 行 期 限：96 年 08 月 01 日至 98 年 07 月 31 日

主 持 人：陳亮光 國立台灣科技大學機械系 計畫參與人員：聶亨全、謝博鈞 國立台灣科技大學機械系 計畫參與人員：楊釧暉、余序鵬、謝育安 國立台灣科技大學機械系

中文摘要

由於駕駛人與車輛主動式安全系統間之互動屬於隨機之行為，無法以確定形式之模型 完整描述。因此本研究擬在現有的駕駛人控制模型中加入機率資訊來分析並決定主動式安 全系統控制器的介入時機。在年度一中我們利用賽局來探討兩個主動式安全系統間、以及 一個主動安全系統與駕駛人間的互動架構來作為車輛主動式安全系統設計的依據。而在年 度二中我們仍探討駕駛人與安全系統間之架構，但改以利用控制法則以及觀測器理論來整 合駕駛人模型的機率資訊，並判斷當時駕駛人之意圖，做為車輛主動式安全系統設計的依 據。

關鍵詞：賽局理論、卡爾曼濾波器、整合性安全系統設計

Abstract

Due to the stochastic nature of driver, a deterministic model of the human drivers cannot fully describe the driving behavior. In this research the existing human driver steering control model is augmented with the probability information and used to analyze the interaction between the human drivers and the active safety systems. In the first year the game theory is used to investigate the interactions between two active safety systems, and the interactions between the human driver and one active safety system. The results will reveal the characteristics of the interactions among different agents in the vehicle control, and can assist the safety system design in the future. In the second year a driver oriented active safety system is designed based on the stochastic information of the driver model. The control principles and observer design techniques are utilized to integrated different sources of driver stochastic information, and the results are used to assess the instant driver intention and assist the functions of the active safety system.

Keywords: Game theory, Kalman filter, integrated vehicle active safety system design

一、研究目標

本研究目的在於利用機率形式的駕駛人模型以代表人類行為中的隨機因素，並藉以協 助模型的分析驗證以及進一步的車輛主動式安全系統設計。車輛主動式安全系統主要是藉 由控制影響車輛運動的各主要變數，例如引擎輸出、方向盤轉矩、以及煞車分配等，以輔 助駕駛人於事故發生前能有效地操控車輛，使車輛之動態響應行為趨於穩定。現今已有多 種不同功能的安全系統安裝於車輛上，以電子穩定控制系統(Electronic Stability Program, ESP) 為例，最初的設計是對於車輛橫擺平面(yaw plane)上的運動狀態：包括橫擺率（yaw rate）以及側滑（sideslip）兩方面進行控制，使得車輛不僅能夠維持其橫擺率的穩定，同時 使得側滑角仍維持在一個小角度內、不至於過大使得車輛失控，過去的各種研究也有不同 設計 ESP 的方式[1-3]。而車輛在翻覆模式（roll mode）的運動狀態在原始的 ESP 設計構想 中並未列入考慮，然而由於車輛運動在橫擺平面（yaw plan）與翻覆平面（roll plane）上的 耦合(coupling)行為，對於 ESP 的運作與車輛翻覆現象息息相關。因此在現今的 ESP 設計上，

除了要保有原先 ESP 的功能外，更需要將預防車輛翻覆列入設計考量。新一代 ESP 設計中，

多數都是從頭將原始設計改善，直接在 ESP 加入翻覆模式上的控制系統，也已經有許多文 獻報告了在 ESP 設計上引入車輛翻覆因素的成效[4-6]，但是在達到翻覆預防的要求時卻同 時也使得車輛在橫擺運動上的追蹤效果變差，即減低了原始 ESP 的控制性能，如此會造成 ESP 系統在輸出控制動作時的兩難。此一現象十分類似不同媒介間的競爭遊戲，為探討此 一影響車輛運動各媒介間的交互作用，使用賽局理論（Game Theory）的決策思維來分析此 類問題乃是十分自然的選擇。

本計畫初步工作主要針對車輛主動式安全系統與駕駛人之間的互動行為，以賽局理論 作為分析的工具。針對安全系統與駕駛人間可能發生具有對抗性質的競爭情形進行探討，

將駕駛人與車輛主動式安全系統間的相互競爭或者合作視為一種賽局，結果發現賽局理論 可以適當地描述駕駛模擬器上所獲得的駕駛人操控資料，顯示再模型建立與分析上賽局是 一項有用的工具。但是在安全系統設計時，由於控制器之設計不適合引入隨機變化的功能，

因此本研究不使用賽局來做為設計控制器的依據，改以透過卡爾曼濾波器整合出駕駛人之 隨機資訊，針對駕駛人的疲勞進行機率分析與線上的疲勞判別。最後利用模糊邏輯識別駕 駛人是否意圖介入(Driver Override)主動轉向輔助系統的機率，藉以設計一組控制權重調節 器來決定駕駛轉向命令與安全系統的控制輸出權重。希望經由分析駕駛人與安全系統間的 互動能協助安全系統設計之更加人性化，使得安全系統在駕駛人意圖之確認正確度得以改 善，並發揮更高的功效。

二、車輛運動動態描述與個案探討

在年度一的研究中，首先透過 CarSim®軟體進行電腦模擬。以提供評估控制器命令對 車輛運動影響之指標數據，並以不同的個案來進行賽局分析與討論。

在個案探討一中進行兩類的車輛操控模擬，分別是魚鉤測試（fishhook test）以及大轉 彎測試。魚鉤測試採用 NHTSA 之標準測試規範，並將車速定為每小時 80 公里。大轉彎測 試則是於不同車速下將方向盤角度於 0 至 2 秒內轉至 120 度並維持此角度至模擬結束。透

過 CarSim 的模擬可紀錄各種車輛運動之狀態變數，並藉以評估車輛之運動是否接近失控之 臨界狀態。在此探討中於模擬車輛中加裝兩種不同目標的安全系統，分別是車輛動態穩定 控制(Vehicle Stability Control, 也叫做 Electronic Stability Program, ESP)以及翻覆預防 (Roll-Over Prevention Controller, ROP)。由於此兩種安全系統之目標不同，在部分車輛運行 的情境下可能發生衝突，因此透過 CarSim 的動態模擬可有效評估此兩種系統的運作時機與 功效，並可作為賽局分析的案例。

而個案二則是針對駕駛人與安全系統間的互動行為進行探討。本個案探討將車速定為 每小時 80 公里，並進行一類似車輛過彎操控之模擬。方向盤角度固定為由 0 至 1 秒方向盤 角度由 0 度轉至 90 度，並利用 CarSim 建構一駕駛模擬器供評估駕駛人行為使用，駕駛人 可能做的行為改變僅有是否踩煞車踏板，並將其產生的煞車壓力固定為 4MPa，配合安全系 統啟動與否之策略行為，則可形成一個賽局問題。

為呈現駕駛人模型的隨機資訊之應用，年度二的研究改使用另一依據 SIMULINK xPC 架構之駕駛模擬器作為研究平台，主要原因為此模擬器提供較大的動力學以及控制器設計 的軟體開發彈性。研究中所使用的駕駛模擬器中的車輛動態關係式為根據文獻 [7, 8]中四個 自由度之車輛動力模型作，此模型包括平面的縱向 (longitudinal)、橫向 (lateral)、橫擺角 (yaw)以及側傾角 (roll)之動力學效應。相較於分析時常使用之自行車模型，此模型能提供 更真實之車輛行駛表現。圖 2-1 為各自由度之示意圖。

圖 2-1 四個自由度之車輛動態模型 [2]

三、賽局之個案模擬結果與分析

3.1 個案探討一之模擬結果

此個案探討主要評估之數據有描述車輛測滑現象的 side slip angle (β), 描述路徑追蹤能

力的預期偏航角誤差(Δr), 以及描述翻覆指標之側向負載轉移(load transfer ratio, LTR)。為建 立一具體可供後續分析使用之量化指標，計算各資料數據的誤差平方積分(Integral of Square Error, ISE)做為該數據代表車輛操控性能之指標。

在安全系統的規劃上，在此個案探討中使用了 ESP 與 ROP 兩種主動安全控制系統。進 行各種排列組合之模擬可產生如表 1 之數據。很明顯的可看出控制系統的啟動與否對車輛 之運動有顯著的影響，並且對不同的指標而言有其分別所偏好的控制組合，此結果也佐證 了多組控制器的整合可能因互相干擾而產生副作用的預期。

表 1 魚鉤測試控制性能優劣比較

β

r

LTR

3.2 個案探討二之模擬結果

在本個案探討中，將針對駕駛人與安全系統間的互動行為進行探討，配合安全系統啟 動與否之策略行為，則可形成一個賽局問題。與個案探討一相同，仍建立 ESP 啟動之門檻 條件，橫擺率誤差為大於±5 度時 ESP 即啟動；而在車輛側滑角上則改為當側滑角大於±1.2 度時啟動、小於±0.8 度時關閉。

模擬與個案探討一同樣分為四個部份：ESP 關閉與駕駛人不煞車；ESP 啟動而駕駛人 不踩煞車；ESP 關閉而駕駛人煞車；ESP 啟動與駕駛人煞車。當 ESP 啟動時亦會造成對於 橫擺率誤差上升，原因在於 ESP 之控制目標為降低車輛側滑角及橫擺率誤差，根據先前的 門檻值設定，ESP 啟動乃是為了降低車輛側滑角而橫擺率誤差仍未達到啟動標準。基於此 點，在隨後的賽局分析中，本研究不將橫擺率誤差列入報酬函數（payoff function）設計考 量。

在此部分同樣用 ISE 以評估各組模擬之車輛性能，結果如表 2 所示。模擬結果顯示在 相較於安全系統與駕駛人皆不作動的情形，不論是在僅有 ESP 啟動、僅駕駛人煞車或是兩 者同時作動的情況下，隨著駕駛人與控制器之命令施加，在車輛側滑角及翻覆角上的響應 皆有改善，然而於橫擺率追蹤性能上有劣化的趨勢。此乃自然的結果，由於 ESP 安全系統 設計之目標為側滑方向的穩定，而在此探討中駕駛人的控制命令僅為縱向速度的減少，兩 者均無修正橫擺率的功能。同時兼顧橫擺率的追蹤通常在整合式車身控制系統(Integrated Chassis Control)中討論，已超過本研究之範疇。

表 2 個案探討二各組控制性能優劣比較

β

r

LTR

driver

brake 0.0055 0.0262 1.471 both on 0.0056 0.0236 1.46

3.3 結果分析

在此以設計者角度出發，為了探討 ESP 與翻覆預防控制器兩安全系統之結合，以及 ESP 與駕駛人操控上的行為表現，且要能表示任一方在做出每一個決策時，對於雙方行為的影 響，本研究使用賽局常見的 bi-matrix 建模此問題。於個案探討一將 ESP 定義為 bi-matrix 的 row player，決策行為有不啟動（p1）與啟動（p2），翻覆預防控制器定義為 bi-matrix 的 column player，決策行為亦有不煞車（q1）與煞車（q2）兩種；個案探討二 ESP 仍為 row player，

決策行為有不啟動（p1）與啟動（p2），但 column player 則改為駕駛人，其決策行為有不煞 車（q1）與煞車（q2）兩種。

魚鉤測試之賽局分析

本研究以簡單且直覺的方式建立報酬函數。參考表 1 之結果，且為了能更清楚看到當 安全系統啟動時對於不論是車輛側滑角誤差、橫擺率誤差或是 LTR 誤差之改善比率，在此 使用改善率的觀念，利用無控制器時之系統表現作為基準，定義：

ISE control no

ISE comtrol improve

r r r

_ _

1 _

Δ

− Δ

=

Δ (1)

ISE control no

ISE comtrol improve

_ _

1 _

β

β

β

ISE control no

ISE comtrol improve

LTR LTR LTR

_ _

1− _

= (3)

以僅有 ESP 啟動為例，其改善率分別為 909

. 4702 0 . 0

0428 .

1−0 =

= Δ

r

9951 . 3451 0 . 0

0017 .

1−0 =

improve =

β

2215 . 585 0 . 1

234 . 1−1 =

improve =

LTR

以此類推其他幾種環境下之模擬結果，可依此建立如表 3 的結果：

表 3 魚鉤測試改善率

improve

β

r

LTR

both off 0 0 0 ESP on 0.9951 0.909 0.2215 ROP on 0.9109 0.2427 0.2817 both on 0.9366 0.8423 0.4192

利用表 3 之結果，首先以較簡單的方式定義 ESP 及翻腹預防的報酬函數分別為：

ESP： 2

improve improve

r

β

(4)

ROP：

LTR

因此可建立魚鉤測試之 payoff matrix 為：

( ) ( )

( ) ( )^⎟⎟_⎠^⎞

⎜⎜⎝

⎛

0.4192 ,

8894 . 0 0.2215 ,

952 . 0

0.2871 ,

0.5768 0

, 0

經由賽局分析可知當 row player 之策略

p K =

^{0 1}

及 column player 之策略為

q K =

^{0 1}

，即兩 安全系統為同時啟動時，為其最佳策略。

但在實際的情形中，車速對於車輛動態行為之影響亦佔有其舉足輕重的地位，若為了 達到控制性能而導致車速降低過多，此亦非合適之選擇。基於此點，將原先所建立之報酬 函數修改為以下形式：

ESP：

3 2 1

3 2

1

c c c

u c c

r

c

+ +

× +

× +

×

β

(6)

ROP：

5 4

5 4

c c

u c LTR

c

+

× +

× (7)

其中

u

若越接近 0 則代表車速幾乎降至 0。此外，各參數之權重選擇上必須特別注意，若是權重 調整不佳，則賽局分析後之結果很容易會變成 pure strategy，進而降低利用賽局分析此問題 之價值。在此設定

c

= 1

c

= 1

c

c

= 1

c

( ) ( )

( ) ( )^⎟⎟_⎠^⎞

⎜⎜⎝

⎛

0.3299 ,

0.4762 0.3183

, 0.6765

0.3341 , .4810 0 0.4185 ,

.6510 0

透過賽局分析可得

p K =

^{0 . 1208 , 0 .8792}

、

q K =

^{0.1584 , 0.8416}

，且 row player 與 column player 之預期報酬（expected payoff）分別為 0.5079 與 0.3304。

大轉彎測試之賽局分析

同樣使用改善率的觀點，仍以安全系統皆不啟動情形作為基準，即(1)、(2)、(3)三式，

則可建立表 4 代表相關車輛動態參數於安全系統啟動時之改善率。

表 4 大轉彎測試改善率

improve

β

r

LTR

both off 0 0 0 ESP on 0.9951 0.909 0.2215 ROP on 0.9109 0.2427 0.2817 both on 0.9366 0.8423 0.4192

首先利用(4)、(5)以簡單的方式定義報酬函數，則大轉彎測試之 payoff matrix 為：

( ) ( )

( ) ( )^⎟⎟_⎠^⎞

⎜⎜⎝

⎛

0.3203 , 6594 . 0 0.1599 , 7108 . 0

0.1968 ,

0.5782 0

, 0

透過賽局分析亦可發現對於競爭雙方而言，兩安全系統同時啟動為最佳策略。接著亦使用 (6)、(7)之形式重新定義 payoff matrix，設定

c

= 1

c

= 1

c

c

= 1 . 5

c

( ) ( )

( ) ( )^⎟⎟_⎠^⎞

⎜⎜⎝

⎛

0.3946 ,

0.5589 0.3355

, 0.6375

0.3373 ,

.5585 0 0.4 , .6552 0

經由賽局分析後可發現此問題會有兩個 pure strategy 分別為兩安全系統同時啟動以及兩安 全 系 統 同 時 關 閉 的 情 況 ； 另 外 會 有 一 個 mixed strategy 為

^p

(^{0.0221 ,0.9779})

=

q

，此時兩安全系統之預期報酬分別為 0.5606 與 0.3668。

個案探討二之賽局分析

由表 2 之結果可知道不論是駕駛人或是 ESP 煞車時，橫擺率誤差會上升，基於此點，

我們忽略橫擺率誤差之影響，同樣利用改善率的觀點，若考慮煞車對車速所造成的影響，

則可建立表 5 如以下形式：

表 5 個案探討二改善率及縱向速度比值

improve

β LTR

u

Both

off 0 0 1

ESP on 0.9141 0.3546 0.6481 driver

brake 0.7313 0.679 0.4851 Both on 0.725 0.6814 0.4698

但在車輛行駛的途中，駕駛人所關心的資訊有各式各樣，例如車輛的側滑、翻覆、以 及車速等，而安全系統所關心的相關變數亦是由設計者所決定，因此本個案探討以數種不 同的報酬函數組合，分析各種不同的情形下，ESP 及駕駛人之啟動機率。同樣使用增進率 的觀點，本個案探討將分以下幾種情況討論：case 1：ESP 考慮車速的影響，駕駛人考慮車

輛側滑角、LTR 及車速的影響。但兩者皆不特別要求何種性能；case 2：ESP 考慮車速的影 響，並提高側滑角的權重，駕駛人考慮側滑角、LTR 及車速的影響，並提高側滑角及 LTR 的權重；case 3：ESP 考慮車速的影響，提高車速的權重，駕駛人考慮側滑角、LTR 及車速 的影響，提高車速的權重；case 4：ESP 考慮車速的影響，提高車速的權重，駕駛人考慮側 滑角、LTR 及車速的影響，提高 LTR 及車速的權重；case 5：ESP 考慮車速的影響，提高車 速的權重，駕駛人僅考慮 LTR 及車速的影響，提高車速的權重；case 6：ESP 及駕駛人皆考 慮側滑角、LTR 及車速的影響，兩者所使用之報酬函數各參數權重相同；case 7：ESP 及駕 駛人皆考慮側滑角、LTR 及車速的影響，兩者所使用之報酬函數各參數權重不同。

在此省略以上各種情形之各參數權重値，經由賽局分析可得駕駛人與 ESP 的煞車機 率，並僅考慮 mixed strategy 結果。圖 3-1 為以上七種情形經由賽局分析後，ESP 與駕駛人 煞車機率組合，橫座標為 ESP 之啟動機率，縱座標為駕駛人煞車機率。結果顯示在以上七 組分析中，可得到三組啟動機率高度偏向駕駛人及 ESP 皆須提供煞車壓力，其煞車機率皆 高於 90％（case 1、case2、case6）；兩組駕駛人煞車機率高於 ESP 啟動機率，但皆高於 50

％（case 3、case 5）；一組 ESP 啟動機率高於駕駛人（case 4）；以及一組高度偏向僅有 ESP 啟動之結果（case 7）。

由以上各種分析方式可以發現，使用不同的報酬函數定義方式所得之結果亦有不同，

完全視乎設計者要如何考慮駕駛人或安全系統所關心的相關參數。此結果仍需透過往後的 實驗證明其正確性，並在未來可提供在設計安全系統上一種新的參考依據。

0 0.5 1

0 0.5 1

start probability of ESP

brake probability of driver

case 1 case 2 case 3 case 4 case 5 case 6 case 7

圖 3-1 個案探討二煞車啟動之機率組合

透過賽局理論分析可告訴我們於各種不同的情形下，兩安全系統間或駕駛人及 ESP 間 之煞車分配、以及在此分配下所可得到之報酬。此外我們可以發現，大多數的情況下可得 到三個 Nash equilibrium solutions，其中兩個為 pure strategies，一個為 mixed strategy 結果。對於此處得到之 pure strategy 結果而言，由賽局的觀點來看，此種情形為滿足 Nash equilibrium 的解，亦即在這種情形下賽局的兩方無法藉由單方面地改變自己的策略使其 所獲得之報酬增加，因此可以說明以下現象：當某一控制單元決定輸出其控制命令時，另 一方所應採取的對策就已決定，因此就無機率可言，以本研究所歸納出的結果而言代表另

一方就不應該再介入車輛之操控。

在年度二我們則直接利用設計一控制權重調節器來決定控制器之權重值，即決定控制 器是否要介入行為。而我們設計此控制權重調節器的依據重點則是利用卡爾曼濾波器得到 較準確之駕駛疲勞指標後，再經模糊控制法則得出權重值。

四、駕駛疲勞指標

本研究首先建立一套由影像處理演算法為基礎之線上駕駛狀態判別系統，此系統最終 目的為判別出駕駛人之疲勞指標，再透過卡爾曼濾波器整合此系統與機率類神經網路所建 構的線上駕駛資訊。並利用此資訊影像處理與 PNN 所建立的線上駕駛疲勞判別系統，希望 達到互相補償的效果，藉以獲得更具正確性的駕駛狀態指標。

4.1 以 DSP 實現線上駕駛人狀態判別系統

經由底下圖 4-1 所示之順序建立影像處理判別出疲勞指標。

圖 4-1 線上駕駛人狀態判別系統

4.2 人臉偵測系統程序

人臉偵測處理程序，其流程如圖 4-2 所示。首先利用 CCD 彩色攝影機來擷取到即時的 影像，再利用 YCbCr 色彩空間範圍進行膚色區域色彩分割，而為了更正確判定出人臉區域，

故透過水平與垂直方向的投影值累加處理，最後將會抽取出臉部區域的影像。

圖 4-2 人臉偵測處理程序流程圖

4.3 眼睛位置判別系統程序

眼睛位置判別系統程序，其流程如圖 4-3 所示。首先將臉部區域擷取左上角部份影像，

以降低計算量及增加處理速度，再開啟一個 40×80 視窗，依據眼睛兩個特徵進行眼睛位置 搜尋，其滿足視窗四角為白色與中心 7×7 為黑色的條件，即可找到眼睛位置。

圖 4-3 眼睛位置判別系統程序流程圖

4.4 眼睛狀態識別系統程序

眼睛狀態識別系統程序，其流程如圖 4-4 所示。首先將藉由視窗找出的眼睛位置影像 取出，並在此 40×80 視窗位置中心 20×20 區域進行所有黑色像素點累加，而當計算出的T 值 大於門檻值

T

4.5 疲勞程度指標

本研究疲勞指標是採用 PERCLOS [9]來進行判斷，PERCLOS 的定義為在單位時間內眼 睛閉合(P70 或 P80) [10]的比例，本研究是使用 P80 的規範，即 P80 為眼皮至少有 80%的閉 合，而 PERCLOS 的計算為設定計算之單位時間視窗為 6 秒，而在這時間內以每 0.2 秒判斷 一次駕駛眼睛狀態，其公式如下所示：

錯誤! 物件無法用編輯功能變數代碼來建立。 (8)

可將(8)重新用遞迴的方式呈現，如下式所示：

錯誤! 物件無法用編輯功能變數代碼來建立。 (9) 一般人正常眨眼次數為每分鐘約十二至二十次，平均為三~五秒眨眼一次，故本研究 PERCLOS 演算法設單位時間為六秒，即為在這單位時間內會發生兩次正常眨眼動作，其

PERCLOS 值為 6.67%；此外依據文獻[9]研究中顯示出漸進的疲勞行為，其在疲勞狀態時 PERCLOS 值為在 50%左右，而對於突發性的疲勞行為 PERCLOS 值可高達 80%。所以本研 究將取 PERCLOS 在 6.67%至 80%間定義駕駛人為疲勞狀態，而將式(9)作線性轉換如下式 所示：

錯誤! 物件無法用編輯功能變數代碼來建立。 (10)

式(10)即為卡爾曼濾波器所需的系統模型狀態方程式。

圖 4-4 眼睛狀態識別系統程序流程圖

五、卡爾曼濾波器整合駕駛人狀態與控制權重調器設計

本研究主要針對駕駛人與車輛安全系統之間的控制權重問題進行探討與設計，透過卡 爾曼濾波器整合影像處理與 PNN 所建立的線上駕駛疲勞判別系統，再利用此資訊經模糊識 別出駕駛意圖，進而得到系統控制權重。整體架構如圖 5-1 所示。

圖 5-1 控制權重調節器整體架構

5.1 卡爾曼濾波器整合駕駛人狀態

本研究採用卡爾曼濾波整合多重的駕駛狀態判別系統，因為卡爾曼濾波器會針對系統 模型與輸出量測間之干擾量取捨，並可動態的調整使干擾之影響最小化。

在設計卡爾曼濾波器前必須先描述系統的動態方程式，如下式所示：

1 1 1

k k k k

x

Ax

Bu

w

k k k

y

Hx

v

利用透過影像處理所建立的疲勞程度指標式(10)作為系統狀態方程式的表示式：

( ) ( )

( )

100 100

( ) ( 1) 30

84 30 ^k

DrowsyIndex k

DrowsyIndex k

Z k

Z k

w

x 系統狀態為

DrowsyIndex k 疲勞指標，

A 為常數1， B 為常數

84 × 30 ，

u

( ) ( )

( )

1 close , 0 open ,

P

P

when T T

Z T when T T

⎧⎪ ≤

= ⎨ ⎪⎩ ≥

w

干擾 (Process Noise)，本研究選擇考慮光源 (Luminance)強度作為干擾來源。

接著再利用透過機率類神經網路[13]建立的駕駛疲勞指標作為量測狀態方程式的表示 式：

PNN

( )

DI k

y

DrowsyIndex k

v

其中將式(12)與(14)比對，

DIPNN

y

v 為量測干擾，本研究選擇利用 ARMAX 模型殘差 (Residual)作為干擾來源。

最後利用估測前狀態

DrowsyIndex ^ˆ

DIPNN

y

DIPNN

y

( )

ˆ ˆ ˆ

PNN PNN

k k k DI DI

DrowsyIndex

DrowsyIndex

K y

y

DIPNN k

y

DrowsyIndex

DrowsyIndex ^ˆ

DIPNN

y

K 為卡爾曼

P )達到最小化，

K 為卡爾曼增益 (Kalman Gain)如下所示：

k k

k

K P

P R

−

= −

+ (17) 在

K 值裡的 R 為量測干擾協方差，

P

1

k k

P

= P

+ Q

Q 為外在對系統干擾協方差，本研究給定初始誤差協方差 P

從式(15)可看出，當量測干擾協方差

R 值接近零時，卡爾曼增益 K 的權重將會變的較

lim0 _k 1

R

K

→ =

換而言之，當估測前的誤差協方差

P

K 的權重將會變的

0

lim 0

k

P k

−→

K

對卡爾曼增益

K 換個想法來探討，當量測干擾協方差 R 值接近零時，表示對於實際量

y

DIPNN

y

P

DIPNN

y

DIPNN

y

K 和

P

P ，如下所示

(

¹

k k k

P = − K P

卡爾曼濾波器估測過程是藉由回饋控制的架構形式，其中卡爾曼濾波器方程式將分成 兩大類為時間更新方程式和量測更新方程式。時間更新方程式為負責先前的狀態及誤差協 方差的估測以提供更新到下一個時間的狀態估測，而量測更新方程式為負責做回饋修正的 工作，包含將新的量測值送到前先的估測以提供改善之後的估測值。由於卡爾曼濾波器運 作時會缺乏事前的估測值，通常會在給定初始狀態

DI ^ˆ

P

5.2 控制權重調節器

本研究所設計的權重調節器為調節駕駛人與控制器之控制指令權重的分配，而分配式 為：

(1 )

s c d

δ

βδ

β δ

δ

β

= 1

β

= 0

β

) (

k

 = − −

(21) 其中

k

k

k

5.3 駕駛介入主動轉向輔助系統行為識別

當駕駛人在行駛時改變意圖會使駕駛人與控制器間產生控制目標上的差異，而發生衝 突行為將影響駕駛人行車安全，故必須知道駕駛人何時要改變駕駛意圖因而選擇適當的

β

β

β

β

圖 5-2 模糊控制識別 Driver Override 行為與否架構

本研究所設計的模糊邏輯識別系統也包含規則庫、模糊化、模糊推論及解模糊四大架 構，如圖 5-3 所示。規則庫主要是收集專家經驗法則的控制規則，而模糊化處理將是把駕 駛疲勞、方向盤角度和方向盤角速度轉換成模糊集合表現的語言變數。接著模糊推論是採 用 Mamadani 提出的 Min-Min-Max 模糊推論法，而解模糊為採用重心法來求得 Driver Override 意圖與否。

1 , 0.5

0 , 0.5

DO if Driver Override Output DO if Driver Override Output

= ≥

⎧ ⎨ = <

⎩

DO=0 表示駕駛無 Driver Override 意圖行為。

最後我們藉由識別出的 Driver Override 意圖與否來決定控制權重值 (β )：

=0 , 1 =1 , 0

if DO if DO β

β

⎧ =

⎨ =

⎩

圖 5-3 模糊邏輯識別駕駛 DO 意圖架構

六、實驗規劃及結果討論

年度一研究中，我們透過兩種駕駛人模擬器實驗，蒐集駕駛人於實際行駛於彎路時之 相關車輛動態參數變化情形，以及其操控行為對於車輛的影響。

實驗 I：使用不同車速行駛於相同彎道路徑，以得到在車速不同時駕駛人的過彎操控行為。

實驗 II：車輛以相同車速行駛於特定道路，探討 ESP 有無介入對於駕駛人煞車行為的影響。

年度二的研究實驗將邀請數位駕駛人分別進行實驗，其中大部分皆需要藉有駕駛模擬 器來進行以下實驗。

實驗 I：卡爾曼濾波器整合線上駕駛狀態判別系統進行驗證效能

實驗 II：模糊邏輯識別「Driver Override 行為與否」之效能驗證

6.1 駕駛人模擬器

年度一、二透過同一套硬體但不同的軟體系統來設置駕駛人模擬器

其中年度一的研究中透過 CarSim® RT 建立駕駛人模擬器，將方向盤、煞車及油門之 類比訊號輸入安裝於 target 端之訊號擷取卡，經由 TCP/IP 方式連結 Host 端與 Target 端，

將方向盤、煞車及油門訊號回傳至 Host 端以進行模型計算。

年度二研究建立的駕駛模擬器則是參考文獻 [13]，所使用的 Matlab 之 xPC Target 功能 來實現，並結合 Virtual Reality toolbox

建構出一仿真的虛擬駕駛環境。

圖 6-1 年度一實際駕駛模擬器架構

圖 6-2 年度二實際駕駛模擬器架構

6.2 駕駛人模擬器實驗結果討論

年度一結果：

實驗 I：駕駛人轉向行為實驗結果

從實驗得知，駕駛人模擬器在在彎道行駛時，駕駛人對於翻覆及側滑現象較為重視，

亦與一般駕駛人過彎形為類似。使車輛不至於發生事故，因此分析駕駛人與安全系統互動 行為時，將 β 及

LTR

用相關車輛參數誤差之最大值作為建立駕駛人 payoff function 之基礎仍有其不足性，需 考慮各變數之整體響應情形。然而，駕駛人的行為難以預測，因此本研究為了兼顧暫態及 穩態響應，因此本研究所使用 ISE 作為駕駛人之 payoff function 建立基礎為合理的選擇。

實驗 II：駕駛人煞車行為實驗結果

此部分同樣使用 ISE 方式來計算煞車量，原因在於駕駛人並非一直踩煞車，因此當駕 駛人煞車時，選用 ISE 方式可計算駕駛人之輸入煞車量，而不煞車時 ISE 值亦不會持續增 加，因此選用 ISE 做為輸入煞車輛之評估依據。

由實驗結果，目前僅能知道駕駛人會因預期 ESP 介入而減少其輸入煞車量，但減少之 比例仍未有合適的評估標準，而當 ESP 介入操控時，有可能會使得車輛在翻覆上的表現劣 化。

年度二結果：

實驗 I： 卡爾曼濾波器整合線上駕駛狀態判別系統進行驗證效能

本項實驗規劃實際駕駛人在 (A)精神狀態良好(B)精神狀態不佳 兩種不同條件下進行 操作駕駛模擬器實驗，藉此驗證類神經網路狀態判別系統與 DSP 實現的狀態判別系統透過 卡爾曼濾波器整合的效能改善實驗。

【Case A】駕駛精神狀態良好的實驗

圖 6-3 卡爾曼濾波器整合駕駛疲勞指標

【Case B】駕駛精神狀態不佳的實驗

圖 6-4 卡爾曼濾波器整合駕駛疲勞指標

由實驗 Case A 與 Case B 結果可以知道，本研究所建立的卡爾曼疲勞濾波器整合 PNN 與透過 DSP 所建的兩套駕駛狀態判別系統確實能有效改善整體系統的準確度與可靠度，讓 系統較不會受到外在干擾或模型正確性降低的影響而導致駕駛人狀態判別錯誤。

實驗 II：模糊邏輯識別「Driver Override 行為與否」之效能驗證

本項實驗規劃實際駕駛人在低、中和高疲勞三種不同狀態來進行模擬器實驗，並在指 定時間內要求駕駛人執行特定行為，其中在中和高疲勞狀態包含兩種不同規劃實驗分別為 (A)有加入障礙物(B)無加入障礙物。藉由這些實驗以比較有加入駕駛人資訊及未加入駕駛 人資訊的模糊邏輯識別出 Driver Override 之效能優劣。

實驗結果顯示出出將駕駛人資訊列入識別駕駛介入主動轉向輔助系統與否的操作行為 的考量可提高正確的識別率，並且可以看出有考慮駕駛人資訊的

β

圖 6-5 各駕駛在中疲勞狀態之無障礙物實驗數據分析卡爾曼濾波器整合駕駛疲勞指標

圖 6-6 各駕駛在高疲勞狀態之無障礙物實驗數據分析卡爾曼濾波器整合駕駛疲勞指標

七、結論及未來工作

年度一中提出以改善率的觀點評估安全系統啟動後對於車輛動態表現的影響，此方式 仍有其不足之處，係因若是安全系統啟動後反而使得某種車輛表現劣化，則使用改善率的 方法則非一良好選擇

而在年度二中，我們改以 DSP 實現駕駛眼睛狀態的識別機制而再經由離線的動態影像 分析結果顯示有一定的吻合度，並且藉由此資訊建立出一線上駕駛疲勞指標系統。接著再 探討兩套不同特性基礎的駕駛狀態判別系統，分別由影像處理演算法以及機率類神經網路 所建構，再透過卡爾曼濾波器整合這兩套獨立的線上駕駛資訊，從實驗結果顯示出經整合 後可確實改善整體系統的準確度與可靠度，讓系統較不會受到外在干擾或模型正確性降低 的影響而導致駕駛人狀態判別錯誤。然後，在透過模糊邏輯識別出 DO 的駕駛意圖

在駕駛意圖的判別，可嘗試其他識別方法，例如機率類神經網路 (Probabilistic Neural Network, PNN)、隱馬爾可夫模型 (Hidden Markov Models, HMMs

)、

八、參考文獻

[1] Yi, K., Chung, T., Kim, J. and Yi, S., “An Investigation Into Differential Braking Strategies for Vehicle Stability Control.” Proceedings of the Institution of Mechanical Engineers;

2003; 217, 12; ProQuest Science Journals p1081-1093

[2] Li, J., Xu, B., Zhang, Y., Liu, W. and Liu, M., “Control Algorithm Based on Neural Network PID Controller For Vehicle Electronic Stability Program.” Jilin Daxue Xuebao

(Gongxueban)/Journal of Jilin University (Engineering and Technology Edition), v 37, n 4,

[3] Goodarzi, A. and Esmilzadeh, E., “An Optimal Vehicle Stability Enhancement Strategy For Articulated Vehicle.” Proceedings of 2006 ASME International Mechanical Engineering

Congress and Exposition, IMECE2006 - Design Engineering, 2006, p9

[4] Ungoren, A.Y. and Peng, H., “An Adaptive Lateral Preview Driver Model,” Vehicle System

Dynamics, v43, n4, April, 2005, p245-259.

[5] Chen, B.C. and Peng, H. “Differential-braking Based Rollover Prevention for Utility Vehicle with Human-in-the-loop Evaluation”, Vehicle System Dynamics, v 36, n4-5, 2001, p 359-389

[6] Lu, J., Messih, D., Salib, A. and Harmison, D., “An Enhancement to Electronic Stability Control System to Include a Rollover Control Function.” SAE 2007-08-0809。

[7] Johansson, B. and Gafvert, M., “Untripped SUV rollover detection and prevention,” IEEE

Conference on Decision and Control (CDC), Atlantis, Paradise Island, Bahamas, 2004, p

[8] Paul, J. Th., “Reference manual for a lane keeping simulation tool,” The University of

Michigan Transportation Research Institute, July 1995.

[9] Wierwille, W. W., Ellsworth, L. A., Wreggit, S.S., Fatrbanks, R.J., and Kirn C.L., “Research on vehicle-based driver status/performance monitoring; development, validation, and refinement of algorithms for detection of driver drowsiness,” National Highway Traffic

Safety Administration Final Report: DOT HS 808 247 , 1994.

[10] Dinges, D. F. and Grace, R., ”PERCLOS : a valid psychophysiological measure of alertness as assessed by psychomotor vigilance,” No. FHWA-MCRT-98 006.Federal Highway

Administration Tech Brief. Publication., 1998.

[11] Grace, R., ”Drowsy driver monitor and warning system,” Pittsburgh, Robotics Institute

Carnegie Mellon University, 2001.

[12] 孫宗瀛,楊英魁“Fuzzy 控制：理論、實作與應用” 全華科技圖書股份有限公司, 台北 , 2001.

[13] 彭孟璿,“線上駕駛人建模與駕駛狀態判別之正確性評估,”

國立臺灣科技大學機械工

程系碩士論文

出席國際學術會議心得報告

計畫編號 NSC 96－2221－E－011－131－MY2

計畫名稱 應用車輛駕駛機率模型發展整合型車輛安全控制系統 出國人員姓名

服務機關及職稱 陳亮光 臺灣科技大學機械系 助理教授

會議時間地點 Kempinski Hotel, Xi'an, Shaanxi, China, June 3-8, 2009 會議名稱 2009 IEEE Intelligent Vehicle Symposium

發表論文題目 Control Authority Determination of a Vehicle Lane Keeping Assist Controller 三、參加會議經過

本次會議由 IEEE Intelligent Transportation System 協會主辦，除了三個 keynote speeches 外，本研討會的特色在於所有口頭演講的文章報告均在 single track oral

presentation 進行，由於參與者均是對智慧型運輸系統有興趣之人士，同時研討會之主題 定義明確且不廣，因此這個做法有其背景與原因。搭配 Prof. Broggi 與 Prof. Ozguner 的 演講以及少數幾篇的口頭報告，此次研討會展示了許多的論文海報。每位海報投稿者須 在展出時間在所展示的海報前與所有的與會人士溝通並討論，出差人同時受邀擔任該次 展出時段之 co-chair。Prof. Werbos 主講有關如何避免使用石油能源的演講則搭配著研討 會晚宴舉行。會議最後一天同時還參觀了在西安交通大學主辦的中國無人駕駛車的競賽。

四、與會心得

雖然研討會主題為智慧型車輛，但參與會議之文章主題涵蓋甚廣，內容遍及車輛主 動安全、運輸、人機介面、以及駕駛人模型等。透過此次會中報告與世界各國研究學者 的討論，對本計畫之未來研究方向與內容有很好的幫助。由於在大陸舉行，也看到了許 多大陸各學校所報告的成果，很明顯的大陸在車輛產業上投注了大量的資源。會中也可 感受到世界各國再車輛技術上目前的一個重點就是與駕駛輔助相關的主動式安全系統。

不管是警示或是動態控制，都有許多團隊與單位在進行研究。期望能透過此次的會議互 動，使本計畫之研究能持續修正並與國際接軌。

Abstract—The vehicle lane keeping assist through active front

wheel steering is developed in this research using robust model reference adaptive control. Two independent on-line driver drowsy assessment systems are employed to determine the driver drowsy indices. The two sets of drowsy assessments will be integrated through a Kalman filter to help determine the control authority of the controller. Computer simulations show that the proposed controller and control authority scheduling algorithms achieve the desired functions. Driving simulator experiments will be conducted to verify the proposed framework.

I. I

OST vehicle crashes are caused by human mistake, and significant effort has been devoted to develop active safety system to help prevent vehicle accidents. The active safety systems refer to the active devices that function prior to the incidences of the crashes with the purpose to help avoid the crashes. A crucial characteristic of these systems is that they generally function together with the human driver. The interactions between the human drivers and the active safety systems affect the performance of the overall vehicle safety.

Consequently, a careful consideration of the human drivers in the design of active safety systems is imperative for the success of their designed functions. The human driver behavior has been extensively investigated in the literature, ranging from the human factor research to the control oriented driver models, e.g., [1-8]. However, the applications of the existing driver models to the development of active safety systems are rare. The main reason is that most driver models are developed to mimic an averaged driver behavior based on the data collected from human driving. While the models present meaningful characteristics of driver behavior, they lack the timely nature to represent the variation in driver behavior and may be too complex to estimate in real time.

To serve as a useful resource for the operations of the vehicle active safety systems, attempts to use low order driver model structures and estimate their parameters in real-time has been reported in the recent literature, e.g., [9]. Granted

Manuscript received January 14, 2009. This work was supported in part by the National Science Council of Taiwan under Grant NSC 96-2221-E-011-131-MY2

Liang-kuang Chen and Chuan-hui Yang are with the National Taiwan University of Science and Technology, Taipei, Taiwan (phone:

+886-2-2737-6481; fax: +886-2-2737-6460; e-mail:

lkchen@mail.ntust.edu.tw).

that the estimated driver models are not exact and can be absurd sometimes, it is possible to obtain an estimation of the driver model uncertainty level from the vehicle driving data, as reported in [10]. Using the on-line estimated driver models, together with the model uncertainty level, the active safety systems can be modified to be more driver-oriented. It is natural to expect that the active safety systems can be tuned to provide more aggressive control actions based on the real-time driver model information, thus improving their functionality and safety contribution. In this research the vehicle lane keeping assist system is selected as the application target to investigate.

An on-line driver modeling and state assessment previously developed is employed to provide the real-time driver information [9]. As illustrated in Fig. 1, an adaptive lane keeping assist controller using active front wheel steering is designed to compensate the difference between the actual driver behavior and an “ideal” driver behavior. The adaptive controller is a model reference adaptive control (MRAC) such that the compensated driver behavior tracks the reference driver model which has been tuned a priori to be a high performance driver model. If the driver model variation is significantly slower that the adaptation, the adaptive rule can be designed using Lyapunov stability criterion and the model matching error will converge eventually. In effect the MRAC is a parallel co-pilot trying to achieve the automated steering control. The driver’s control actions can be regarded as disturbances within the control authority of the steering assist controller. A natural question arises in the determination of the control authority. Due to the variation in driver state and preferences, the control authority is generally determined based on human acceptance with repeated driving experiments, as reported in [11] for example.

Furthermore, significant modeling error in the control design causes serious robustness problem in the overall system performance. In this research, robust MRAC is developed to provide the steering assist control and a novel approach to tune the control authority on-line based on the instant driver information is proposed. The driver acceptance of this design will be evaluated using PC based driving simulator.

Control Authority Determination of a Vehicle Lane Keeping Assist Controller

Liang-kuang Chen and Chuan-hui Yang Department of Mechanical Engineering

National Taiwan University of Science and Technology

M