實證方法

第四章 實證與評估

第一節 實證方法

本節透過正常飛行紀錄常態分佈模式建立異常偵測模型，並利用誤報率 (False Alarm Rate)與正確率評估異常偵測效率。首先說明實驗資料蒐集方式，並 利用正常飛行資料建立常態分佈模型。接續說明如何利用異常飛行資料建立異常

33

表七節錄某次 UAV 飛行紀錄，每一列視為一筆原始資料總共 6 筆，表 中第一欄時間序列代表紀錄編號，飛行紀錄依序生成，航點方位與偏航角 單位為角度，資料範圍從 0 度至 359.99 度。

(2) 利用正常飛行資料建立常態分佈模式

本研究利用 15 次正常飛行資料透過機率密度函數建立常態分佈模式，

其中將飛行資料代入機率密度函數必須計算所有分配數的算術平均數與標 準差，下表八表示衛星導航與機械運作的常態分佈模式資訊，資料數量共 7437 筆。

表八：衛星導航與機械運作常態分佈模式資訊

常態分佈模式 算術平均數（μ） 標準差（σ）

衛星導航 -0.0755 1.89 機械運作 -0.3258 4.1995

上表可知，建立常態分佈模式的分配數其資料數量為 7437 筆，算術平 均數會影響常態分佈模式波峰位置，因此從算術平均數與標準差可推測衛 星導航常態分佈模式與機械運作常態分佈模式相比其波峰較高如下圖十五 與十六所示。

圖十五：衛星導航常態分佈模式

34

圖十六：機械運作常態分佈模式

上圖十五與十六橫軸為分配數值單位是角度，縱軸為分配數值出現的機 率，當分配數值越靠近算術平均數 μ 時，其出現的機率越大，衛星導航最 大值機率為 0.2111 發生在-0.0755 度時，機械運作最大機率值為 0.095 發生 在-0.3258 度，因此在衛星導航常態分佈模式中，當航點方位差值 ∆𝑥̅ 越靠 近算數平均數-0.0755 時，其出現的機率越大，代表 UAV 在穩定飛行時，

其航點方位差值在-0.0755 度浮動，而越靠近常態分佈模式兩側，則出現機 率愈小。

(3) 探討影響常態分佈模式之因素

本研究認為影響異常偵測模型的偵測效率因素為：(1)異常偵測門檻值、

(2)連續時間窗格大小，以下接續說明異常偵測方法，並介紹此兩種因素如 何影響異常偵測。

本研究利用正常飛行資料建立衛星導航與機械運作的常態分佈模式後，

透過異常飛行資料建立異常偵測門檻值，其方法是將異常飛行資料透過機 率密度函數代入常態分佈模式中，並評估適當的異常偵測門檻值。建立異 常偵測門檻值後，利用連續時間窗格判定是否包含正常或異常事件，其詳 細步驟如下所述：

 步驟一：訂定異常偵測門檻值區分正常與異常資料

本研究將異常飛行資料透過機率密度函數，計算各分配數在常態分

35

佈模式中出現的機率，並利用機率值訂定異常偵測門檻值區分此分 配數為正常或異常資料，當飛行資料高於訂定的異常偵測門檻值時，

則視為正常資料，反之則視為異常資料。因衛星導航常態分布模式 的機率最大值為 0.2111，發生於分配數為-0.0755 度時，因此本研 究選取衛星導航異常偵測門檻值為機率值 0.21 間隔 0.01 依序探討 至 0.17。機械運作常態分配模式的機率最大值為 0.095 發生在分配 數為-0.3258 度時，故選取機械運作異常偵測門檻值為機率值 0.04 間隔 0.01 依序探討至 0.01。

 步驟二：訂定連續時間窗格標記正常與異常事件

本研究接續訂定連續時間窗格分析在時間窗格中出現正常與異常 資料的次數，當連續時間窗格至少出現正常資料時，則標記此時間 窗格為正常事件，代表此時 UAV 為正常飛行狀態。時間窗格皆為 異常資料時，則標記此時間窗格為異常事件，代表此時 UAV 具有 異常事件的風險，此標記條件式因為本研究考慮到，當 UAV 未達 到飛行穩定前，資料會出現類似異常特徵，但經過一定時間後達到 飛行穩定便會呈現正常飛行特徵，例如：當衛星導航正常時，在目 標航點變換的過程中，航點方位角會跳動，這樣的行為類似異常資 料，但航點變換後則回復正常飛行特徵。抑或在機械運作正常時，

在 UAV 轉彎過程中，偏航角的角度會有明顯變化，而產生類似異 常飛行資料，但 UAV 修正至航道上飛行後，則回復正常飛行特徵。

因此本研究利用連續時間窗格中，至早出現一次正常資料則視標記 此時間窗格為正常事件，而時間窗格中皆出現異常資料則標記此時 間窗格為異常事件，詳細計算示意圖如下圖十七所示。

36

圖十七：連續時間窗格標記示意圖

由上圖可知，透過步驟一利用常態分佈模型判定資料為正常或異常 事件後，本研究利用連續時間窗格判定此時間窗格為正常資料或異 常資料，當連續時間窗格中，出現正常事件時，則代表此時間窗格 為正常，但皆為異常事件時，則此時間窗格為異常，本研究期望透 過誤報率與正確率評估異常偵測門檻值與連續時間窗格大小影響 異常偵測模型之效率。

(4) 評估機制

本研究透過前項方法建立異常偵測模型，並期望透過異常資料的正確率 與正常資料的誤報率評估其異常偵測模型之效率，計算公式如下所示。

異常飛行資料判斷正確率 = ^{正確分類結果}

全部預測結果

偵測為異常飛行資料筆數

本研究因使用真實飛行資料，其正常與異常飛行紀錄數量差異不平衡，

實際發生異常事件之飛行紀錄很少，所有正常飛行紀錄為 15 次、衛星導航 異常飛行紀錄為 2 次、機械異常飛行紀錄為 1 次，正常與異常飛行紀錄數量 差異大，所以本研究提出的異常偵測模型理想情況下期望在偵測異常資料正

37

確率為百分之百的情況下，盡可能降低系統偵測正確資料之誤報率，藉此有 效區分正常與異常飛行事件。所以在實驗部分會分析在異常資料正確率高的 情況下，觀察正常資料誤報率，藉此評估異常偵測效率。異常資料正確率意 義為：在所有異常資料當中，系統能夠正確偵測出異常資料的比值。而正常 資料誤報率意義為：系統預測為異常飛行資料之情況下，將實際正常飛行資 料誤報為異常飛行資料之比值。