第四章 實驗結果與分析
4.2 神經網路參數最佳化實驗
神 經 網 路 相 關 的 參 數 包 含 學 習 率 、 學 習 遞 減 率 、 隱 藏 層 數 量 以 及 輸 入 層 數 量 。 學 習 率 用 來 設 定 學 習 修 正 範 圍 的 大 小 ， 因 此 學 習 率 越 低 修 正 的 範 圍 也 會 越 小 ， 也 更 有 分 類 聚 集 的 效 果 。 學 習 遞 減 率 就 是 每 次 訓 練 過 程 就 會 依 據 遞 減 率 來 遞 減 學 習 率 ， 達 到 修 正 穩 態 的 狀 態 。 而 學 習 遞 減 率 越 大 就 會 導 致 遞 減 的 速 度 越 慢 ； 相 對 會 造 成 遞 減 速 度 快 。 學 習 率 遞 減 緩 慢 會 導 致 修 正 範 圍 延 遲 收 斂 ， 延 緩 收 歛 的 結 果 會 導 致 門 檻 值 降 低 。
本 實 驗 採 用 四 組 簽 名 圖 樣 實 驗 ， 並 且 採 用 幾 何 中 心 進 行 環 形 取 樣 。 使 用 200 個訓練樣本進行神經網路訓練，使用 100 個測試樣本。
用 測 試 樣 本 來 計 算 辨 識 率 。 進 行 測 試 時 除 了 使 用 該 圖 樣 的 測 試 樣 本 ，
使 用 100 個簽名圖樣作為錯誤測試樣本，用來測試誤判率。由於學習
率 或 學 習 遞 減 率 從 0 到 1 之間的變化曲線為等比例改變的形式，並非 呈 現 不 規 則 之 變 化 曲 線 ， 因 此 本 研 究 採 用 極 端 值(0.1 或 0.9)來進行實 驗 的 測 試 。 本 研 究 除 了 要 求 高 辨 識 率 之 外 ， 還 需 要 考 慮 到 誤 判 率 。 透 過 神 經 網 路 的 參 數 調 整 達 到 高 辨 識 率 及 低 誤 判 率 就 是 本 實 驗 的 目 的 。
表 4.1 神經網路參數實驗結果
學 習 率 遞 減 率 辨 識 率 誤 判 率 0.1 0.1 88% 11%
0.5 0.1 92% 10%
0.9 0.1 98% 12%
0.1 0.9 90% 6%
0.5 0.9 89% 10%
樣 本 1
0.9 0.9 91% 12%
0.1 0.1 99% 10%
0.5 0.1 98% 12%
0.9 0.1 100% 10%
0.1 0.9 94% 6%
0.5 0.9 98% 11%
樣 本 2
0.9 0.9 97% 10%
0.1 0.1 97% 10%
0.5 0.1 98% 12%
0.9 0.1 99% 11%
0.1 0.9 91% 7%
0.5 0.9 92% 12%
樣 本 3
0.9 0.9 87% 13%
0.1 0.1 95% 12%
0.5 0.1 93% 12%
0.9 0.1 94% 10%
0.1 0.9 91% 8%
0.5 0.9 89% 12%
樣 本 4
0.9 0.9 88% 13%
參 數 組 合 之 實 驗 結 果 如 表 4.2 所示，學習率降低可幫助分類聚集 的 效 果 ， 並 配 合 緩 慢 的 遞 減 率 可 使 得 神 經 網 路 的 收 斂 更 穩 定 ， 穩 定 的 神 經 網 路 會 降 低 門 檻 值 ， 使 誤 判 率 降 低 ， 並 且 依 然 維 持 高 辨 識 率 。 藉 由 本 階 段 實 驗 結 果 可 得 知 必 須 將 學 習 率 與 學 習 遞 減 率 設 定 較 低 的 參 數 值 可 得 到 較 佳 的 效 果 ， 因 此 後 續 之 實 驗 將 引 用 本 階 段 所 得 之 參 數 設 定 進 行 實 驗 。
表 4.2 參數組合實驗結果
學 習 率 遞減率 平 均 辨 識 率 平 均 誤 判 率
0.1 0.1 94.75% 10.75%
0.5 0.1 95.25% 11.50%
0.9 0.1 97.75% 10.75%
0.1 0.9 91.50% 6.75%
0.5 0.9 92.00% 11.25%
0.9 0.9 90.75% 12.00%
4.3 訓練樣本評估實驗
本 實 驗 階 段 採 用 四 組 手 寫 簽 名 樣 本 ， 分 別 使 用 訓 練 樣 本 50,100,150,200 份進行訓練。各組使用 100 份測試樣本進行測試，計 算 求 得 辨 識 率 。 採 用 最 小 外 接 圓 及 幾 何 中 心 法 兩 種 方 式 來 決 定 簽 名 圖 樣 的 取 樣 圓 心。除 了 使 用 該 圖 樣 測 試 樣 本，也 採 用 錯 誤 的 簽 名 圖 樣 100 份 進 行 測 試 ， 用 來 計 算 誤 判 率 。 而 四 組 簽 名 圖 樣 訓 練 樣 本 、 測 試 樣 本
以 及 E 樣本透過不同的圓心定位方式進行取樣，進行神經網路的訓練
與 測 試 。
表 4.3-1 訓 練 樣 本 辨 識 率 實 驗
訓 練 樣 本 數 50 100 150 200
樣 本 1 96% 89% 88% 85%
樣 本 2 98% 84% 85% 88%
樣 本 3 87% 89% 84% 87%
樣 本 4 92% 91% 88% 87%
最 小 外 接 圓
平 均 值 93.25% 88.25% 86.25% 86.75%
樣 本 1 81% 89% 87% 86%
樣 本 2 90% 92% 92% 94%
樣 本 3 98% 95% 96% 97%
樣 本 4 97% 92% 90% 91%
辨 識 率
形 心 法
平 均 值 91.50% 92.00% 91.25% 92.00%
表 4.3-2 訓 練 樣 本 誤 判 率 實 驗
訓 練 樣 本 數 50 100 150 200
樣 本 1 12% 8% 7% 6%
樣 本 2 15% 10% 8% 9%
樣 本 3 23% 11% 10% 10%
樣 本 4 22% 11% 11% 11%
最 小 外 接 圓
平 均 值 18.00% 10.00% 9.00% 9.00%
樣 本 1 9% 6% 6% 4%
樣 本 2 10% 6% 6% 6%
樣 本 3 11% 8% 9% 7%
樣 本 4 10% 8% 7% 7%
誤 判 率
形 心 法
平 均 值 10.00% 7.00% 7.00% 6.00%
由 此 實 驗 可 進 而 分 析 訓 練 樣 本 的 數 量 ， 當 訓 練 樣 本 數 量 太 少 會 導 致 資 訊 不 足 無 法 有 效 的 進 行 建 立 完 整 的 神 經 網 路 ； 然 而 訓 練 樣 本 過 多 則 無 法 使 神 經 網 路 隨 著 手 寫 簽 名 漸 進 式 改 變 達 到 智 慧 型 識 別 的 能 力 。 因 此 必 須 考 量 訓 練 樣 本 的 數 量 ， 持 續 的 訓 練 最 新 的 手 寫 簽 名 樣 本 ， 並 適 時 的 捨 棄 過 時 的 樣 本 ， 使 神 經 網 路 能 隨 著 手 寫 簽 名 的 漸 進 式 改 變 達 到 智 慧 型 學 習 的 效 果 。
本 實 驗 使 用 四 組 手 寫 簽 名 進 行 實 驗 ， 使 用 不 同 數 量 的 訓 練 樣 本 來 進 行 訓 練，將 實 驗 結 果 之 辨 識 率 與 誤 判 率 求 得 平 均 值，如 表 4.4 所示。
訓 練 樣 本 的 數 量 會 影 響 辨 識 率 與 誤 判 率 ， 由 實 驗 得 知 樣 本 數 量 必 須 高
於 100 份才可有效的降低誤判率，並維持穩定的辨識率。藉此階段實
驗 結 果 可 得 知 訓 練 樣 本 數 量 對 於 辨 識 率 與 誤 判 率 有 顯 著 影 響 。 表 4.4 最佳訓練樣本數量實驗結果
訓 練 樣 本 數 50 100 150 200
最 小 外 接 圓 93.25% 88.25% 86.25% 86.75%
辨 識 率
平 均 值 形 心 法 91.50% 92.00% 91.25% 92.00%
最 小 外 接 圓 18.00% 10.00% 9.00% 9.00%
誤 判 率
平 均 值 形 心 法 10.00% 7.00% 7.00% 6.00%
由 本 實 驗 階 段 除 了 判 斷 訓 練 樣 本 是 否 對 於 辨 識 率 及 誤 判 率 有 顯 著 的 改 善 之 外，可 由 圖 4.1 曲線圖得知幾何中心-形心法在辨識率方面較 為 穩 定 ， 使 用 不 同 數 量 的 訓 練 樣 本 均 有 穩 定 的 辨 識 率 ， 且 辨 識 率 高 於 最 小 外 接 圓 取 樣 法；而 誤 判 率 方 面 可 由 圖 4.2 曲線圖得知幾何中心-形 心 法 的 平 均 誤 判 率 低 於 最 小 外 接 圓 。
80.00%
85.00%
90.00%
95.00%
訓練樣本數量
辨識率平均值(%)
最小外接圓 93.25% 88.25% 86.25% 86.75%
幾何中心 91.50% 92.00% 91.25% 92.00%
50 100 150 200
圖 4.1 訓練樣本數量辨識率曲線圖
0.00%
10.00%
20.00%
訓練樣本數量
誤判率平均值(%)
最小外接圓 18.00% 10.00% 9.00% 9.00%
幾何中心 10.00% 7.00% 7.00% 6.00%
50 100 150 200
圖 4.2 訓練樣本數量誤判率曲線圖
4.4 環形取樣評估實驗
本 階 段 實 驗 主 要 是 藉 由 簽 名 圖 樣 的 中 心 座 標 進 而 以 環 形 的 方 式 進 行 區 域 分 割 。 環 形 取 樣 的 分 割 區 域 的 數 量 也 就 是 代 表 類 神 經 網 路 的 輸 入 層 神 經 元 的 數 量 。 本 研 究 主 要 是 透 過 環 形 區 域 的 像 素 數 量 作 為 特 徵 值 ， 因 此 不 同 等 份 的 取 樣 數 量 會 影 響 圖 樣 環 形 分 割 的 大 小 。 若 取 樣 區 域 稀 鬆 也 就 是 取 樣 數 量 少 ， 就 會 造 成 特 徵 不 明 顯 ， 導 致 無 法 正 確 的 表 現 其 簽 名 圖 樣 的 特 徵 ； 取 樣 若 密 集 ， 會 導 致 圖 樣 特 徵 被 模 糊 化 ， 因 此 藉 由 此 階 段 實 驗 來 分 析 ， 進 而 建 議 最 適 合 的 取 樣 數 量 。 此 階 段 實 驗 參 考 先 前 實 驗 所 得 的 參 數 ， 並 採 用 四 組 訓 練 樣 本 與 測 試 樣 本 。 訊 練 樣 本 數 量 為 200 份、學習率為 0.1、學習遞減率為 0.95 以及使用幾何中心 法 進 行 環 形 取 樣 ， 將 三 組 個 別 計 算 所 得 之 辯 識 率 與 誤 判 率 進 行 平 均 值 計 算 。 實 驗 結 果 如 表 4.5 所示。
表 4.5 環形取樣實驗結果
取 樣 層 級 5 10 15 20
平 均 辨 識 率 93.67% 85.67% 86.33% 80.33%
平 均 誤 判 率 10% 6% 8% 7%
由 本 階 段 實 驗 結 果 得 知 ， 辨 識 率 與 誤 判 率 是 成 正 比 的 方 式 ， 也 就 是 說 門 檻 值 較 高 會 導 致 辨 識 率 提 高 ， 而 誤 判 率 也 相 對 提 高 。 因 此 必 須 取 的 一 平 衡 點 ， 可 以 符 合 高 辨 識 率 也 必 須 維 持 低 誤 判 率 ， 由 於 手 寫 簽 名 的 特 性 就 是 每 次 手 寫 的 樣 本 均 不 盡 相 同 ， 不 僅 要 求 需 要 高 辨 識 效 果 也 必 須 強 調 低 誤 判 率 ， 所 以 必 須 在 辨 識 率 與 誤 判 率 之 間 取 得 平 衡 點 。 因 此 在 先 前 的 實 驗 中 提 到 本 研 究 除 了 要 求 高 辨 識 率 之 外 ， 還 需 要 考 慮
到 誤 判 率 ， 衡 量 兩 者 之 間 的 權 重 時 ， 考 量 手 寫 辨 識 的 樣 本 變 異 性 大 ， 因 此 傾 向 於 著 重 低 誤 判 率 的 組 合 。 由 圖 4.3 及圖 4.4 曲線圖所示，其 取 樣 層 級 之 辨 識 率 與 誤 判 率 有 相 同 的 趨 勢 曲 線 ， 因 此 本 實 驗 階 段 衡 量 辨 識 率 與 誤 判 率 比 較 結 果 ， 在 本 研 究 的 樣 本 範 圍 中 將 採 用 環 形 區 域 取
樣 層 級 為 10 階層的參數。此參數實驗結果得知具有較低的誤判率，因
此 將 建 議 採 用 此 參 數 作 為 神 經 網 路 輸 入 神 經 元 的 輸 入 層 參 數 ， 也 將 此 最 佳 參 數 於 後 續 實 驗 使 用 。
70%
75%
80%
85%
90%
95%
100%
取樣數量
辨識率(%)
辨識率 94.33 93.67 88.67 85.67 81.67 86.33 91.33 80.33
3 5 8 10 13 15 18 20
圖 4.3 環 形 區 域 取 樣 層 級 辨 識 率 曲 線 圖
0%
5%
10%
15%
取樣數量
誤判率(%)
誤判率 11.00% 10.00% 7.00% 6.00% 7.00% 8.00% 9.00% 7.00%
3 5 8 10 13 15 18 20
圖 4.4 環 形 區 域 取 樣 層 級 誤 判 率 曲 線 圖
4.5 圓心定點法評估實驗
本 階 段 著 重 於 圓 心 定 點 法 的 實 驗 ， 整 合 先 前 實 驗 所 得 之 最 佳 參 數 ， 並 透 過 反 覆 的 實 驗 求 得 平 均 辨 識 率 與 誤 判 率 。 本 研 究 採 用 最 小 外 接 圓 及 幾 何 中 心 法 兩 種 方 式 來 決 定 簽 名 圖 樣 的 取 樣 圓 心 ， 透 過 不 同 的 圓 心 定 位 法 來 評 估 是 否 影 響 辨 識 率 。 設 定 神 經 網 路 學 習 率 為 0.1，學 習 遞 減 率 為 0.95，並使用 200 組訓練樣本，樣本環形取樣為 10 階層。
並 經 過 10 次反覆測試，計算其平均值。實驗測試數據如表 4.6-1 及表 4.6-2 所示。
表 4.6-1 最 小 外 接 圓
樣 本 1 樣 本 2 樣 本 3 樣 本 4
次
數
辨 識 率 誤 判 率 辨 識 率 誤 判 率 辨 識 率 誤 判 率 辨 識 率 誤 判 率
1 83% 10% 91% 12% 93% 12% 95% 12%
2 91% 12% 92% 11% 94% 13% 90% 13%
3 85% 11% 89% 11% 97% 12% 87% 12%
4 86% 11% 89% 11% 95% 12% 89% 13%
5 85% 12% 90% 12% 98% 12% 91% 12%
6 84% 11% 88% 10% 95% 12% 94% 12%
7 89% 11% 96% 10% 93% 11% 91% 12%
8 95% 11% 89% 12% 96% 12% 86% 12%
9 86% 10% 94% 9% 93% 12% 87% 13%
10 90% 10% 87% 9% 98% 11% 86% 13%
平
均
87.4% 10.9% 90.5% 10.7% 95.2% 11.9% 89.6% 12.4%表 4.6-2 幾 何 中 心 -形 心 法
樣 本 1 樣 本 2 樣 本 3 樣 本 4
次
數
辨 識 率 誤 判 率 辨 識 率 誤 判 率 辨 識 率 誤 判 率 辨 識 率 誤 判 率
1 80% 6% 92% 10% 89% 12% 92% 13%
2 79% 6% 91% 10% 88% 11% 91% 12%
3 87% 6% 91% 9% 91% 13% 93% 11%
4 90% 6% 87% 9% 95% 12% 95% 11%
5 87% 6% 94% 9% 95% 12% 85% 10%
6 82% 6% 92% 9% 91% 12% 92% 11%
7 89% 7% 98% 9% 93% 12% 91% 11%
8 88% 6% 96% 9% 93% 11% 88% 11%
9 86% 6% 90% 10% 97% 11% 92% 11%
10 86% 6% 97% 9% 87% 12% 89% 12%
平
均
85.4% 6.1% 92.8% 9.3% 91.9% 11.8% 90.8% 11.3%本 實 驗 最 主 要 是 用 實 驗 方 式 來 判 斷 兩 種 取 樣 方 式 是 否 對 於 辨 識 率 與 誤 判 率 有 顯 著 的 差 異 ， 也 為 後 續 的 實 驗 提 供 最 佳 的 參 數 及 實 驗 環
境 。 由 表 4.7 得知，兩種取樣方式辨識率均高於 90%。觀察兩種圓心
定 點 方 式 的 誤 判 率 有 顯 著 的 差 異 ， 使 用 最 小 外 接 圓 取 樣 方 式 平 均 誤 判
率 為 11.48%相較於幾何中心平均誤判率為 9.63%。由此實驗結果得知
在 辨 識 率 方 面 使 用 幾 何 中 心 取 樣 法 或 最 小 外 接 圓 進 行 取 樣 ， 均 可 得 到 相 當 高 的 辨 識 率，因 此 藉 由 比 較 兩 者 支 誤 判 率 可 得 知 幾 何 中 心-形心法 的 誤 判 率 低 於 最 小 外 接 圓 。 將 取 樣 機 制 應 用 於 手 寫 簽 名 識 別 機 制 這 種 不 確 定 性 高 的 樣 本 除 了 辨 識 率 之 外 也 必 須 考 量 誤 判 率 ， 在 誤 判 率 方 面
幾 何 中 心-形心法低於最小外接圓定點法，藉由此結果與訓練樣本實驗
可 得 知 判 斷 使 用 幾 何 中 心-形 心 法 進 行 圓 心 定 點 取 樣 可 達 到 穩 定 之 辨 識 率 與 誤 判 率 ， 除 了 具 有 高 辨 識 率 之 外 再 誤 判 率 也 低 於 最 小 外 接 圓 定 點 法 。
表 4.7 環形圓心定點取樣實驗結果
最 小 外 接 圓 幾 何 中 心-形心法 測 試 次 數
辨 識 率 誤 判 率 辨 識 率 誤 判 率 樣 本 1 87.40% 10.90% 85.40% 6.10%
樣 本 2 90.50% 10.70% 92.80% 9.30%
樣 本 3 95.20% 11.90% 91.90% 11.80%
樣 本 4 89.60% 12.40% 90.80% 11.30%