類神經網路

類 神 經 網 路 是 模 擬 生 物 神 經 系 統 運 作 方 式 所 發 展 而 成 ， 早 在 1 9 4 0 年 代 ， W a r r e n M c C u l l o c h 和 W a l t e r P i t t s 學 者 已 共 同 建 立 了 第 一 個 人 工 神 經 元 ， 可 以 計 算 數 學 算 式 及 邏 輯 函 數 。1 9 5 0 年 代 末 期 ， F r a n k R o s e n b l a t t 發 明 了 具 有 學 習 功 能 的 感 知 器 網 路 （ p e r c e p t r o n n e t w o r k ） ， 雖 然 引 起 廣 大 的 研 究 興 趣 ， 但 是 基 本 的 感 知 器 網 路 僅 能 解 決 的 問 題 有 限 。 B e r n a r d W i d r o w 和 T e d H o f f ( 1 9 6 0 ) 提 出 了 具 有 訓 練 調 整 線 性 神 經 元 的 「 學 習 」 算 則 ， W i d r o w - H o f f l e a r n i n g r u l e 即 所 謂 的 最 小 均 方 差 演 算 法

（ L e a s t M e a n S q u a r e a l g o r i t h m , L M S ） 至 今 仍 被 使 用 。 但 因 為 無 法 調 整 學 習 算 則 以 訓 練 更 複 雜 的 網 路，因 此 類 神 經 網 路 步 入 黑 暗 期。雖 然 類 神 經 網 路 在 1 9 6 0 年 代 後 因 缺 乏 有 力 的 計 算 器 及 改 良 的 方 法 而 步 履 蹣 跚 ， 但J a m e s A n d e r s o n ( 1 9 7 2 ) 仍 發 展 出 具 有 「 記 憶 」 功 能 的 神 經 網 路 。 直 到 1 9 8 0 年 代 有 了 戲 劇 性 的 變 化 ， 個 人 電 腦 及 工 作 站 性 能 快 速 地 成 長 ， 也 有 新 的 概 念 被 提 出 ， 許 多 數 學 家 提 出 後 退 傳 遞 演 算 法 （ B a c k p r o p a g a t i o n a l g o r i t h m ） 可 以 訓 練 多 層 的 神 經 元 網 路 ， 其 中 又 以 D a v i d R u m e l h a r t 和 J a m e s M c C l e l l a n d 的 最 具 影 響 力 ， 這 些 新 的 發 展 復 甦 了 類 神 經 網 路 的 領 域 ， 近 十 年 來 ， 類 神 經 網 路 的 研 究 數 以 千 計 ， 且 應 用 於 各 領 域 中 ， 因 為 多 層 的 類 神 經 網 路 可 經 由 訓 練 、 記 憶 、 學 習 、 調 整 出 近 似 非 線 性 的 函 數 ， 以 解 決 更 複 雜 的 問 題 。

一 、 後 退 傳 遞 神 經 網 路 的 架 構

類 神 經 網 路 發 展 至 今 ， 許 多 學 者 為 了 解 決 不 同 的 問 題 提

31

出 了 不 同 的 類 神 經 網 路 模 型 ， 其 中 的 演 算 法 也 有 所 差 異 。 後 退 傳 遞 神 經 網 路 現 今 被 廣 泛 的 使 用，將 樣 本 要 探 討 的 參 數 資 料 作 為 輸 出 的 比 較 值 ， 樣 本 的 其 他 參 數 資 料 作 為 輸 入 值 ， 經 過 順 向 傳 遞 （ F e e d - F o r w a r d ） 及 後 退 傳 遞 （ B a c k - P r o p a g a t i o n ） 兩 階 段 ， 使 類 神 經 網 路 經 由 反 覆 學 習 調 整 適 當 的 權 值 值 （ w e i g h t s ） 及 偏 差 值 （ b i a s e s ） ， 將 輸 出 值 與 比 較 值 的 誤 差 降 至 容 許 範 圍 內 。 後 退 傳 遞 神 經 網 路 的 數 學 式 及 架 構 如 下 ：

圖2-7 後退傳遞神經網路架構圖

Inputs

Σ

b

f

n

Transfer function output

32

其 中

（ 一 ） 輸 入 值 （ i n p u t s ）： 資 料 樣 本 中 可 能 影 響 目 標 值 的 其 他 參 數 。

（ 二 ） 輸 出 值 （ o u t p u t ）： 輸 入 值 經 由 網 路 計 算 所 求 得 的 值 。

（ 三 ） 目 標 值 （ t a r g e t ）： 資 料 樣 本 中 欲 研 究 及 網 路 欲 擬 合 的 參 數 值 。

（ 四 ） 權 值 值 （ w e i g h t s ）： 相 異 輸 入 值 間 的 強 度 連 結 。

（ 五 ） 偏 差 值 （ b i a s ）： 神 經 元 發 出 訊 號 的 臨 界 值 。

（ 六 ） 神 經 元 （ n e u r o n ）： 類 神 經 網 路 中 最 小 的 運 算 單 元 稱 之 為 神 經 元 ， 最 早 由 M c C u l l o c h & P i t t s ( 1 9 4 3 ) 所 介 紹 ， 是 一 個 生 物 神 經 行 為 模 式 的 簡 單 數 學 模 型 ， 可 整 合 所 有 參 數 、 權 值 值 及 偏 差 值 。

（ 七 ） 轉 移 函 數 （ t r a n s f e r f u n c t i o n ） ： 可 依 神 經 元 的 輸 出 值 （ n ） 做 分 類 或 邏 輯 運 算 。

例 如 ： H a r d L i m i t （ h a r d l i m ） 可 做 分 類 ，

使 得 時 ， ； 時 ， 。

L o g - S i g m o i d （ l o g s i g ） 可 做 邏 輯 運 算 ，

。

一 個 神 經 網 路 可 以 是 數 層 神 經 元 所 構 成 ， 而 一 層 神 經 元 中 亦 可 包 含 數 個 神 經 元 （ 如 圖 2 - 7 ） ， 除 了 第 一 層 直 接 接 收 輸 入 值 外 ， 每 一 層 的 輸 出 值 即 為 下 一 層 的 輸 入 值 ， 依 此 將 數 值 傳 遞 下 去 ， 最 後 一 層 的 輸 出 值 即 為 整 個 神 經 網 路 的 輸 出 值 。

33

神 經 網 路 的 輸 出 值 與 目 標 值 的 誤 差 是 調 整 權 值 值 及 偏 差 值 的 依 據，而 計 算 下 一 次 疊 代 的 權 值 值 及 偏 差 值 是 由 最 後 一 層 神 經 元 依 序 往 前 計 算，待 計 算 完 各 層 的 權 值 值 及 偏 差 值 後 即 可 進 行 第 二 次 的 疊 代 ， 依 此 不 斷 的 循 環 ， 使 得 神 經 網 路 學 習 適 當 的 權 值 值 及 偏 差 值 ， 輸 出 值 越 來 越 接 近 目 標 值 ， 直 到 誤 差 縮 小 至 可 接 受 範 圍 為 止 。

圖 2 - 8 兩 層 的 神 經 網 路 架 構

二 、 類 神 經 網 路 的 應 用

隨 著 科 技 的 進 步 ， 類 神 經 網 路 的 計 算 能 力 也 隨 之 變 強 ， 新 的 概 念 及 演 算 法 則 也 使 得 類 神 經 網 路 可 以 解 決 複 雜 的 非 線 性 問 題 ， 其 應 用 可 擴 展 至 工 業 、 商 業 、 經 濟 、 航 太 、 醫 學 。 在 生 物 醫 學 方 面 ， 類 神 經 網 路 已 使 用 在 估 測 癌 症 病 患 的 生 存 時 間 或 手 術 預 後 ， 其 中 包 含 結 腸 癌 ( A h m e d , 2 0 0 5 ) 、 乳

34

癌 ( R i p l e y, 1 9 9 8 ) 等 。 為 了 準 確 地 評 估 患 者 的 存 活 率 及 手 術 預 後 狀 況 ， 需 要 具 備 大 量 的 資 料 庫 ， 其 中 包 括 人 種 、 年 齡 、 性 別 、 腫 瘤 位 置 、 腫 瘤 大 小 、 手 術 、 化 療 、 放 射 線 治 療 … 等 ， 這 些 條 件 極 為 複 雜 且 為 非 線 性 關 係 ， 傳 統 的 線 性 迴 歸 分 析 無 法 有 效 地 偵 測 此 類 的 生 物 資 料 模 組 。

在 B o t t a c i 等 ( 1 9 9 7 ) 的 研 究 中，以 3 3 4 位 結 腸 癌 患 者 的 5 年 追 蹤 資 料 ， 分 為 六 組 9 , 1 2 , 1 5 , 1 8 , 2 1 和 2 4 個 月 存 活 時 間 為 訓 練 樣 本 ， 訓 練 六 組 神 經 網 路 ， 結 果 發 現 這 六 組 神 經 網 路 的 準 確 率 均 大 於 8 0 %，且 以 1 2 個 月 為 訓 量 樣 本 估 測 二 期 的 患 者 ， 準 確 率 更 高 達 9 0 % ， 而 與 之 相 較 的 兩 組 臨 床 病 理 學 診 斷 卻 只 有 7 9 % 及 7 5 % 。

類 神 經 網 路 用 於 估 測 身 體 駔 組 成 的 研 究 尚 不 多 ，T a f e i t , M ö l l e r , S u d i 與 R e i b n e g g e r ( 1 9 9 9 ) 研 究 女 性 糖 尿 病 患 者 與 正 常 女 性 的 皮 下 脂 肪 分 佈 的 情 形 ， 得 到 的 結 果 為 糖 尿 病 患 者 皮 下 脂 肪 集 中 分 佈 在 軀 幹 上 部 ， 軀 幹 下 部 及 腿 部 分 佈 則 往 下 遞 減 ， 而 正 常 的 女 性 皮 下 脂 肪 則 分 佈 較 為 平 均 並 由 上 往 下 遞 增 。 L i n d e r , M o h a m e d , L o r e n z o 與 P ö p p l ( 2 0 0 3 ) 提 出 類 神 經 網 路 可 以 應 用 在 研 究 人 體 組 成 的 複 雜 且 非 線 性 關 係 。

35