資訊管理學報 第十五卷 第三期 203
適用資源配置的改良型類神經網路
柯博昌 高雄應用科技大學資訊管理系 田育任 高雄應用科技大學資訊管理系摘要
類神經網路近幾年被許多學者證明能有效率應用於求解大規模非線性複雜問題,然 而應用於有限資源配置(limited resource allocation)問題上並不多見。投資組合資金分配是 典型的資源配置問題,傳統投資組合的資金配置方式建立在假設及限制條件下,不符合 現實投資環境;被廣泛應用於資金配置問題的遺傳演算法,存在著需要將權重正規化而 產生不合理解的問題。現有的類神經網路模型應用於投資組合資產配置決策上,無法最 佳化輸出層神經元做為個別資產資金配置比例以及其比例總合為100%。若強制使用正規 化方法以符合配置比例總和符合等於1,容易因為某一比例改變,而造成整體配置的相 對比例隨之改變,影響訓練結果的振盪與不穩。為解決上述方法應用在資金配置問題, 本研究提出配置型類神經網路模型,在無任何假設及限制條件下,求解投資者面臨不確 定因素影響及有限自有資金情況下之投資組合個別資產資金配置比例,並且保證配置比 例總合為100%。並且考量個別資產預期報酬與風險、個別資產間報酬相互影響關係及投 資者本身的風險趨避程度(risk averter)。實證結果發現:配置型類神經網路應用於投資組 合資產配置比例問題上,不但能使類神經網路於輸出層之投資組合資產配置比例總合為 100%,且能最佳化個別資產配置比例;此外,配置型類神經網路的投資報酬率優於遺傳 演算法與台灣加權股價指數。 關鍵 字:類神經網路、有限資源配置、投資組合、資金分配、遺傳演算法A Novel Neural Network Model
for Portfolio Optimization
Po-Chang Ko
Department of Information Management, National Kaohsiung University of Applied Sciences Yu-Jen Tien
Department of Information Management, National Kaohsiung University of Applied Sciences
Abstract
Portfolio management is one of limited resource allocation problem. The primary goal of portfolio is to optimally allocate investor's asset by considering the trade-off between risk and return. The well-known Markowitz mean variance optimization is a quantitative tool which makes the investment in a given number of different assets and limits the amount of capital to be invested in each asset. The artificial neural network (ANN) proposed a nonparametric efficiency measurement approach with nonlinear capability to solve large-scale complex problem effectively. However, the traditional ANN model cannot guarantee that the summation of produced investment weights always preserves 100% in the output layer. This article introduces an allocated neural network model to optimize the investment weight of portfolio, which will dynamically adjust the investment weight as a basis of 100% of summing all of asset weights in the portfolio. In addition, Genetic Algorithm (GA) is another common evolutionary computation technique used to optimize portfolio management. The experimental results demonstrate the feasibility of optimal investment weights and superiority of ROI compared with GA and benchmark TSE (Taiwan Stock Exchange).
Key words: Neural network, limited resource allocation, portfolio, asset allocation, genetic algorithm
適用資源配置的改良型類神經網路 205
壹、緒論
資源配置題是經濟學的分配問題主要探討如何將資源分配在合適的用途上。資源配 置應用於各種研究領域例如: 作業研究、管理科學、生產排程規劃、投資組合等,它是 一個NPC (nondeterministic polynomial complete)問題,其求解方式包含線性規劃法(linear programming)、二次規劃法(quadratic programming)、動態規劃法(dynamic programming)、 遺傳演算法(genetic algorithms; GA)以及模擬退火法(simulated annealing)等。
投資組合是財務管理領域的資源配置問題。投資組合主要探討有限的資金如何有效 分配到各種投資工具上,此投資工具可以是股票、債券、選擇權等。投資大眾在多樣化 的投資理財環境下,無不希望在具有投資風險的金融市場中,獲得較無風險利率及更可 觀的投資報酬績效。在股票市場中,如何配置投資組合中個別資產的資金比例,能在降 低投資風險的同時提高投資報酬,是投資人關心的議題。 傳統財務方法中,應用於決定投資組合個別資產資金配置比例的方法,以馬可維茲 的均異分析法(mean-variance)最為研究學者熟悉,因為均異分析法考量資產期望報酬與 變異數情況下,決定投資組合個別資產資金配置比例。但是,此方法必須建立在某些假 設及限制條件下才得以成立。然而,投資市場之變化快速,過多假設及限制條件下的方 法,適用性令人質疑。馬克維茲分析的主要目的是藉由多角化(diversification)分散非系統 風險以及推導出以歷史的證券期望報酬與變異數為決策基礎的投資組合集合,此模型無 法滿足各個產業不同證券普及性的風險水準。以均異分析方法為基礎,另外有學者提出 替代模型或轉換模型例如:單一指數模型、線性規劃法、絕對誤差平均模型與極小極大 模型等模型。 目前熱門的計算智慧(computational intelligence)技術之一的遺傳演算法,它能在 極大的解答空間中做搜尋最佳的解答。遺傳演算法本質上為一個機率性的演算法則 (probabilistic algorithm),能在廣大的求解空間中,快速的搜尋最適解。引用遺傳演算法 於投資組合資產配置問題時,傳統的編碼方式不易處理資產權重問題,除非要花大量運 算工作於避免不合法解的問題上。此外,其他編碼方法是將多條染色體經過正規化對應 到一個染色體,會產生正規化後的染色體已經改變原有染色體的基因特徵,好的基因特 徵會被破壞且不易保留到下一代。 類神經網路是另一個計算智慧技術,它是一種平行計算系統,使用大量的相連人工 神經元來模仿生物神經網路的能力 (Haykin 1999),以著名的倒傳遞類神經網路為例,其 中運作過程為一種監督式學習(supervised learning),它從問題領域中取得訓練範例及目 標輸出值,並將訓練範例(Instance)輸入至網路中,利用最陡坡降法(the gradient steepest descent method)反覆地調節網路的連接權重值(weight)及偏壓值(bias),期望網路學習的預 測輸出值能近似樣本目標輸出值。
過去已有許多文獻應用類神經網路於金融與經濟的議題,例如: 應用歐式選擇權模型 與類神經網路做選擇權評價與避險套利 (Amilon 2003;Lajbcygier 2004)。以路徑積分法
(path integral)與類神經網路應用於洐生性金融商品定價。整合邏吉斯迴歸與類神經網路 等模型預測企業破產(Ahn et al. 2000)與診斷企業財務危機(Ko & Lin 2006)。總體經濟成長 走勢預測 ( Tkaz 2001) 與以菲利普斯曲線為基礎結合類神經網路預測美國、日本與歐洲的 通貨膨脹率(McAdam et al. 2005)。應用類神經網路於企業風險評估(Calderon et al. 2002) 與信用風險評等(Chen & Shih 2006)以協助企業審計與控制暴露的風險。結合遺傳演算法 與微波分析(wavelet analysis)的多元辨識能力(multi resolution),改善類神經網路拓撲提昇 預測韓幣對美金匯率的績效(Chen & Lenug 2004)。
傳統的類神經網路模型應用於資源配置或是投資組合資金配置問題的研究並不多 見,除了無法於輸出層神經元產生最佳化資產配置比例外,亦無法達成配置比例總合為 100%。若以正規化(normalization)方法使配置比例總合達成100%,則原先資金配置比例 結果受到強制改變,在此不合理的方法下進行投資組合個別資產資金配置,必然增加投 資風險,且可能造成無法預期的投資損失。本研究以此為研究動機,設計出配置型類神 經網路模型,在無需任何假設及限制條件情況下,求解投資者面臨不確定因素影響及有 限自有資金情況下之投資組合個別資產資金配置的比例。 本研究所提出之配置型類神經網路模型,此模型可將有限資源配置問題得以在此類 神經網路模型中解決。應用於投資組合資金配置問題時除了考量個別資產預期報酬及本 身預期報酬風險外,更考慮了個別資產間預期報酬相互影響關係,及投資者本身的風險 趨避程度,使網路輸出層神經元為最佳化個別資產資金配置比例,且使配置比例總合為 100%,此為本研究目的。 本研究的主要特色是在輸入層與隱藏層部份雖然承襲原有類神經網路模型,但在輸 出層部份加入Lagrange的二次求值方法,重新評估權重調整。即延襲舊有類神經網路優 點以外,又能兼具適用配置型問題中輸出總和為1的重要特性,此特性將使類神經網路技 術更有效應用於資源配置(resource allocation)相關領域。 本研究在學術與實務上的主要意義有:(一) 提出以配置型類神經網路模型,創新傳 統類神經網路模型可最佳化輸出結果總合為1。(二) 本研究提出的配置型類神經網路模 型於投資組合資金配置,對於股票市場的擇時交易策略的決策機制與證券投資具有創新 性的意義。(三) 投資組合是很多財務管理議題的基礎,例如企業公司理財、基金管理公 司、外資法人等機構重要的投資決策問題。因此,建立一套有效、穩健的投資組合資金 配置最佳化機制為輔助,方能制定最佳的投資決策。 本研究後續內容結構如下:第二節文獻探討傳統投資組合模型、類神經網路與遺傳 演算法的應用。第三節說明研究模型與架構圖。第四節說明實驗方法與設計、實驗結 果;最後一節是結論與後續研究方向。
貳、文獻探討
本研究主要特點在於提出新配置學習為基礎的類神經網路模型應用於投資組合資金 分配問題。因此,本節先針對投資組合資金配置的幾種方法做一介紹;接著是以計算智適用資源配置的改良型類神經網路 207 慧為基礎的投資組資金配置方法的文獻討論,包含類神經網路以及遺傳演算法。
一、均異分析
投資組合是指由一種以上的有價證券或其他資產所構成的集合。其理論焦點在於 如何有效的最佳化風險最低、報酬率最大的資產集合。馬克維茲自1952年在「portfolio selection」(Markowitz 1952 ) 一文中提出「均異分析」模型,即成為投資組合理論的重 心。此方法將風險予以量化於投資決策的考量中,以平均數來計算證券報酬的期望值, 以報酬率的變異數來估計風險程度,並且以共變數來衡量構成投資組合的證券間風險相 關程度,以此計算個別證券的投資資金權重。 陳安斌 (1999)等針對均異分析的結構問題與其解決方進行探討,分析均異理論的替 代模型與改善模型;在報酬分配會影響投資決策下除了平均值、變異數外,另有考量到 偏態;投資組合風險衡量除標準差外,投資人也關心損失的波動頻率與深度,最新的投 資組合風險衡量觀念己從標準差轉移風險值(Value at Risk; VaR)的研究議題(Lin & Ko)。二、二次規劃法
馬克維茲採用二次規劃法對資金權重做進一步限制為最高、最低以及非負值,並求 報酬減風險效用最大化。二次規劃法的限制是當投資組合的求解空間趨近於極大時, 需消耗相當大的時間計算成本,共需要估計N個期望報酬率、N個標準差以及N(N-1)/2 個共變數。後續的研究則著重在如何簡化投資組合的模型或尋求創新投資組合最佳化模 型的替代方法,以提高運算的效能。簡化模型的方法有「單一指數模型」與「線性規劃 法」;創新模型有「絕對誤差平均模型」與「極小極大模型」兩種模型。三、單一指數模型
單一指數模型由夏普(Sharpe) 於1963年所提出的投資組合簡化模型以改進二次規劃 法。單一指標模式的基本假設是,不同證券報酬間之相互關係均可藉著某些基本因素 (basic underlining factor)加以解釋。單一指標模式所須估計的參數經簡化可減3N+2個,減 少計算的複雜性。可是,應用單一指標模式也有其缺點:一、單一市場指標容易忽略其 他某些證券間的重要關係。二、不同的指標將產生不同的效率前緣,若選擇不當將容易 造成誤解。四、線性規劃法
Sharpe(1971)提出當資產數目很大時,投資組合的風險可簡化為一次方程式,並可進 一步使用線性規劃法找出最適的投資組合。投資組合的風險可藉由無限的資產組合分散 非系統風險,留下不可分散的系統風險或稱市場風險。當投資組合中有N種證券,且此N 趨近於無限大時,投資組合的不可分散風險可以簡化到以平均共變數取代。五、絕對誤差平均模型
絕對誤差平均模型(mean absolute deviation model; MAD)由Konno與Yamazaki (1991)提 出的投資組合模型以解決二次規劃法的共變數矩陣會隨著資產數目增加而消耗大量運算 資源的問題。MAD模型所衡量的投資組合風險是透過離差參數求報酬率的絕對變異,其 求解的效率優於Markowitz的二次規劃法。MAD對於歷史報酬率不需要符合任何機率分 配,並可以線性規劃方法求解節省大量的計算時間成本。但是,MAD模型沒有將資產之 間的共變異列入考慮,而是以報酬率絕對誤差做為衡量投資組合風險的基礎,此會造成 對效率前緣的估計誤差變大。
六、極小極大模型
極小極大模型(MiniMax)是Young (1998)提出,此模型不同於Markowitz的方法乃其風 險衡量是藉最小化個別資產的最大報酬損失,即求所有個別資產報酬率最大損失中最小 的一個。此模型亦可以線性規劃的方法求得最佳解取代共變數矩陣,其運算效能優於二 次規劃法;並且其輸入變數可為離散值,客觀限制少使用彈性更大。但是,沒有完整考 量到投資組合風險是主要的缺點。七、遺傳演算法
自從達爾文的天擇演化(natural selection)理論提出後,許多學域都深受影響,而 遺傳演算法就是John Holland (1975)受啟發而發展的演算法則。遺傳演算法採用了自 然界中生物與生物之間競爭求生存的觀念,以一組特別的字串模擬各種生物的染色體 (chromosome),根據染色體來計算對環境的適應度(fitness),在每個世代之間讓各個染色 體以隨機的方式進行交配(crossover)與突變(mutation)來產生下一代,而大環境會再根據 該染色體的適應度選擇(selection)是否讓其演化到下一代( Srinivas & PatNik 1994 )。這個 演化交替的動作會一直持續到達成最終目標(例如事先決定的演化代數)為止。最近幾 年有應用遺傳演算法於資金配置問題,但仍存在某些爭議。 遺傳演算法的編碼方式有二進位、整數、實數、文字、符號,其中以二進位編碼最 為常用。假設染色體長度為L,編碼後每條染色體可表達的求解空間為2L。但可能發生 編碼表達空間大於解答空間,即編碼解個數大於合理解個數,如此會造成非法解問題。 解決非法解最常用的方法有兩種,一是藉由獎懲制度替合法解加分,非法解扣分。二 是將多個編碼對應到同一個合法解,使編碼空間等於解答空間藉此消除非法解。後者 屬於排列組合問題,假設有X個元素中取Y個進行排列組合,其解答空間為X!/(X-Y)!, 其編碼表達空間將大於有效解答空間,運算過程中必須將非法解刪除,浪費空間資源與 時間成本。有多位學者以改進交配方法來解決遺傳演算法的排列組合問題(Davis 1985; Goldberg & Lingle 1985;Smith 1985 ),但最根本問題應該從遺傳演算法編碼問題著手, 較為直接適切。Shoaf(1998)提出以GA找投資組合效率集合之方法,其目的是找出同時考慮極大化 報酬與極小化風險之投資組合,此方法主要在遺傳演算法之編碼及輪盤法作形式上的改
適用資源配置的改良型類神經網路 209 變,但方法上之缺點是遺傳演化過程非常的不易收斂,可能導致好基因被劣等基因所 取代,進而產生無意義的投資組合。林萍珍等人(2000)的研究是將遺傳演算法結合夏普 指標計算報酬率應用在投資組合選擇方面,並加入了使用者導向的選擇方式,讓不同偏 好的投資人都能獲得最適合之投資組合,其投資組合內所有資產的資金配置是採等量分 配。同樣以遺傳演算法來最佳化投資組合的研究,其報酬率的評估準則是以期望法取代 算術平均法(Xia et al. 2000),即根據過去報酬率來估計近似的期望報酬率,採用浮點數 將投資比例進行編碼,若投資組合中有n種資產,其資金比率即為x1…xn,100%。GA產 生這些比例後,必需將這些比率各別除以總合
Չ௨ӈಔӝǴځှเޜ໔ࣁ
X!/(X-Y)!Ǵځጓዸ߄ၲޜ໔ஒεܭԖਏှเޜ໔Ǵ
ၮᆉၸำύѸஒߚݤှմନǴੁޜ໔ၗྍᆶਔ໔ԋҁǶԖӭՏᏢޣаׯҬ
ଛБݤٰှ،ᒪᄽᆉݤޑ௨ӈಔӝୢᚒ
(Davis 1985ǹGoldberg & Lingle 1985ǹ
Smith 1985 )Ǵՠനਥҁୢᚒᔈ၀வᒪᄽᆉݤጓዸୢᚒЋǴၨࣁޔௗϪǶ
Shoaf(1998)ගра GA פၗಔӝਏӝϐБݤǴځҞޑࢂפрӕਔԵቾ
ཱུεϯൔၿᆶཱུλϯ॥ᓀϐၗಔӝǴԜБݤЬाӧᒪᄽᆉݤϐጓዸϷ፺ዬݤ
բԄޑׯᡂǴՠБݤϐલᗺࢂᒪᄽϯၸำߚதޑόܰԏᔙǴёૈᏤठӳ
୷ӢӍ୷Ӣ܌ڗжǴԶౢғคཀကޑၗಔӝǶ݅ࣔΓ
(2000)ޑࣴز
ࢂஒᒪᄽᆉݤ่ӝহදࡰीᆉൔၿᔈҔӧၗಔӝᒧБय़Ǵ٠уΕΑ٬
ҔޣᏤӛޑᒧБԄǴᡣόӕୃӳޑၗΓૈᕇளനӝϐၗಔӝǴځၗ
ಔӝϣ܌Ԗၗౢޑၗߎଛࢂ௦ໆϩଛǶӕኬаᒪᄽᆉݤٰന٫ϯၗಔӝ
ޑࣴزǴځൔၿޑຑྗ߾ࢂаයఈݤڗжᆉೌѳ֡ݤ
(Xia et al. 2000)Ǵջਥ
Ᏽၸѐൔၿٰी߈՟ޑයఈൔၿǴ௦ҔੌᗺኧஒၗКٯՉጓዸǴऩ
ၗಔӝύԖ
n ᅿၗౢǴځၗߎКջࣁ x
1…x
nǴᕴکࣁ
100%ǶGA ౢғ೭٤Кٯ
ࡕǴѸሡஒ೭٤КӚձନаᕴӝ
ளډಔཥޑၗߎК
а಄ӝᕴࣁ
100%ޑज़ڋǴӆаεډλ௨ׇǴख़ཥ،ۓၗКख़Ƕ೭ᅿၸ҅ೕϯޑ่݀Ǵ
ౢғ
x
iޑελஒคݤൂᐱ،ۓࢌၗౢޑၗߎКǴԶѸሡຎ
x
iӧঁၗಔ
ӝύ܌՞ޑКٯٰ،ۓǴԜᖐஒวғӕಔ୷ӢӧόӕޑࢉՅᡏύޑጓዸ܌߄
ҢޑၗКٯஒόӕǴځКٯமፓޑࢂӧၗಔӝޑ࣬ჹՏԶόࢂ㶥ჹՏ
ǴࣁځόӝϐೀǶ
¦
n i1xi ' ' 1...
x
nx
Chen ᆶ Hou (2006)ύගрޑಔӝጓዸБԄ௦ڗΒՏϡ(binary)ጓዸǴࢉՅᡏ
୷Ӣҗኧঁ
0 ᆶ 1 ܌ಔԋǴՠځύ 0 ߄ҢၗߎǴ1 ߄ҢၗޑǴऩஒၗߎ֡
ϩࣁ
x ҽǴ߾ࢉՅᡏύஒԖ x ঁ 0ǴऩёၗޑၗౢԖ y ঁǴ߾చࢉՅᡏ
ύஒԖ
y ঁ 1ǴҭջࢉՅᡏޑߏࡋҗၗߎϩപޑҽኧ x کၗౢঁኧ y ܌،ۓǴӢ
ԜࢉՅᡏޑߏࡋࣁ
x + yǶԜጓዸБԄѸाམଛԾुཥޑँᡂڄኧϷҬଛڄኧ
ωૈЍජ܌ගٮрޑጓዸБԄǶ
Lin ᆶ Liu (2004)ගраӭҞᒪᄽᆉݤᒧ
ၗಔӝਏጔǴ٩ӭҞޑ܄ӃϩӚҞޑ࣬ᜢၗౢࡕӆՉၗ،
аᕭอၗಔӝޑှਔ໔Ƕځၗಔӝޑख़ሡाၸ҅ೕϯБԄೀᕴӝό
ࣁ
1 ޑຝǴԜஒߦ٬চۈၗౢख़ޑ࣬ჹՏ֟ׯᡂԶόܰԏᔙǶ
Ζǵʳ ᜪઓᆛၡ!
ᔈҔᜪઓᆛၡܭၗಔӝঁձၗౢၗߎଛБय़ϐЎၨϿǴЪၗߎଛ
БݤӭኧࢂаޑᜪઓᆛၡኳࠠଛӝၗಔӝޑБݤࣁϐǴҭջځᜪ
ઓᆛၡኳࠠ܌ଛޑၗߎख़คݤߥᕴӝࣁ
1Ƕ
Lowe(1994)ᔈҔӛԄᜪઓᆛၡ(feed forward network)ႣෳިሽаϷӣ㎸
Ԅᜪઓᆛၡ
(recurrent network)،ۓၗౢଛаന٫ϯၗಔӝౣǶၗߎଛ
ᕴӝόܭ
1(ջόӝݤှ)ਔ٬Ҕၨཱུޑᚵᆦ߯ኧ٬ځԏᔙǶ୯ෂΓ
-7- 得到一組新的資金比率x'1…x'n以符合 總為100%的限制,再以大到小排序,重新決定投資比重。這種經過正規化的結果,會產 生xi的大小將無法單獨決定某一資產的資金比率,而必需視xi在整個投資組合中所佔的比 例來決定,此舉將會發生同一組基因在不同的染色體中的編碼所表示的投資比例將會不 同,其比例強調的是在投資組合的相對位置而不是絕對位置,為其不合理之處。 Chen與Hou (2006)中提出的組合編碼方式採取二位元(binary)編碼,染色體基因由數 個0 與1 所組成,但其中0表示資金,1表示投資標的,若將資金均分為x等份,則染色體 中將有x個0,若可投資的資產有y個,則每一條染色體中將有y個1,亦即染色體的長度由 資金分割的份數x和資產個數y所決定,因此染色體的長度為x + y。此編碼方式必須要搭 配自訂新的突變函數及交配函數才能支援所提供出的編碼方式。Lin與Liu (2004)提出以 多目標遺傳演算法選擇投資組合效率前緣,依多目標的特性先分析各目標的相關資產後 再進行投資決策以縮短投資組合的求解時間。其投資組合的權重需要經過正規化方式處 理總合不為1的現象,此將會促使原始資產權重的相對位址改變而不易收斂。八、類神經網路
應用類神經網路於投資組合個別資產資金配置方面之文獻較少,且資金配置方法多 數是以傳統的類神經網路模型配合傳統投資組合的方法為之,亦即其類神經網路模型所 配置的資金權重無法保證總合為1。Lowe(1994)應用向前式類神經網路(feed forward network)預測股價以及回饋式類神經 網路(recurrent network)決定資產配置以最佳化投資組合策略。當資金配置總合不等於1(即 不合法解)時使用較消極的懲罰係數使其收斂。黃國棟等人(2002)亦以向前式與回饋式類 神經網路管理投資組合,以技術等指標做為因變數(independent variable)計算個別資產的 夏普指標,藉由回饋式類神經網路依夏普指標值高低決定其投資權重,且使用softmax函 數做正規化以保證總合為1。然而,正規化後將會改變原有資產權重的相對位置,使得最 佳化權重會因正規化而失去自然收斂的特性。 Hung et al. (2003)學者探討加入風險因子後之適應性監督式學習決策交易系統 (EASLD; Extended ASLD),其目的為平衡投資組合決策下之報酬與風險,建立在此基礎 下,利用半徑式類神經網路(radial basis network )針對投資組合中之個別標的物的夏普指 標產生投資決策信號。此方法在選定標的資產時未考量個別資產之風險與報酬,即進行 投資組合之選取,違反投資組合之風險分散原則。再者,透過半徑式類神經網路所產生
之交易訊號及投資資金權重,無法確實反映在目前投資市場狀況下應有之投資決策。 Chapados與Bengio (2001) 依投資活動控制風險值,建立可投資組合資產配置之類神 經網路,利用類神經網路進行選股,結合均異分析方法,計算投資組合中個別資產資金 配置比例;亦即類神經網路結合風險值調整模型產生投資組合資金配置比例。但其資金 比例估算是藉由均異分析而得,並非由類神經網路最佳化其輸出層的值。由以上相關文 獻可得知,傳統類神經網路並無法解決有限資源配置問題,除非經由正規化的運算,但 如同正規化應用於遺傳演算法的爭議一樣,正規化會導致因某一輸出值的改變影響其它 各輸出值的真實性。
參、研究模型
本節將配置型類神經網路模型分以研究模型與研究架構分別說明之。研究模型(見圖 1)探討配置型類神經網路的數學模型,希望針對此模型說明其可驗證性與可行性。研究 架構主要是說明配置型類神經網路模型運作流程(見圖 2)。一、研究模型
本研究所提出之配置型類神經網路模型,有必要針對模型中所使用的數學模型說明 其可驗證性與可行性。此模型的演算法可應用於多層隱藏層之類神經網路架構。以下將 對模型的變數假設、配置型類神經網路架構圖(見圖 1)與推導做一詳細說明。 假設此類神經網路架構共有N個輸入(1, 2, ..., n,..., N),M個輸出(1, 2, ..., m,..., M),L 層隱藏層(1, 2, ..., l, ..., L),第l層具有Sl個神經元,假設I是表示輸入向量,O是表示輸出向 量,Wl表示第l層的權重矩陣,bl是第l層的偏差向量,al是第l層隱藏層的輸出向量,則I、 O、Wl、bl與al分別表示如式(1)-(5)。 圖1:多層隱藏層配置型類神經網路架構圖 ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑ ∑適用資源配置的改良型類神經網路 211
Ξ
1 1 , 1 w 1 I 2 I 3 I N I 1 , 1N S w 1 1 b 1 2 b 1 1 S bΞ
1 f 1 f 1 f 2 1 b 2 2 b 2 2 S bΞ
2 f 2 f 2 fΞ
2 1 , 1 w 2 , 1 2S S w 1 1 a 1 1 v 1 1 S a 1 1 S v 1 2 a 1 2 v 2 1 a 2 1 v 2 2 S a 2 2 S v 2 2 a 2 2 v 1 1L b 1 2L b 1 1 L SL bΞ
1 1 , 1L w 1 , 1 L S SL L w 1 1L v 1 1 L SL v 1 2L vInputs First Layer Second Layer L+1 Layer
...
...
...
1 L f O1 2 O M O 1 L f 1 L f 1 1 aL1 fL1 WL1aLbL1 1 1 W p b a f a2 f2 W2a1b2 კ!2;!ӭቫᗦᙒቫଛࠠᜪઓᆛၡࢎᄬკ!>
@
T N I I I1 2 / I (1)>
O O / O@
T O 1 2 M » » » » » ¼ º « « « « « ¬ ª i S S i S i S i S i i i S i i l i i i i i i w w w w w w w w w 1 1 1 , 2 , 1 , , 2 2 , 2 1 , 2 , 1 2 , 1 1 , 1 / 0 0 0 0 / / W (2) (3)>
i@
T S i i l i b b b1 2 / b (4)>
i@
T S i i l i a a a1 2 / a (5) კ 1 ߄ ᜪઓᆛၡࢎᄬკύǴӵ݀ۓကಃ 0 ቫࣁᒡΕቫǴಃL+1 ቫࣁᒡрቫǴ߾a0=IǴS0=NǴaL+1=OǴSL+1=MǶ l
j
w, Ңҗಃlቫޑಃjঁઓϡೱௗډಃl-1 ቫಃ
iঁઓϡ໔ϐೱௗख़ॶǴflж߄ಃlቫޑࢲϯڄኧ(activation function)ǶӚቫϐ
ᒡрӛໆalࣁቫޑᒡрӛໆal-1ख़ંତWlуࡕǴӆу܌ឦୃᓸॶbl ࡕǴࢲϯڄኧfl܌ளډޑ่݀ǴӵԄ i (6)܌ҢǶ
l l l l l f Wa b a 1 (6) ӵӕॹሀᜪઓᆛၡǴځᄽᆉၸำϩࣁӛሀ(forward pass)ᆶӛࡕ ሀ(backward pass)ٿҽǴӧӛሀҽǴҁᆛၡࢎᄬ٩ᏵԄ(6)ीᆉനࡕޑ Ⴃයᒡр่݀OǴଷdࢂҞයఈॶǴeࢂOᆶdϐ໔ޑᇤৡӛໆǴϩձ߄Ңܭ -9- (1)Ξ
1 1 , 1 w 1 I 2 I 3 I N I 1 , 1N S w 1 1 b 1 2 b 1 1 S bΞ
1 f 1 f 1 f 2 1 b 2 2 b 2 2 S bΞ
2 f 2 f 2 fΞ
2 1 , 1 w 2 , 1 2S S w 1 1 a 1 1 v 1 1 S a 1 1 S v 1 2 a 1 2 v 2 1 a 2 1 v 2 2 S a 2 2 S v 2 2 a 2 2 v 1 1L b 1 2L b 1 1 L SL bΞ
1 1 , 1L w 1 , 1 L S SL L w 1 1L v 1 1 L SL v 1 2L vInputs First Layer Second Layer L+1 Layer
...
...
...
1 L f O1 2 O M O 1 L f 1 L f 1 1 aL1 fL1 WL1aLbL1 1 1 Wp b a f a2 f2 W2a1b2 კ!2;!ӭቫᗦᙒቫଛࠠᜪઓᆛၡࢎᄬკ!>
@
T N I I I1 2 / I (1)>
O O / O@
T O 1 2 M » » » » » ¼ º « « « « « ¬ ª i S S i S i S i S i i i S i i l i i i i i i w w w w w w w w w 1 1 1 , 2 , 1 , , 2 2 , 2 1 , 2 , 1 2 , 1 1 , 1 / 0 0 0 0 / / W (2) (3)>
i@
T S i i l i b b b1 2 / b (4)>
i@
T S i i l i a a a1 2 / a (5) კ 1 ߄ ᜪઓᆛၡࢎᄬკύǴӵ݀ۓကಃ 0 ቫࣁᒡΕቫǴಃL+1 ቫࣁᒡрቫǴ߾a0=IǴS0=NǴaL+1=OǴSL+1=MǶ l
j
w, Ңҗಃlቫޑಃjঁઓϡೱௗډಃl-1 ቫಃ
iঁઓϡ໔ϐೱௗख़ॶǴflж߄ಃlቫޑࢲϯڄኧ(activation function)ǶӚቫϐ
ᒡрӛໆalࣁቫޑᒡрӛໆal-1 ख़ંତWlуࡕǴӆу܌ឦୃᓸॶbl ࡕǴࢲϯڄኧfl܌ளډޑ่݀ǴӵԄ i (6)܌ҢǶ
l l l l l f Wa b a 1 (6) ӵӕॹሀᜪઓᆛၡǴځᄽᆉၸำϩࣁӛሀ(forward pass)ᆶӛࡕ ሀ(backward pass)ٿҽǴӧӛሀҽǴҁᆛၡࢎᄬ٩ᏵԄ(6)ीᆉനࡕޑ Ⴃයᒡр่݀OǴଷdࢂҞයఈॶǴeࢂOᆶdϐ໔ޑᇤৡӛໆǴϩձ߄Ңܭ -9- (2)Ξ
1 1 , 1 w 1 I 2 I 3 I N I 1 , 1N S w 1 1 b 1 2 b 1 1 S bΞ
1 f 1 f 1 f 2 1 b 2 2 b 2 2 S bΞ
2 f 2 f 2 fΞ
2 1 , 1 w 2 , 1 2S S w 1 1 a 1 1 v 1 1 S a 1 1 S v 1 2 a 1 2 v 2 1 a 2 1 v 2 2 S a 2 2 S v 2 2 a 2 2 v 1 1L b 1 2L b 1 1 L SL bΞ
1 1 , 1L w 1 , 1 L S SL L w 1 1L v 1 1 L SL v 1 2L vInputs First Layer Second Layer L+1 Layer
...
...
...
1 L f O1 2 O M O 1 L f 1 L f 1 1 aL1 fL1 WL1aLbL1 1 1 Wp b a f a2 f2 W2a1b2 კ!2;!ӭቫᗦᙒቫଛࠠᜪઓᆛၡࢎᄬკ!>
@
T N I I I1 2 / I (1)>
O O / O@
T O 1 2 M » » » » » ¼ º « « « « « ¬ ª i S S i S i S i S i i i S i i l i i i i i i w w w w w w w w w 1 1 1 , 2 , 1 , , 2 2 , 2 1 , 2 , 1 2 , 1 1 , 1 / 0 0 0 0 / / W (2) (3)>
i@
T S i i l i b b b1 2 / b (4)>
i@
T S i i l i a a a1 2 / a (5) კ 1 ߄ ᜪઓᆛၡࢎᄬკύǴӵ݀ۓကಃ 0 ቫࣁᒡΕቫǴಃL+1 ቫࣁᒡрቫǴ߾a0=IǴS0=NǴaL+1=OǴSL+1=MǶ l
j
w, Ңҗಃlቫޑಃjঁઓϡೱௗډಃl-1 ቫಃ
iঁઓϡ໔ϐೱௗख़ॶǴflж߄ಃlቫޑࢲϯڄኧ(activation function)ǶӚቫϐ
ᒡрӛໆalࣁቫޑᒡрӛໆal-1ख़ંତWlуࡕǴӆу܌ឦୃᓸॶbl ࡕǴࢲϯڄኧfl܌ளډޑ่݀ǴӵԄ i (6)܌ҢǶ
l l l l l f Wa b a 1 (6) ӵӕॹሀᜪઓᆛၡǴځᄽᆉၸำϩࣁӛሀ(forward pass)ᆶӛࡕ ሀ(backward pass)ٿҽǴӧӛሀҽǴҁᆛၡࢎᄬ٩ᏵԄ(6)ीᆉനࡕޑ Ⴃයᒡр่݀OǴଷdࢂҞයఈॶǴeࢂOᆶdϐ໔ޑᇤৡӛໆǴϩձ߄Ңܭ -9- (3)Ξ
1 1 , 1 w 1 I 2 I 3 I N I 1 , 1N S w 1 1 b 1 2 b 1 1 S bΞ
1 f 1 f 1 f 2 1 b 2 2 b 2 2 S bΞ
2 f 2 f 2 fΞ
2 1 , 1 w 2 , 1 2S S w 1 1 a 1 1 v 1 1 S a 1 1 S v 1 2 a 1 2 v 2 1 a 2 1 v 2 2 S a 2 2 S v 2 2 a 2 2 v 1 1L b 1 2L b 1 1 L SL bΞ
1 1 , 1L w 1 , 1 L S SL L w 1 1L v 1 1 L SL v 1 2L vInputs First Layer Second Layer L+1 Layer
...
...
...
1 L f O1 2 O M O 1 L f 1 L f 1 1 aL1 fL1 WL1aLbL1 1 1 W p b a f a2 f2 W2a1b2 კ!2;!ӭቫᗦᙒቫଛࠠᜪઓᆛၡࢎᄬკ!>
@
T N I I I1 2 / I (1)>
O O / O@
T O 1 2 M » » » » » ¼ º « « « « « ¬ ª i S S i S i S i S i i i S i i l i i i i i i w w w w w w w w w 1 1 1 , 2 , 1 , , 2 2 , 2 1 , 2 , 1 2 , 1 1 , 1 / 0 0 0 0 / / W (2) (3)>
i@
T S i i l i b b b1 2 / b (4)>
i@
T S i i l i a a a1 2 / a (5) კ 1 ߄ ᜪઓᆛၡࢎᄬკύǴӵ݀ۓကಃ 0 ቫࣁᒡΕቫǴಃL+1 ቫࣁᒡрቫǴ߾a0=IǴS0=NǴaL+1=OǴSL+1=MǶ l
j
w, Ңҗಃlቫޑಃjঁઓϡೱௗډಃl-1 ቫಃ
iঁઓϡ໔ϐೱௗख़ॶǴflж߄ಃlቫޑࢲϯڄኧ(activation function)ǶӚቫϐ
ᒡрӛໆalࣁቫޑᒡрӛໆal-1ख़ંତWlуࡕǴӆу܌ឦୃᓸॶbl ࡕǴࢲϯڄኧfl܌ளډޑ่݀ǴӵԄ i (6)܌ҢǶ
l l l l l f Wa b a 1 (6) ӵӕॹሀᜪઓᆛၡǴځᄽᆉၸำϩࣁӛሀ(forward pass)ᆶӛࡕ ሀ(backward pass)ٿҽǴӧӛሀҽǴҁᆛၡࢎᄬ٩ᏵԄ(6)ीᆉനࡕޑ Ⴃයᒡр่݀OǴଷdࢂҞයఈॶǴeࢂOᆶdϐ໔ޑᇤৡӛໆǴϩձ߄Ңܭ -9- (4)Ξ
1 1, 1w
1I
2I
3I
NI
1 , 1N Sw
1 1b
1 2b
1 1 Sb
Ξ
1 f 1 f 1 f 2 1b
2 2b
2 2 Sb
Ξ
2f
2f
2f
Ξ
2 1, 1w
2 , 1 2S Sw
1 1a
1 1v
1 1 Sa
1 1 Sv
1 2a
1 2v
2 1a
2 1v
2 2 Sa
2 2 Sv
2 2a
2 2v
1 1Lb
1 2Lb
1 1 L SLb
Ξ
1 1, 1Lw
1 , 1 L S SL Lw
1 1Lv
1 1 L SLv
1 2Lv
Inputs
First Layer
Second Layer
L+1 Layer
...
...
...
1 Lf
O
1 2O
MO
1 Lf
1 Lf
1 1a
L1f
L1W
L1a
Lb
L1 1 1W
p
b
a
f
a
2f
2W
2a
1b
2კ!2;!ӭቫᗦᙒቫଛࠠᜪઓᆛၡࢎᄬკ!
>
@
T NI
I
I
1 2/
I
(1)
>
O
O
/
O
@
TO
1 2 M»
»
»
»
»
¼
º
«
«
«
«
«
¬
ª
i S S i S i S i S i i i S i i l i i i i i iw
w
w
w
w
w
w
w
w
1 1 1 , 2 , 1, , 2 2 , 2 1, 2 ,1 2 ,1 1, 1/
0
0
0
0
/
/
W
(2)
(3)
>
i@
T S i i l ib
b
b
1 2/
b
(4)
>
i@
T S i i l ia
a
a
1 2/
a
(5)
კ
1
߄
ᜪઓᆛၡࢎᄬკύǴӵ݀ۓကಃ
0 ቫࣁᒡΕቫǴಃL+1 ቫࣁᒡрቫǴ߾
a
0=IǴS
0=NǴa
L+1=OǴS
L+1=MǶ
lj
w
,Ңҗಃ
lቫޑಃjঁઓϡೱௗډಃl-1 ቫಃ
iঁઓϡ໔ϐೱௗख़ॶǴf
lж߄ಃ
lቫޑࢲϯڄኧ(activation function)ǶӚቫϐ
ᒡрӛໆ
a
lࣁቫޑᒡрӛໆ
a
l-1ख़ંତ
W
lуࡕǴӆу܌ឦୃᓸॶ
b
lࡕǴࢲϯڄኧ
f
l܌ளډޑ่݀ǴӵԄ
i(6)܌ҢǶ
l l l l lf
W
a
b
a
1(6)
ӵӕॹሀᜪઓᆛၡǴځᄽᆉၸำϩࣁӛሀ
(forward pass)ᆶӛࡕ
ሀ
(backward pass)ٿҽǴӧӛሀҽǴҁᆛၡࢎᄬ٩ᏵԄ(6)ीᆉനࡕޑ
Ⴃයᒡр่݀
OǴଷdࢂҞයఈॶǴeࢂOᆶdϐ໔ޑᇤৡӛໆǴϩձ߄Ңܭ
-9- (5) 圖 1類神經網路架構圖中,如果定義第0層為輸入層,第L+1層為輸出層,則a0=I, S0=N,aL+1=O,SL+1=M。Ξ
1 1, 1w
1I
2I
3I
NI
1 , 1N Sw
1 1b
1 2b
1 1 Sb
Ξ
1 f 1 f 1 f 2 1b
2 2b
2 2 Sb
Ξ
2f
2f
2f
Ξ
2 1, 1w
2 , 1 2S Sw
1 1a
1 1v
1 1 Sa
1 1 Sv
1 2a
1 2v
2 1a
2 1v
2 2 Sa
2 2 Sv
2 2a
2 2v
1 1Lb
1 2Lb
1 1 L SLb
Ξ
1 1, 1Lw
1 , 1 L S SL Lw
1 1Lv
1 1 L SLv
1 2Lv
Inputs
First Layer
Second Layer
L+1 Layer
...
...
...
1 Lf
O
1 2O
MO
1 Lf
1 Lf
1 1a
L1f
L1W
L1a
Lb
L1 1 1W
p
b
a
f
a
2f
2W
2a
1b
2კ!2;!ӭቫᗦᙒቫଛࠠᜪઓᆛၡࢎᄬკ!
>
@
T NI
I
I
1 2/
I
(1)
>
O
O
/
O
@
TO
1 2 M»
»
»
»
»
¼
º
«
«
«
«
«
¬
ª
i S S i S i S i S i i i S i i l i i i i i iw
w
w
w
w
w
w
w
w
1 1 1 , 2 , 1, , 2 2 , 2 1, 2 ,1 2 ,1 1, 1/
0
0
0
0
/
/
W
(2)
(3)
>
i@
T S i i l ib
b
b
1 2/
b
(4)
>
i@
T S i i l ia
a
a
1 2/
a
(5)
კ
1
߄
ᜪઓᆛၡࢎᄬკύǴӵ݀ۓကಃ
0 ቫࣁᒡΕቫǴಃL+1 ቫࣁᒡрቫǴ߾
a
0=IǴS
0=NǴa
L+1=OǴS
L+1=MǶ
lj
w
,Ңҗಃ
lቫޑಃjঁઓϡೱௗډಃl-1 ቫಃ
iঁઓϡ໔ϐೱௗख़ॶǴf
lж߄ಃ
lቫޑࢲϯڄኧ(activation function)ǶӚቫϐ
ᒡрӛໆ
a
lࣁቫޑᒡрӛໆ
a
l-1ख़ંତ
W
lуࡕǴӆу܌ឦୃᓸॶ
b
lࡕǴࢲϯڄኧ
f
l܌ளډޑ่݀ǴӵԄ
i(6)܌ҢǶ
l l l l lf
W
a
b
a
1(6)
ӵӕॹሀᜪઓᆛၡǴځᄽᆉၸำϩࣁӛሀ
(forward pass)ᆶӛࡕ
ሀ
(backward pass)ٿҽǴӧӛሀҽǴҁᆛၡࢎᄬ٩ᏵԄ(6)ीᆉനࡕޑ
Ⴃයᒡр่݀
OǴଷdࢂҞයఈॶǴeࢂOᆶdϐ໔ޑᇤৡӛໆǴϩձ߄Ңܭ
-9- 表示由第l層的第j個神經元連接到第l-1層第i個神經元間之連 接權重值,f l代表第l層的活化函數(activation function)。各層之輸出向量al為上一層的輸 出向量al-l經權重矩陣W l加權後,再加上所屬偏壓值bl後,經活化函數f l所得到的結果, 如式(6)所示。Ξ
1 1 , 1 w 1 I 2 I 3 I N I 1 , 1N S w 1 1 b 1 2 b 1 1 S bΞ
1 f 1 f 1 f 2 1 b 2 2 b 2 2 S bΞ
2 f 2 f 2 fΞ
2 1 , 1 w 2 , 1 2S S w 1 1 a 1 1 v 1 1 S a 1 1 S v 1 2 a 1 2 v 2 1 a 2 1 v 2 2 S a 2 2 S v 2 2 a 2 2 v 1 1L b 1 2L b 1 1 L SL bΞ
1 1 , 1L w 1 , 1 L S SL L w 1 1L v 1 1 L SL v 1 2L vInputs First Layer Second Layer L+1 Layer
...
...
...
1 L f O1 2 O M O 1 L f 1 L f 1 1 aL1 fL1 WL1aLbL1 1 1 Wp b a f a2 f2 W2a1b2 კ!2;!ӭቫᗦᙒቫଛࠠᜪઓᆛၡࢎᄬკ!>
@
T N I I I1 2 / I (1)>
O O / O@
T O 1 2 M » » » » » ¼ º « « « « « ¬ ª i S S i S i S i S i i i S i i l i i i i i i w w w w w w w w w 1 1 1 , 2 , 1 , , 2 2 , 2 1 , 2 , 1 2 , 1 1 , 1 / 0 0 0 0 / / W (2) (3)>
i@
T S i i l i b b b1 2 / b (4)>
i@
T S i i l i a a a1 2 / a (5) კ 1 ߄ ᜪઓᆛၡࢎᄬკύǴӵ݀ۓကಃ 0 ቫࣁᒡΕቫǴಃL+1 ቫࣁᒡрቫǴ߾a0=IǴS0=NǴaL+1=OǴSL+1=MǶ l
j
w, Ңҗಃlቫޑಃjঁઓϡೱௗډಃl-1 ቫಃ
iঁઓϡ໔ϐೱௗख़ॶǴflж߄ಃlቫޑࢲϯڄኧ(activation function)ǶӚቫϐ
ᒡрӛໆalࣁቫޑᒡрӛໆal-1ख़ંତWlуࡕǴӆу܌ឦୃᓸॶbl ࡕǴࢲϯڄኧfl܌ளډޑ่݀ǴӵԄ i (6)܌ҢǶ
l l l l l f Wa b a 1 (6) ӵӕॹሀᜪઓᆛၡǴځᄽᆉၸำϩࣁӛሀ(forward pass)ᆶӛࡕ ሀ(backward pass)ٿҽǴӧӛሀҽǴҁᆛၡࢎᄬ٩ᏵԄ(6)ीᆉനࡕޑ Ⴃයᒡр่݀OǴଷdࢂҞයఈॶǴeࢂOᆶdϐ໔ޑᇤৡӛໆǴϩձ߄Ңܭ -9- (6) 如同傳統倒傳遞類神經網路,其演算過程分為向前傳遞(forward pass)與向後傳遞 (backward pass)兩部份,在向前傳遞部份,本網路架構依據式(6)計算最後的預期輸出 結果O,假設d是目標期望值,e是O與d之間的誤差向量,分別表示於式(7)(8),亦即 e=d-O。Ԅ(7)(8)Ǵҭջe=d-OǶ>
d d / d@
T d 1 2 M (7)>
e e / e@
T e 1 2 M (8) ௗǴӧӛࡕሀޑၸำύǴҁᆛၡࢎᄬӵӕॹሀᜪઓᆛၡঅ҅ઓ ϡ໔ޑख़ǴՠҗܭҁᆛၡࣁаଛࠠᜪઓᆛၡኳࠠǴ܌а܌Ԗޑख़অ ҅֡Ѹሡ٬നࡕႣෳޑᒡрख़ॶ(O)Ǵځ่݀ߥࣁ 1Ƕଷڄኧ[
(k
)
߄Ңࣁ ઓᆛၡܭ૽ግжኧಃk жਔǴܭᒡрቫޑ܌ԖઓϡᆛၡႣෳᒡрॶᆶҞᒡ рॶٿޣ໔ϐৡ౦ໆѳБᕴکǴۓကӵԄ(9)Ƕ¦
m j ej k k 1 2 2 ) ( 2 1 2 1 ) ( d O[
(9) ࣁΑཱུλϯᒡрቫޑ܌ԖઓϡᆛၡႣෳᒡрॶᆶҞᒡрॶٿޣ໔ϐৡ ౦ໆǴБݤᔈҔΑനଥڵफ़ݤჹᆛၡύޑӚઓϡ໔ख़অ҅Ǵځख़ॶঅ ҅ໆ߄ҢӵΠԄ(10)Ǻ ) ( ) ( ) ( , , , k w kk w l i j l i j l i j ww 'K
[
(10) Ԅ(10)ύǴ ࣁઓϡ໔ख़ϐঅ҅ໆǴ ࣁঁձख़অ҅ਔϐᏢಞ (learning rate)ǶॶளݙཀޑࢂǴҁᆛၡࢎᄬᆶᜪઓᆛၡޑঅ҅ᐒڋ όӕϐೀǴᏢಞ ࣁᡂॶǴ٠ߚӵᜪઓᆛၡኳࠠǴεஒځᏢಞ ۓࣁڰۓॶǶځҞޑࢂࣁΑന٫ϯၗಔӝύঁձၗౢၗߎଛǴЪܭᆛၡ૽ ግ ၸ ำ ύ Ǵ ᙖ җ Ꮲ ಞ ޑ ᡂ Ǵ ٬ ᒡ р ቫ ઓ ϡ ϐ Ⴃ ෳ ॶ ߥ ᕴ ک ࣁ 1 ǴࡺҗԄ ) ( , k wl i j ' l i j, K l i j, K ) 1 ( 1¦
m j j O (10)ளઓϡ໔ঁձϐख़ॶঅ҅ໆঅ҅ࡕࣁཥख़ ॶǴӵԄ(11)܌ҢǺ ) ( ) ( ) ( ) 1 ( , , , , k w k w kk w l i j l i j l i j l i j w w K [ (11) ӕኬޑǴԖᜢୃᓸॶঅ҅ໆᆶཥୃᓸॶޑीᆉБݤǴᜪ՟Ԅ(10)(11)߄Ңܭ Ԅ(12)(13)ύǶ ) ( ) ( ) ( , k b k k b l j l i j l j ww ' K [ (12) -10- (7) Ԅ(7)(8)Ǵҭջe=d-OǶ>
d d / d@
T d 1 2 M (7)>
e e / e@
T e 1 2 M (8) ௗǴӧӛࡕሀޑၸำύǴҁᆛၡࢎᄬӵӕॹሀᜪઓᆛၡঅ҅ઓ ϡ໔ޑख़ǴՠҗܭҁᆛၡࣁаଛࠠᜪઓᆛၡኳࠠǴ܌а܌Ԗޑख़অ ҅֡Ѹሡ٬നࡕႣෳޑᒡрख़ॶ(O)Ǵځ่݀ߥࣁ 1Ƕଷڄኧ[
(k
)
߄Ңࣁ ઓᆛၡܭ૽ግжኧಃk жਔǴܭᒡрቫޑ܌ԖઓϡᆛၡႣෳᒡрॶᆶҞᒡ рॶٿޣ໔ϐৡ౦ໆѳБᕴکǴۓကӵԄ(9)Ƕ¦
m j j k e k 1 2 2 ) ( 2 1 2 1 ) ( d O[
(9) ࣁΑཱུλϯᒡрቫޑ܌ԖઓϡᆛၡႣෳᒡрॶᆶҞᒡрॶٿޣ໔ϐৡ ౦ໆǴБݤᔈҔΑനଥڵफ़ݤჹᆛၡύޑӚઓϡ໔ख़অ҅Ǵځख़ॶঅ ҅ໆ߄ҢӵΠԄ(10)Ǻ ) ( ) ( ) ( , , , k w k k w l i j l i j l i j ww 'K
[
(10) Ԅ(10)ύǴ ࣁઓϡ໔ख़ϐঅ҅ໆǴ ࣁঁձख़অ҅ਔϐᏢಞ (learning rate)ǶॶளݙཀޑࢂǴҁᆛၡࢎᄬᆶᜪઓᆛၡޑঅ҅ᐒڋ όӕϐೀǴᏢಞ ࣁᡂॶǴ٠ߚӵᜪઓᆛၡኳࠠǴεஒځᏢಞ ۓࣁڰۓॶǶځҞޑࢂࣁΑന٫ϯၗಔӝύঁձၗౢၗߎଛǴЪܭᆛၡ૽ ግ ၸ ำ ύ Ǵ ᙖ җ Ꮲ ಞ ޑ ᡂ Ǵ ٬ ᒡ р ቫ ઓ ϡ ϐ Ⴃ ෳ ॶ ߥ ᕴ ک ࣁ 1 ǴࡺҗԄ ) ( , k wl i j ' l i j, K l i j, K ) 1 ( 1¦
m j j O (10)ளઓϡ໔ঁձϐख़ॶঅ҅ໆঅ҅ࡕࣁཥख़ ॶǴӵԄ(11)܌ҢǺ ) ( ) ( ) ( ) 1 ( , , , , k w k w kk w l i j l i j l i j l i j w w K [ (11) ӕኬޑǴԖᜢୃᓸॶঅ҅ໆᆶཥୃᓸॶޑीᆉБݤǴᜪ՟Ԅ(10)(11)߄Ңܭ Ԅ(12)(13)ύǶ ) ( ) ( ) (k , b kk b l j l i j l j w w ' K [ (12) -10- (8) 接著,在向後傳遞的過程中,本網路架構如同傳統倒傳遞類神經網路修正神經元間 的權重,但由於本網路為一以配置型類神經網路模型,所以所有的權重修正均必需使最 後預測的輸出權重值(O),其結果保持為1。假設函數 Ԅ(7)(8)Ǵҭջe=d-OǶ>
d d / d@
T d 1 2 M (7)>
e e / e@
T e 1 2 M (8) ௗǴӧӛࡕሀޑၸำύǴҁᆛၡࢎᄬӵӕॹሀᜪઓᆛၡঅ҅ઓ ϡ໔ޑख़ǴՠҗܭҁᆛၡࣁаଛࠠᜪઓᆛၡኳࠠǴ܌а܌Ԗޑख़অ ҅֡Ѹሡ٬നࡕႣෳޑᒡрख़ॶ(O)Ǵځ่݀ߥࣁ 1Ƕଷڄኧ[
(k
)
߄Ңࣁ ઓᆛၡܭ૽ግжኧಃk жਔǴܭᒡрቫޑ܌ԖઓϡᆛၡႣෳᒡрॶᆶҞᒡ рॶٿޣ໔ϐৡ౦ໆѳБᕴکǴۓကӵԄ(9)Ƕ¦
m j ej k k 1 2 2 ) ( 2 1 2 1 ) ( d O[
(9) ࣁΑཱུλϯᒡрቫޑ܌ԖઓϡᆛၡႣෳᒡрॶᆶҞᒡрॶٿޣ໔ϐৡ ౦ໆǴБݤᔈҔΑനଥڵफ़ݤჹᆛၡύޑӚઓϡ໔ख़অ҅Ǵځख़ॶঅ ҅ໆ߄ҢӵΠԄ(10)Ǻ ) ( ) ( ) ( , , , k w kk w l i j l i j l i j ww 'K
[
(10) Ԅ(10)ύǴ ࣁઓϡ໔ख़ϐঅ҅ໆǴ ࣁঁձख़অ҅ਔϐᏢಞ (learning rate)ǶॶளݙཀޑࢂǴҁᆛၡࢎᄬᆶᜪઓᆛၡޑঅ҅ᐒڋ όӕϐೀǴᏢಞ ࣁᡂॶǴ٠ߚӵᜪઓᆛၡኳࠠǴεஒځᏢಞ ۓࣁڰۓॶǶځҞޑࢂࣁΑന٫ϯၗಔӝύঁձၗౢၗߎଛǴЪܭᆛၡ૽ ግ ၸ ำ ύ Ǵ ᙖ җ Ꮲ ಞ ޑ ᡂ Ǵ ٬ ᒡ р ቫ ઓ ϡ ϐ Ⴃ ෳ ॶ ߥ ᕴ ک ࣁ 1 ǴࡺҗԄ ) ( , k wl i j ' l i j, K l i j, K ) 1 ( 1¦
m j j O (10)ளઓϡ໔ঁձϐख़ॶঅ҅ໆঅ҅ࡕࣁཥख़ ॶǴӵԄ(11)܌ҢǺ ) ( ) ( ) ( ) 1 ( , , , , k w k w kk w l i j l i j l i j l i j w w K [ (11) ӕኬޑǴԖᜢୃᓸॶঅ҅ໆᆶཥୃᓸॶޑीᆉБݤǴᜪ՟Ԅ(10)(11)߄Ңܭ Ԅ(12)(13)ύǶ ) ( ) ( ) (k , b kk b l j l i j l j ww ' K [ (12) -10- 表示為神經網路於訓練代數第 代時,於輸出層的所有神經元網路預測輸出值與目標輸出值兩者間之差異量平方總和, 定義如式(9)。 Ԅ(7)(8)Ǵҭջe=d-OǶ>
d d / d@
T d 1 2 M (7)>
e e / e@
T e 1 2 M (8) ௗǴӧӛࡕሀޑၸำύǴҁᆛၡࢎᄬӵӕॹሀᜪઓᆛၡঅ҅ઓ ϡ໔ޑख़ǴՠҗܭҁᆛၡࣁаଛࠠᜪઓᆛၡኳࠠǴ܌а܌Ԗޑख़অ ҅֡Ѹሡ٬നࡕႣෳޑᒡрख़ॶ(O)Ǵځ่݀ߥࣁ 1Ƕଷڄኧ[
(k
)
߄Ңࣁ ઓᆛၡܭ૽ግжኧಃk жਔǴܭᒡрቫޑ܌ԖઓϡᆛၡႣෳᒡрॶᆶҞᒡ рॶٿޣ໔ϐৡ౦ໆѳБᕴکǴۓကӵԄ(9)Ƕ¦
m j j k e k 1 2 2 ) ( 2 1 2 1 ) ( d O[
(9) ࣁΑཱུλϯᒡрቫޑ܌ԖઓϡᆛၡႣෳᒡрॶᆶҞᒡрॶٿޣ໔ϐৡ ౦ໆǴБݤᔈҔΑനଥڵफ़ݤჹᆛၡύޑӚઓϡ໔ख़অ҅Ǵځख़ॶঅ ҅ໆ߄ҢӵΠԄ(10)Ǻ ) ( ) ( ) ( , , , k w kk w l i j l i j l i j w w 'K
[
(10) Ԅ(10)ύǴ ࣁઓϡ໔ख़ϐঅ҅ໆǴ ࣁঁձख़অ҅ਔϐᏢಞ (learning rate)ǶॶளݙཀޑࢂǴҁᆛၡࢎᄬᆶᜪઓᆛၡޑঅ҅ᐒڋ όӕϐೀǴᏢಞ ࣁᡂॶǴ٠ߚӵᜪઓᆛၡኳࠠǴεஒځᏢಞ ۓࣁڰۓॶǶځҞޑࢂࣁΑന٫ϯၗಔӝύঁձၗౢၗߎଛǴЪܭᆛၡ૽ ግ ၸ ำ ύ Ǵ ᙖ җ Ꮲ ಞ ޑ ᡂ Ǵ ٬ ᒡ р ቫ ઓ ϡ ϐ Ⴃ ෳ ॶ ߥ ᕴ ک ࣁ 1 ǴࡺҗԄ ) ( , k wl i j ' l i j, K l i j, K ) 1 ( 1¦
m j j O (10)ளઓϡ໔ঁձϐख़ॶঅ҅ໆঅ҅ࡕࣁཥख़ ॶǴӵԄ(11)܌ҢǺ ) ( ) ( ) ( ) 1 ( , , , , w k k k w k w l i j l i j l i j l i j w w K [ (11) ӕኬޑǴԖᜢୃᓸॶঅ҅ໆᆶཥୃᓸॶޑीᆉБݤǴᜪ՟Ԅ(10)(11)߄Ңܭ Ԅ(12)(13)ύǶ ) ( ) ( ) (k , b kk b l j l i j l j w w ' K [ (12) -10- (9) 為了極小化輸出層的所有神經元網路預測輸出值與目標輸出值兩者間之差異量,方 法上應用了最陡坡降法對網路中的各神經元間權重做修正,其權重值修正量表示如下式 (10): Ԅ(7)(8)Ǵҭջe=d-OǶ>
d d / d@
T d 1 2 M (7)>
e e / e@
T e 1 2 M (8) ௗǴӧӛࡕሀޑၸำύǴҁᆛၡࢎᄬӵӕॹሀᜪઓᆛၡঅ҅ઓ ϡ໔ޑख़ǴՠҗܭҁᆛၡࣁаଛࠠᜪઓᆛၡኳࠠǴ܌а܌Ԗޑख़অ ҅֡Ѹሡ٬നࡕႣෳޑᒡрख़ॶ(O)Ǵځ่݀ߥࣁ 1Ƕଷڄኧ[
(k
)
߄Ңࣁ ઓᆛၡܭ૽ግжኧಃk жਔǴܭᒡрቫޑ܌ԖઓϡᆛၡႣෳᒡрॶᆶҞᒡ рॶٿޣ໔ϐৡ౦ໆѳБᕴکǴۓကӵԄ(9)Ƕ¦
m j ej k k 1 2 2 ) ( 2 1 2 1 ) ( d O[
(9) ࣁΑཱུλϯᒡрቫޑ܌ԖઓϡᆛၡႣෳᒡрॶᆶҞᒡрॶٿޣ໔ϐৡ ౦ໆǴБݤᔈҔΑനଥڵफ़ݤჹᆛၡύޑӚઓϡ໔ख़অ҅Ǵځख़ॶঅ ҅ໆ߄ҢӵΠԄ(10)Ǻ ) ( ) ( ) ( , , , k w kk w l i j l i j l i j ww 'K
[
(10) Ԅ(10)ύǴ ࣁઓϡ໔ख़ϐঅ҅ໆǴ ࣁঁձख़অ҅ਔϐᏢಞ (learning rate)ǶॶளݙཀޑࢂǴҁᆛၡࢎᄬᆶᜪઓᆛၡޑঅ҅ᐒڋ όӕϐೀǴᏢಞ ࣁᡂॶǴ٠ߚӵᜪઓᆛၡኳࠠǴεஒځᏢಞ ۓࣁڰۓॶǶځҞޑࢂࣁΑന٫ϯၗಔӝύঁձၗౢၗߎଛǴЪܭᆛၡ૽ ግ ၸ ำ ύ Ǵ ᙖ җ Ꮲ ಞ ޑ ᡂ Ǵ ٬ ᒡ р ቫ ઓ ϡ ϐ Ⴃ ෳ ॶ ߥ ᕴ ک ࣁ 1 ǴࡺҗԄ ) ( , k wl i j ' l i j, K l i j, K ) 1 ( 1¦
m j j O (10)ளઓϡ໔ঁձϐख़ॶঅ҅ໆঅ҅ࡕࣁཥख़ ॶǴӵԄ(11)܌ҢǺ ) ( ) ( ) ( ) 1 ( , , , , k w k w kk w l i j l i j l i j l i j w w K [ (11) ӕኬޑǴԖᜢୃᓸॶঅ҅ໆᆶཥୃᓸॶޑीᆉБݤǴᜪ՟Ԅ(10)(11)߄Ңܭ Ԅ(12)(13)ύǶ ) ( ) ( ) (k , b kk b l j l i j l j ww ' K [ (12) -10- (10) … … … … … … … … … … … … …伍、結論
類神經網路可以應用於預測或分類,但是傳統類神經網路理論很少提到資源配置模 型,因此無法處理投資組合中個別資產資金比例問題,且使輸出層神經元輸出個別資產 資金配置比例總合為100%,故本研究以此為研究方向,藉由數學模型的推導,利用輸出 層神經元預測輸出值與神經元目標輸出值間之差異量求解個別權重值修正模型之學習率 修正權重值,訓練出能達成本研究目的之配置型類神經網路,應用於投資組合中個別資 產資金配置權重最佳化問題。 實證過程中發現,類神經網路訓練時期所求出的學習率,能降低類神經網路的訓練 代數,增加網路執行的效率性,選取類神經網路合適的參數值會影響投資報酬績效。若 參數值有過度配適現象,當投資市場環境受多種不確定因素影響時投資報酬績效反而因 此降低。遺傳演算法的實驗結果較配置型類神經網路的績效差的主要原因是投資權重集 中少數標的物;另外每次實驗結果最後被選到的標的物並不固定,表示收斂不穩定,無 形中增加投資的風險。比較配置型類神經網路、遺傳演算法與台灣加權股價指數的投資 報酬績效結果顯示,配置型類神經網路確實能提供較佳的資金配置效率。本研究後續研 究方向為推導一非線性模型演算法,即應用在配置型類神經網路中之隱藏層到輸出層權 重值修正模型部分,若其演算法推導為非線性函數模型,是否對個別資產資金配置比例 結果具更佳的投資報酬績效。此外,本模型亦可應用其他的有限資源配置問題以驗證其 有效性與推廣性。參考文獻
1. 林萍珍、陳稼興、林文修,2000,『遺傳演算法在使用者為導向的投資組合選擇之 應用』,資訊管理學報,第七卷,第一期:155~171頁。2. 陳安斌、姜林杰祐,1999,『Mean variance model 結構問題及其解決方法探討』, 寶來金融創新雙月刊,第5期:1~10頁。
3. 黃國棟、許中川、黃金生,2002,『回饋式類神經網路知識發掘應用於最適投資組 合資金配置』,中山管理評論,第十卷,第4期:651~682頁。
4. Ahn, B. S., Cho, S. S., and Kin, C. Y.“The Integrated Methodology of Rough Set Theory and Artificial Neural Network for Business Failure Prediction,"Expert Systems with
Applications (18), 2000, pp. 65-74.
5. Amilon, H.“A Neural Network versus Black-Scholes: A Comparison of Pricing and Hedging Performances,"Journal of Forecasting (22), 2003, pp. 317-335.
6. Calderon, T. G., and Cheh, J. J.“A Roadmap for Future Neural Networks Research in Auditing and Risk Assessment,"International Journal of Accounting Information Systems (3:4), 2002, pp. 203-236.
適用資源配置的改良型類神經網路 225 Asset Allocation Using Neural Networks,"IEEE Transaction on Neural Networks (12:4), 2001, pp. 890-906.
8. Chen, J. S., and Hou, J. L.“A Combination Genetic Algorithm with Applications on Capital Allocation,"Lecture Notes in Computer Science (IEA/AIE 2006), August 2006. 9. Chen, A. S., and Leung, M. T.“Regression Neural Network for Error Correction in
Foreign Exchange Forecasting and Trading,"Computers and Operations Research (31:7), 2004, pp. 1049-1068.
10. Chen, W. H., and Shih, J. Y.“A Study of Taiwan's Issuer Credit Rating Systems Using Support Vector Machines,"Expert Systems with Applications (30:3), 2006, pp. 427-435. 11. Davis, L.“Job Shop Scheduling with Genetic Algorithms,"Proceeding of an
International Conference on Genetic Algorithms and Their Application, 1985, pp. 136-140.
12. Goldberg, D. E., and Lingle, R.“Alleles, Loci, and the Traveling Salesman Problem,"
Proceeding of an International Conference on Genetic Algorithms and Their Application,
1985, pp. 154 -159.
13. Holland, J. Adaptation in natural and artificial systems, University of Michigan Press, 1975.
14. Hung, K. K., Cheung, Y. M., and Xu, L.“An Extended ASLD Trading System to Enhance Portfolio Management,"IEEE Transaction on Neural Networks (14:2), 2003, pp. 413-425. 15. Ko, P. C., and Lin, P. C.“An Evolution-based Approach with Modularized Evaluations to
Forecast Financial Distress,"Knowledge Based Systems (19:1), 2006, pp. 84-91.
16. Konno, H., and Yamazaki, H.“Mean-absolute Deviation Portfolio Optimization Model and its Application to Tokyo Stock Market,"Management Science (37), 1991, pp. 519-531.
17. Lajbcygier, P.“Improving Option Pricing with the Product Constrained Hybrid Neural Network,"IEEE Transaction on Neural Networks (15:2), 2004, pp. 465-476.
18. Lin, C. C., and Liu, Y. T.“A Multiple Objective Genetic Algorithm with Mathematical Crossover Operator,"The Ninth Conference on Artificial Intelligence and Applications, Taipei, Taiwan, November 2004.
19. Lin, P. C., and Ko, P. C.“Portfolio Value-at-risk Forecasting with GA-based Extreme Value Theory,"Expert Systems With Applications. (Submitted).
20. Lowe, D.“Novel Exploitation of Neural Network Methods in Financial Markets,"
International Conference on Neural Networks, IEEE, 1994, pp.3623-3628.
21. Markowitz, H. M.“Portfolio Selection,"Journal of Finance (7), 1952, pp.77-91.
22. McAdam, P., and McNelis, P.“Forecasting Inflation with Thick Models and Neural Networks,"Economic Modelling (22:5), 2005, pp. 848-867.
23. Sharpe, W. F.“A Linear Programming Approximation for the General Analysis Problem,"
Journal of Financial and Quantitative Analysis (6), 1971, pp. 1263-1275.
1963, pp. 277-293.
25. Shoaf, J., and Foster, J. A.“The Efficient Set GA for Stock Portfolios,"Proceeding
of International Conference on Evolutionary Computing (CEC), IEEE Press, 1998, pp.
354-359.
26. Haykin, S. Neural Networks a Comprehensive Foundation, Prentice Hall, 1999.
27. Smith, D.“Bin Packing with Adaptive Search,"Proceeding of an International
Conference on Genetic Algorithms and Their Application, 1985, pp. 202-206.
28. Srinivas, M. and PatNik, M.“Genetic Algorithms:A Survey,"IEEE Computer (27:6), 1994, pp. 17-26.
29. Tkaz, G.“Neural Network Forecasting of Canadian GDP Growth,"International Journal
of Forecasting (17), 2001, pp. 57-69.
30. Xia, Y., Liu, B., Wang, S., and Lai, K. K.“A Model for Portfolio Selection with Order of Expected Return,"Computers & Operations Research (27), 2000, pp. 409-422.
31. Young, M. F.“A Minimax Portfolio Rule with Linear Programming Solution,"