依據 Deep Q-Learning 演算法的架構，定義每次需再調整配置比例時代理人 會接收到 50 種足以描述市場環境的狀態，並可以執行 25 種配置的動作。最後使 用兩種最佳化演算法以及其他不同的超參數，設計出八種配置模型。對於各模型 經過訓練和測試後，由結果得知，其中兩種模型的夏普指數明顯高於買進持有策 略及固定比例投資策略，可以見得，透過增強式學習來開發動態資產配置策略是 可行的。
Deep Q-Learning 僅能用於處理離散型動作空間的系統，故本研究中增強式 學習定義的動作（意即資產配置權重）只能設計為離散型，但資產配置的權重本 應為連續型態的資料，因此只能將動作盡其可能切割得越細越好。但這麼做卻有 可能產生高維度的動作空間，而造成維度的災難（curse of dimensionality）。若依
Lillicrap, T. P., Hunt, J. J., Pritzel, A., Heess, N., Erez, T., Tassa, Y., Silver, D. &
Wierstra, D. （2015）的研究，透過 deep deterministic policy gradient 則可以將動
作改成連續型，更能符合實際的情況，也更有機會找出報酬極大化的配置策略。在本研究中僅將歷史日報酬率、調整後收盤價以及資產持有股數納入狀態中，
但若能將總體經濟的指標、技術分析指標、財經新聞、產業動態等諸多能影響資
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
35
產配置的因子考量納入系統的環境中，讓每個狀態獲得的資訊更完整，定可以訓 練出更佳的策略。
本研究僅考慮了兩種資產的配置，但若能增加配置的資產種類，盡量涵蓋到 所有的金融商品，更能達到風險分散的效果。
‧ Analysts Journal, 61(2), 83-99.
[2] Bellman, R.E. 1957. Dynamic Programming. Princeton University Press, Princeton, NJ. Republished 2003: Dover.
[3] Daryanani, G. (2008). Opportunistic Rebalancing: A New Paradigm for Wealth Managers. Journal of Financial Planning, 21(1).
[4] DeMiguel, V., Garlappi, L., & Uppal, R. (2007). Optimal versus naive diversification: How inefficient is the 1/N portfolio strategy?. The review of Financial studies, 22(5), 1915-1953.
[5] Brinson, G. P., Singer, B. D., & Beebower, G. L. (1991). Determinants of portfolio performance II: An update. Financial Analysts Journal, 47(3), 40-48.
[6] Kaelbling, L. P., Littman, M. L., & Moore, A. W. (1996). Reinforcement learning:
A survey. Journal of artificial intelligence research, 4, 237-285.
[7] Kinga, D., & Adam, J. B. (2015). A method for stochastic optimization.
In International Conference on Learning Representations (ICLR).
[8] Lillicrap, T. P., Hunt, J. J., Pritzel, A., Heess, N., Erez, T., Tassa, Y., Silver, D. &
Wierstra, D. (2015). Continuous control with deep reinforcement learning. arXiv preprint arXiv:1509.02971.
[9] Markowitz, H. (1952). Portfolio selection. The journal of finance, 7(1), 77-91
.[10] Michaud, R. O. (1998). Efficient Asset Management: a practical guide to stock portfolio management and asset allocation. Financial Management Association, Survey and Synthesis Series. HBS Press, Boston, MA.
[11] Michaud, R. O. (1989). The Markowitz optimization enigma: Is
‘optimized’optimal?. Financial Analysts Journal, 45(1), 31-42.
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
37
[12] Mnih, V., Kavukcuoglu, K., Silver, D., Rusu, A. A., Veness, J., Bellemare, M. G.,
Graves, A., Riedmiller, M., Fidjeland, A. K., Ostrovski, G., Petersen, S., Beattie, C., Sadik, A., Antonoglou, L., King, H., Kumaran, D., Wierstra, D., Legg, S., Hassabis, D. & Petersen, S. (2015). Human-level control through deepreinforcement learning. Nature, 518(7540), 529-533.
[13] Perold, A. F., & Sharpe, W. F. (1988). Dynamic strategies for asset allocation. Financial Analysts Journal, 16-27.
[14] Plaxco, L. M., & Arnott, R. D. (2002). Rebalancing a global policy benchmark. The Journal of Portfolio Management, 28(2), 9-22.
[15] Sharpe, W. F. (1966). Mutual fund performance. The Journal of business, 39(1), 119-138.
[16] Sharpe, W. F. (1987). Integrated asset allocation. Financial Analysts Journal, 43(5), 25-32.
[17] Sutton, R. S., & Barto, A. G. (1998). Reinforcement learning: An introduction (Vol. 1, No. 1). Cambridge: MIT press.
[18] Watkins, C. J., & Dayan, P. (1992). Q-learning. Machine learning, 8(3-4),
279-292.
‧
Global Advisors
1993 年 1 月 22 日 2398.3 0.09%
2 iShares Core S&P 500 ETF IVV 美國大型股 S&P 500 BlackRock 2000 年 5 月 15 日 1165.3 0.04%
3 Vanguard Total Stock Market ETF
6 iShares Russell 1000 Growth ETF
IWF 大型成長型 Russell 1000 Growth Index BlackRock 2000 年 5 月 22 日 354.2 0.20%
‧
Global Advisors
1995 年 5 月 4 日 187.7 0.25%
11 iShares Russell 1000 ETF IWB 美國大型股 Russell 1000 Index BlackRock 2000 年 5 月 15 日 185.8 0.15%
12 iShares S&P 500 Growth ETF IVW 大型成長型 S&P 500 Growth Index BlackRock 2000 年 5 月 22 日 179.8 0.18%
13 iShares Russell Midcap ETF IWR 美國中型股 Russell Midcap Index BlackRock 2001 年 7 月 17 日 156.1 0.20%
14 Guggenheim S&P 500 Equal Weight ETF
RSP 美國大型股 S&P 500 Equal Weight Index Guggenheim 2003 年 4 月 24 日 135.5 0.20%
15 iShares S&P 500 Value ETF IVE 大型價值型 S&P 500 Value Index BlackRock 2000 年 5 月 22 日 134.4 0.18%
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
40
編號 名稱 基金
代碼
基金分類 追蹤指數 發行公司 成立日期 基金規模
(億美元)
總開支
比率
16 iShares Core S&P Total U.S.
Stock Market ETF
ITOT 美國整體 股票市場
S&P Total Market Index BlackRock 2004 年 1 月 20 日 100.0 0.03%
17 Vanguard Large-Cap ETF VV 美國大型股 CRSP US Large Cap Index Vanguard 2004 年 1 月 27 日 97.1 0.06%
18 iShares Russell 3000 ETF IWV 美國整體 股票市場
Russell 3000 Index BlackRock 2000 年 5 月 22 日 78.4 0.20%
19 iShares Dow Jones U.S. ETF IYY 美國整體 股票市場
Dow Jones U.S. Index BlackRock 2000 年 6 月 12 日 11.2 0.20%
‧
1 iShares Core U.S. Aggregate Bond ETF
AGG 投資等級債 Bloomberg Barclays U.S.
Aggregate Bond Index
BlackRock 2003 年 9 月 22 日 475.9 0.05%
2 iShares iBoxx $ Investment Grade Corporate Bond ETF
LQD 投資等級
公司債
Markit iBoxx $ Liquid Investment
Grade Index
BlackRock 2002 年 7 月 22 日 361.1 0.15%
3 Vanguard Total Bond Market ETF
BND 投資等級債 Bloomberg Barclays U.S.
Aggregate Float Adjusted Index
Vanguard 2007 年 4 月 3 日 344.7 0.05%
4 iShares TIPS Bond ETF TIP 抗通膨 美國公債
Bloomberg Barclays U.S.
Treasury Inflation Protected
Securities (TIPS) Index (Series-L)
BlackRock 2003 年 12 月 4 日 230.8 0.20%
5 Vanguard Short-Term Bond ETF BSV 短期政府/
投資等級債
Bloomberg Barclays U.S. 1-5
Year Government/Credit Float
Adjusted Index
Vanguard 2007 年 4 月 3 日 219.4 0.07%
‧
6 Vanguard Intermediate-Term Bond ETF
BIV 投資等級
中期債券
Bloomberg Barclays U.S. 5-10
Year Government/Credit Float
Adjusted Index
Vanguard 2007 年 4 月 3 日 137.3 0.07%
7 iShares 1-3 Year Credit Bond ETF
CSJ 投資等級 短期公司債
Bloomberg Barclays U.S. 1-3
Year Credit Bond Index
BlackRock 2007 年 1 月 5 日 118.5 0.20%
8 iShares 1-3 Year Treasury Bond ETF
SHY 美國短期
公債
ICE U.S. Treasury 1-3 Year Bond
Index
BlackRock 2002 年 7 月 22 日 107.8 0.15%
9 iShares MBS ETF MBB 機構房貸
抵押債券
Bloomberg Barclays U.S. MBS
Index
BlackRock 2007 年 3 月 13 日 101.4 0.28%
10 iShares 20+ Year
Treasury Bond ETF
TLT 美國長期
政府公債
ICE U.S. Treasury 20+ Year
Bond Index
BlackRock 2002 年 7 月 22 日 80.5 0.15%
11 iShares 7-10 Year Treasury Bond ETF
IEF 美國中期 公債
ICE U.S. Treasury 7-10 Year
Bond Index
BlackRock 2002 年 7 月 22 日 74.2 0.15%
‧
12 iShares 3-7 Year Treasury Bond ETF
IEI 美國中期 公債
ICE U.S. Treasury 3-7 Year Bond
Index
BlackRock 2007 年 1 月 5 日 73.6 0.15%
13 iShares Intermediate Credit Bond ETF
CIU 投資等級
中期公司債
Bloomberg Barclays U.S.
Intermediate Credit Bond Index
BlackRock 2007 年 1 月 5 日 72.4 0.20%
14 Vanguard Long-Term Bond ETF BLV 投資等級 長期債券
Bloomberg Barclays U.S. Long
Government/Credit Float Adjusted Index
Vanguard 2007 年 4 月 3 日 21.8 0.07%
15 iShares Intermediate Government/Credit Bond ETF
GVI 中期政府/
投資等級債
Bloomberg Barclays U.S Intermediate Government/Credit Bond Index
BlackRock 2007 年 1 月 5 日 18.4 0.20%
‧ 國
立 政 治 大 學
‧
N a tio na
l C h engchi U ni ve rs it y
44