• 沒有找到結果。

結論與未來展望

在未來可改進的部分,首先是高階控制器可以嘗試使用更強韌的方式預測目 標狀態。本次實驗使用的 KNN 方法的問題是當模仿的對象車禍頻繁時,高階控 制器會連帶模仿到車禍前狀態。在本次研究中為了處理這個問題而對模仿方法和 控制器作了限制,實際上可能可以透過更優秀的高階控制器解決問題。此外,單 純改進指令結合器可能也有助於解決上述問題。目前指令結合器透過穩健且直觀 的方法整合了二種控制器的輸出,如果可以作到更精確的判斷當前狀態適用的整 合方法,除了可以降低車禍的出現頻率,對於目前方法在連續彎道中較弱的規劃 能力也可能有幫助。

在以人類玩家為分析及模仿對象時,駕駛資料中的異常狀態過濾機制也有很 大的改進空間。目前的方法是將賽車處於賽道外和倒車時的駕駛資料濾掉。以實 際情況來說,賽車在確實發生車禍前可能就已經處在超速狀態,而且這段期間人 類玩家可能進行的是危機處理的操作,使得個人風格不容易表現出來。這些不利 於分析及模仿的駕駛資料可能會在賽道中產生而不會被目前的過濾機制去除。此 外,車禍發生後會有一段回復到正常駕駛狀態的操作。這樣的操作可能會由於速 度較低而影響到訓練出的 NPC 的速度表現。如果可以作到自動的辨識出這類異 常狀態,駕駛風格的分析和模仿應該可以有更好的結果。

在本論文中,玩家在賽道中的駕駛行為被假定為在各個時間點中都是彼此獨 立的。在未來的發展上,可能可以對於多個時間點中行為的相關性進行分析,以 處理更複雜的風格分析及模仿問題。

參考文獻

[1] D. Loiacono, A. Prete, P. L. Lanzi, L. Cardamone,“Learning to Overtake in TORCS Using Simple Reinforcement Learning,” In 2010 IEEE Congress on Evolutionary Computation (CEC), 2010, pp. 1-8

[2] D. Perez, G. Recio, Y. Saez,“Evolving a Fuzzy Controller for a Car Racing

Competition,” in Proc. IEEE Symposium on Computational Intelligence and Games, 2009, pp. 263 – 270

[3] E. Onieva, D. A. Pelta, V. Milanés, J. Pérez, “A fuzzy-rule-based driving architecture for non-player characters in a car racing game,” Soft Computing - A

Fusion of Foundations, Methodologies and Applications vol. 15, no. 8, pp. 1617-1629,

2011

[4] J. Muñoz, G. Gutierrez, A. Sanchis, “A human-like TORCS controller for the simulated car racing championship,” in Proc. IEEE Symposium on Computational Intelligence and Games, 2010, 473 –480

[5] J. Muñoz, G. Gutierrez, A. Sanchis, “Controller for TORCS created by imitation,”

in Proc. IEEE Symposium on Computational Intelligence and Games, 2009, pp. 271 – 278

[6] J. Quadflieg, M. Preuss, O. Kramer, G. Rudolph,“Learning the Track and Planning Ahead in a Car Racing Controller,”in Proc. IEEE Symposium on Computational Intelligence and Games, 2010, pp. 395 – 402

[7] L. Cardamone, D. Loiacono and P. L. Lanzi,“Applying Cooperative Coevolution to Compete in the 2009 TORCS Endurance World Championship,”In 2010 IEEE Congress on Evolutionary Computation (CEC), 2010, pp.1 – 8

[8] L. Cardamone, D. Loiacono, P. L. Lanzi,“Evolving Competitive Car Controllers

for Racing Games with Neuroevolution,” in Proc. the 11th Annual conference on Genetic and evolutionary computation,2009, pp. 1179-1186

[9] L. Cardamone, D. Loiacono and P. L. Lanzi, “Learning drivers for TORCS through imitation using supervised methods,” in Proc. IEEE Symposium on Computational Intelligence and Games, 2009, pp. 148-155

[10] M. Ebner and T. Tiede,“Evolving Driving Controllers using Genetic

Programming,”in Proc. IEEE Symposium on Computational Intelligence and Games, 2009, pp. 279 – 286

[11] N. van Hoorn, J. Togelius, D. Wierstra and J. Schmidhuber,“Robust player imitation using multiobjective evolution,” In IEEE Congress on Evolutionary Computation, 2009, pp.652-659

[12] 林俞丞,“使用近似的高階資訊於基於模糊邏輯的 TORCS 模擬器車控制器之 研究,”碩士論文, 國立交通大學, 2011

[13] http://en.wikipedia.org/wiki/K-d_tree

[14]http://www.mathworks.com/matlabcentral/fileexchange/31166-ngpm-a-nsga-ii-pr ogram-in-matlab-v1-4

相關文件