如何實際應用模糊增強式學習

從本研究得知，模糊增強式學習確實是可以應用在坦克類型遊戲之中，但是數位遊 戲有很多類型，在不同的遊戲類型可能會有不同的應用情形。

1.

例如在第一人稱射擊遊戲中就可以本研究所做的路徑搜尋功能，第一人稱射擊遊戲 中的 NPCs 跟坦克對戰類型遊戲有異曲同工之妙，NPCs 都需要知道去避開危險，找到 一條安全且可以擊敗的玩家的路徑，不同的是第一人稱射擊遊戲通常會更複雜，會有更 多因素來影響NPCs 的決定，例如與玩家的距離、武器的不同、是否要與玩家硬碰硬等 等，要將更多的因素加入路線危險程度的考慮，但是同樣的是可以讓模糊增強式學習成 為NPCs 選擇路徑的一個依據，讓 NPCs 有更具人性化的行動表現。

2.

如果是以目前最熱門的線上角色扮演類型的遊戲，或許可以將模糊增強式學習技 術應用在敵方NPCs 的出招模式上，在此類型的遊戲中，最吸引玩家的過程通常是集合 許多玩家一起去打敗強大的敵方頭目(NPCs)來取得稀有的物品獎勵，而不同的 NPCs 可 能就會有不一樣的行為模式，雖然同樣的一個 NPC 可能會有許多不同的行為，但是不 同的行為通常會是隨機產生的，因此玩家在玩過幾次後通常會知道 NPC 會有哪幾種行 為，該如何避開NPC 的招式，所以玩過幾次後打頭目 NPC 的過程就變成有固定的模式 且不斷重複的無趣過程，遊戲公司也必須要一直出更多不同的場景與不同的NPCs 來因 應玩家的需求，因此如果能讓NPCs 都具有模糊增強式學習的人工智慧，讓 NPCs 可以 學習到玩家的行為，進而選擇不同的行為模式，就可以讓遊戲變得更有趣，延長遊戲的 壽命。

45

3.

以即時戰略類型遊戲而言，模糊增強式學習可以應用在 NPC 的出兵選擇上，在 此類型的遊戲中，兵種的相剋是取得勝利的一個重要因素，但是玩家常會異想天開的發 展出許多不同的兵種來做搔擾戰術，如果要用規則基礎方法來做NPCs 人工智慧技術的 話，可能需要很非龐大的程式碼才能達到目標，而且這類型的遊戲會不斷的更新以求平 衡，如此一來各個兵種在不同的版本可能會有不一樣的功能，但NPCs 卻不會像人類玩 家一樣用經驗去學習在不同版本情形下的玩法，如果有增強式學習的技術，也就可以不 需要重新寫NPCs 的人工智慧程式碼，而是直接讓 NPCs 去學習玩家的玩法，並且做出 相對應的兵種來剋制玩家的玩法，如此一來就可以讓遊戲更具挑戰且有趣。

4.

在回合式戰略類型遊戲中，通常玩家會挑戰同樣的一個局面很多次，想出不同的戰 略來打贏電腦，就像是下一盤棋一樣，因此，這類型遊戲的流程非常適用增強式學習技 術，如果可以讓NPCs 學習到移動不同的棋子(或遊戲中電腦所控制的兵力)時，玩家會 有怎樣不同的反應，並且瞭解到玩家曾出現過的怪招，就可以加強難度，並且讓玩家更 具挑戰，畢竟這類型的遊戲就是要讓玩家不斷的嘗試不同的戰略去取得勝利，因此增強 式學習會非常適用。

5.

除此之外，還可以應用在許多不同種類的遊戲之中，但是最主要的應用在於當 NPCs 要選擇如何應對玩家的行為時，如以上所提到的 NPCs 要選擇不同的路徑避開玩 家，或是選擇不同的招式來打敗玩家等等，這也就是玩家想要遊戲中NPCs 具有人工智 慧技術的一大原因，只要NPCs 應對玩家行為可以更人性化且聰明，那就會讓玩家覺得 自己並不是在跟單調的電腦玩，而是一個會思考的機器，如此一來就可以增加遊戲的耐 玩性與樂趣。

46

雖然增強式學習技術可以應用在許多不同類型的的遊戲中，但仍然有許多不合適 的類型，像是：

6.

在運動遊戲類型中，大部份的NPCs 行為模式都非常複雜，而且常常不只有一兩個 行為目標，同時運動遊戲類型的玩家常常是兩個人以上，在此種情形下，要應用增強式 學習技術可能會非常的困難，除了要有更複雜的演算法之外，還不一定可以有很好的效 率，如果要應用增強式學習技術的話，可能就要限制許多的條件。

7.

增強式學習技術在動作遊戲類型中會非常的不適用，如同運動遊戲類型一樣，動 作遊戲類型有太複雜的行為模式，且這類型的遊戲的NPCs 並不需要太聰明或是複雜 的行為，通常只需要幾種簡單的行為，讓玩家在玩的過程中知道如何擊敗，並因此取 得快感，如果NPCs 具有太強大的學習能力，會讓遊戲變得太過複雜與困難，反而失 去樂趣。

47

4.8 本章小結

從本章對於模糊增強式學習的一個前導實驗中可以看出以下幾點：

I. 模糊增強式學習的一個實作中可以看出，增強式學習確實可以讓 NPC 坦克在 一段時間內找到一條正確的路線，

II. 用模糊獎懲機制去取代固定獎懲機制可以提高增強式學習的效率，

III. 另外，模糊隸屬函數的選擇可以改變 NPCs 的學習模式，但是並無規律可尋，

在不同的遊戲環境下可能需要不同的隸屬函數來改變NPCs 的行為模式。

此外，本研究也實際的做出了一個坦克對戰的遊戲，在遊戲中的 NPC 坦克具有模 糊增強式學習的能力，NPC 坦克依據不同環境(障礙物與玩家行為)下做出不同的反應，

讓玩家覺得 NPC 坦克是具有智慧的。從實驗中就可以看出模糊增強式學習確實可應用 在數位遊戲之上，並且也可以有很好的效率。

48

第5章 結論

本章將對本研究所獲得之結果進行總結與討論，從前導實驗中可以看出增強式學 習的效果，以及模糊理論提高效率的成果，實驗的結果也證明了本研究的研究假設，以 下各節將依序對於本研究做一個整體的結論，以及探討如何應用模糊增強式學習在不同 類型的遊戲之中，最後是本研究的各種限制與未來可以發展的研究議題。