1.1
研究目的在這個電子娛樂越來越發達的時代裡，不論是掌上型娛樂器或是大型機台直 到電腦，都有大量的電子遊戲產品。而近年來的智慧型手機與平板電腦的崛起，
也讓觸控操作成為了目前開發遊戲時多數開發者會考慮的操作模式之一。而在這 些遊戲底下，又可以細分成許多不同的遊戲類型，包括角色扮演類、競技類等等。
每種遊戲都有一定的支持者，想玩哪些遊戲端看玩家本身的喜好而定。
而在這篇論文中，成為主軸的遊戲類型即是競技類遊戲。這類型的遊戲在開 始時就會讓玩家擁有一個屬於自己的角色，可能還可以跟不同玩家組隊，並在一 個由遊戲設計者事先訂定好的規則底下，以自己的操縱技巧或戰術應用與對手競 爭並想辦法取得勝利。這類型遊戲中，有許多是以體育運動項目為主，甚至還有 體感操控方式可以幫助玩家更容易融入遊戲。而在競技遊戲中，最重要的一個要 素就是對手。相信沒有人在比賽的時候是在一個沒有對手的環境下孤單地進行一 項賽事的，若沒有對手，就不構成比賽的要件。對手的來源，在現今的遊戲中有 很多都是經由網路連線將世界各地的玩家當作對手，可以同時與許多玩家一同競 爭，並依據自己的實力在玩家排行榜上佔有一席之地也是一件很令人開心的事。
雖然可以跟各地的玩家一同進行遊戲是一件很開心的事情，但若是一開始信 心不足，想先多做練習，卻又覺得只有自己一個人練習很無趣時，最好的幫手就 是以遊戲中常常會有的電腦 AI 當作對手。這些由電腦 AI 控制的角色，我們統稱 為 NPC （Non-player character），因為是由電腦控制，所以在行為上會偏向死板，
所以若是玩家可以仔細觀察 NPC 的動作，並想出應對方式，就容易在對 NPC 的 比賽中取得勝利。
電腦 AI 的強弱程度和遊戲的類型有關，如果一個遊戲規則較多且有一個最 佳演算法的情況下，電腦方是具有相當優勢的。但若遊戲中規則較不嚴謹，則人
類玩家可能在不違反遊戲規則的情況下做出一個較複雜的動作，而這些動作如果 當初設計電腦 AI 的程式設計者沒有想到，這就會成為 AI 的死角。為了能夠解決 這種問題，所衍生出來的研究就叫做「Human imitation」，通常會使用到演化計 算與學習演算法等等的學問，目的就是為了能讓電腦 AI 持續的學習到人類玩家 或是比自己更強的電腦 AI 的習性與對應動作。
這篇論文的研究目的是想要研究如何改進賽車遊戲中的超車與阻擋的技巧。
在這裡我們使用的遊戲平台是 TORCS（The Open Racing Car Simulator）。這個遊 戲平台是一款開放原始碼的擬真賽車遊戲，遊戲當中很多賽車的參數都是參考真 實世界中的情況來設定，連賽道也有很多是實際存在的比賽軌道。而 TORCS 也 被很多研討會拿來當作指定的競賽平台，而這裡的競賽基本上是以 AI 與 AI 之間 的比賽為主。在 TORCS 出現之前，很多相關研究的設定，不論是賽車參數或是 賽道，都是由作者自己定義，而沒有一個統一的標準。所以研究成果之間不容易 比較或實作。因為 TORCS 的出現，讓在這個領域中有研究熱忱的人擁有了一個 可以互相比較的平台。而在 TORCS 底下廣大的研究範圍中，我們選擇了超車與 阻擋行為作為這篇論文的研究主題，目的就是為了能夠讓賽車 AI 能夠有更像人 類的駕駛行為。過去許多比賽中的 AI 即使有超車的行為，卻不會像現實比賽中，
車手為了保持自己有利的地位而去阻擋後方來車的路徑。一般電腦 AI 都是以跑 單圈賽道的時間表現作為評鑑的標準，但在現實的比賽中，若能保持自己有利的 地位不受別人威脅，時常會出現一些更具侵略性的策略。所以我們選擇了研究如 何產生更具侵略性的超車與阻擋行為作為主題。
而研究超車行為的論文雖然不多，但在本篇論文中要拿來比較的是“Learning to Overtake in TORCS Using Simple Reinforcement Learning,” 這篇由 D. Loiacono, A. Prete, P. L. Lanzi 及 L. Cardamone 等人所完成的論文。我們這裡的研究與其不 同的地方是，在這篇參考論文中拿來作為被超車者的車輛皆是以一定速度開在直 線跑道上且不具阻擋行為，研究主軸也只以研究後車的超車行為為主。
也將學習演算法使用在駕駛 AI 的阻擋行為學習上。更進一步改變賽道的環境，
包括不同的彎道曲率半徑及賽道長度，並利用這些具有變化的賽道讓駕駛 AI 去 學習超車與阻擋行為，而不再只是單純學習在直線上的超車行為。最後利用 TORCS 內建的賽道進行學習與測試，希望可以看到學習過後的超車與阻擋行為 是如何在實際賽道上有所發揮。
1.2
論文架構本篇的第二章節首先介紹 TORCS 的環境架構，接著敘述與 Human imitation 及超車行為學習的相關文獻，第三章開始則是本篇論文進行實驗時所使用的各種 方法與實驗時的環境條件介紹，第四章為統計結果的展示，第五章是總結本篇的 結論以及未來展望。