實驗設定

第一節 實驗設定

vDRL的訓練過程全程在伺服器端進行，伺服器使用 Intel 7th i7 處理器、32 GB記憶體，

並且配備NVIDIA GTX 1080 的顯示卡利用 CUDA 加速多層感知機的訓練速度。多層感 知機包含輸入層、全連結隱藏層，以及最後的輸出層，各層之間以線性整流單元 (Rectified Linear Unit, ReLU) 作為激活函數。輸入分別是 𝑠_$ 和 𝑎_$ 總共十個浮點數型態 的輸入（各包含四個表 2所定義的特徵，其中行駛方向以兩個維度表示）、隱藏層為擁 有十六個神經元的全連接層、最後的輸出層為一個浮點數輸出，表示 Q(s_ª, a_ª) ，與第二 層隱藏層以全連接的方式連接（表 3）。

表 3. 多層感知機詳細參數

名稱 輸入 輸出 參數

輸入層 10 16 176

隱藏層 16 16 272

輸出層 16 1 17

總參數 465

在相同的地圖與情境參數下，車輛可以透過設定隨機種子來達到不同的位置以及轉向的 機率。此研究使用了兩種不同的地圖參數（詳見於表 4與圖 14），包括地圖大小、路長、

連線模型、車輛速率、總車輛數、有效無線網路通訊半徑、駕駛行為，以及路由超時；

其中駕駛行為指的是車輛如何在地圖中移動，例如：車輛在直行時是否偏好特定的行駛 速度（偏快、中等、慢速）、車輛面臨十字路口時是否偏好直行或是轉向（包括特定的 轉向方位），以及車輛的細部駕駛行為：計程車是否載客時可能有著明顯不同的駕駛行 為、公車和各種不同目的的車輛也有著細部的駕駛行為差異。隨機的駕駛行為代表著這 些參數被隨機賦值（如轉向機率、直行偏好速度等等）。

表 4. 默認地圖參數設定

變數 地圖 (A) 設定 地圖 (B) 設定

地圖大小 長50 公尺、寬 50 公尺 長250 公尺、寬 250 公尺

路長 12 公尺 30 公尺

連線模型 單位圓 單位圓

車輛速率 每小時40 公里 每小時40 公里

總車輛數 100 100

有效通訊距離 10 公尺 50 公尺

駕駛行為 隨機 隨機

路由超時 20 秒 (200 個時間單位) 20 秒 (200 個時間單位)

圖 14. 實驗地圖設定：左圖為表 3 之地圖 (A) ；右圖為表 3 之地圖 (B) 。右上角藍點為路由起始點，左 下角綠點為路由終點，半透明淺藍色範圍則為有效通訊距離，其餘紅點則為車輛。

訓練時透過設置 500 個不同的隨機種子增加各種車輛可能的出現位置和情況，並且於 100 種不同的配置方式進行測試，另外額外配置 1 個特定隨機種子用於收驗性驗證。為 了避免模擬封包陷入無限迴圈的情況，每當封包傳送100 仍未到達路由終點，則宣告路 由超時而失敗，終止該此模擬，其行為仍然記錄於回放緩衝。所有關於訓練以及測試相 關的參數列於表 5

表 5. vDRL 於訓練與測試的參數設定

變數 訓練階段 測試階段

模擬次數 500 次 100 次

折扣率 𝛄 0.99 N/A

多層感知機批量 (Batch size) 32 N/A 多層感知機訓練圈數 (Epochs) 100 N/A 多層感知機的訓練演算法 Adam (學習率 0.01) N/A

連線模型 單位圓 單位圓、指數衰退

• 平均封包送達成功率 (Averaged Packet Successful Deliver Rate)：

¬-uui,,o-} ®m-$i,

¯m$|} ®m-$i, × 100% (28)

• 平均端點對端點延遲 (Averaged End-to-End Delay)：

∑^R_:<*𝑇𝑖𝑚𝑒_{®m-$i :} (29)

• 平均轉送次數 (Averaged Hop Counts)：

∑^R_:<*𝐻𝑜𝑝 𝐶𝑜𝑢𝑛𝑡𝑠_{®m-$i :} (30)