不同車輛密度的路由表現

圖 21. 不同連線模型的平均所需轉送節點數

從圖 20 與圖 21 中大致可以歸納出幾個觀察： 1) 指數衰退的連線模型幾乎會造成更多 的延遲，與所需的路由節點數。除了使用SARSA 訓練的 vDRL 在^{圖 21}的指數衰退模型 下比起單位圓使用了更少的節點，其餘觀察的路由協定其所需節點數皆上升； 2) 透過 Q-Learning 所訓練的 vDRL 路由策略在這個實驗中的表現略遜於以 SARSA 訓練出的策 略。圖 20單位圓的實驗結果中，雖然 Q-Learning 所訓練的策略擁有相對最低的端點延 遲，其所需的路由節點數卻最高。從數學式 (18) 以及 (19) 與該節的討論可以猜測，

Q-Learning 比起 SARSA 所使用的路由策略更傾向於高風險的策略，其所選的節點為下 一時刻可能帶來最高報酬的選擇；而SARSA 總是從過去的經驗中學習，選擇較為保守。

4.3.2 不同車輛密度的路由表現

這個實驗比較了不同的車輛密度下，GPSR 以及 vDRL 路由策略的不同表現。我們預期 當車輛密度低的情況時，可供封包轉送的機會較少，路由協定需要果斷且聰明的選擇是 否轉送封包，否則接下來地一段時間內可能將沒有任何的車輛在周遭可幫助轉送，而更 大機率地造成路由超時。圖 22比較了不同車輛密度下的平均送達成功率：

圖 22. 不同車輛密度的平均送達成功率

圖 22的結果呈現出當車輛密度降低時，平均封包送達成功率也隨之降低。vDRL 在不同 的車輛密度時，仍相較於GPSR 擁有較高的路由成功率，而其中透過 SARSA 訓練的路 由策略仍稍加優於Q-Learning。接著比較平均端點對端點延遲以及平均所需的路由節點 數，平均延遲中的紅色虛線同樣代表著全域最佳解，僅列為參考：

圖 23. 不同車輛密度的平均端點對端點延遲

圖 24. 不同車輛密度的平均所需轉送節點數

圖 23和圖 24 顯示了當車輛密度降低時，端點與端點延遲劇烈上升。由於車輛可轉送的 機會跟著降低，大多時候封包被迫隨著車輛移動，然而車輛的移動速度相較於封包的傳 遞速度相對緩慢許多，因而造成嚴重的延遲；圖 24 顯示平均轉送所需的節點數，可以 發現當車輛密度降低時，所需的轉送節點數沒有大量的變化，但仍隨車輛密度降低而有 減少趨勢，這可能是因於車輛密度的變化在這個實驗中只影響了周遭車輛的出現機率，

而較少的周遭車輛可供轉送封包，也意味著轉送次數較少，造成所需轉送節點數的下 降。

從實驗中可以注意到透過 Q-Learning 所訓練的策略，其所需的轉送節點數相較於 其他兩個路由策略還要來得高出許多，這是因為 Q-Learning 使用較為冒險的方式進行 路由（與 4.3.1 節的觀察一致），因此當有機會轉送封包時，Q-Learning 會盡量嘗試轉 送，若在轉送後立即陷入區域最佳解，則可能會退回原來的節點，產生大量的節點傳遞 過程。整體來說，以SARSA 所訓練出的路由策略擁有最高的成功率、最低的端點對端 點延遲以及最低的所需轉送節點。