智慧型道路影像學習系統應用於車輛自動駕駛之實作研究

(1)

智慧型道路影像學習系統應用於車輛自動駕駛之實作研究

李天明

^1*

周建明

²

1

明道大學資訊工程學系助理教授

2

明道大學環境規劃與防災學系副教授

摘要

本研究將傳統之一般電控車經機電整合之特殊設計研改為可完全由電腦自主控制 (Autonomous Control)之無人駕駛載具，再應用類神經網路(ANNs)學習法之多層感知器 (MLP)理論，學習人類真實駕駛之模式來控制車輛之行進方向，達成機器學習及車輛自主控制之研究目標。

為求縮短研發時程及實驗操作之方便性，本研究採用電腦模擬及小型機器人為研究初期測試之工具，先行驗證研究理論之可行性。因此，研究初期之操作測試可完全不受天候之影響，而大幅縮短了控制程式之開發時程，亦降低了無人操控車接受實驗測試之磨耗。

本研究之成果，目前已可成功利用影像處理之技術來判別真實道路之偏向角度，進而讓無人操控車可依據道路之偏向狀況而自動調整行車方向。本研究亦成功運用類神經網路學習法，訓練車輛之視覺辨識學習系統能夠成功學習車輛前方道路之數位影像與轉向系統間之正確驅動關係，而達成車輛可依既定道路自主行駛之目的。

關鍵字：類神經網路(Artificial Neural Networks)、無人操控車(Unmanned Vehicle)、影像處理(Image Processing)、機器學習(Machine Learning)、自主控制(Autonomous Control)

*通訊作者. Tel:04-8876660 ext.1400 Fax:04-8879012

E-mail: lee_tenmin@mdu.edu.tw

(2)

壹、前言

傳統方法之無人操作車輛控制系統，

多以精準控制為主。譬如，使用步進馬達 (Step Motor)、系統內部感知器 (Internal Sensors)如馬達轉軸角度偵測、定位偵測及伺服控制系統來達成精準運動控制 (Precision Motion Control)之目的[Jirawimut 等人，2001 ][ C.Y. Chan，2002]。這類精準型控制系統之研究自有其價值與應用領域；

例如，在生產工廠中，生產線上物件輸送之控制等，均可以此類之控制方法來達成各項應用之目的 [Lopes 等人，2001][顧高

至，2003]。然而，當環境變化之量度遠大

於系統能控制之精度時，這類系統則將不再適用。可惜在人類之生活領域中，不適合這類精準控制系統之場所，比比皆是。

譬如，駕駛教練場之道路寬度、長度、彎度與路況皆不一定等同於實際道路。然而，有智慧且經過訓練之人類合格駕駛，

卻可在多變的真實環境中成功的操作車輛。

因此，使用人工智慧(AI)中之類神經網路學習法(ANNs)，如人類般之控制車輛 (或任何載具)應是值得探討與研究之課題。事實上，以類神經網路學習法來控制輪型機器人或車輛之理論，已有初步實驗成功之基礎，如T. Lee, U. Nehmzow, R.

Hubbold.等人，以自主式行動機器人所作之實驗中，已可令輪型行動機器人 (Mo- bile Robot) 成功地學習沿牆行走，並於學習後可適應於有變化之類似環境中，成功地自主操作 [T. Lee 等人，1998] [T. Lee 等人，1999 ] [Ten-min Lee，2000]。

因此，在上述之觀察分析與研究基礎

下，明道大學積極投注相關之研究經費，

進行無人操控車在校園之既定道路上實施自主運行之實作研究。本研究企圖以最接近人類學習駕駛之方式結合數位視訊影像處理技術 [陳冠雄，2005]，開發一套具備人類學習駕駛能力之轉向控制電腦程式。

因此，使用此轉向控制系統之無人操控車，可先在電腦上進行駕駛訓練，待成功後即可於真實道路上自主地依道路狀況行駛。這正如同人類學會開車上路前，亦須通過駕駛訓練的學習相同。

本項研究若可成功發展至真實之車輛上，其中模擬人類學習之控制理論，未來亦可將之應用於大眾運輸工具上，特別是以無軌道式之大眾運輸工具（如市內公車系統等），這類寄望以電力驅動來大幅降低污染及不需大型固定設施（如軌道等）之大眾運輸工具最為適用。

貳、研究方法：

本研究方法之特性，如：使用低成本之控制硬體、採用最接近人類學習理論所發展之控制軟體及利用輪型機器人來降低實驗成本、縮短研發期程等優點將於本章節分別詳述。

貳、1.採用低成本之電控車

由於人類之駕駛方式係以非精準控制為主，因此本研究使用之無人操控車輛，

不同於傳統上使用的高精度控制電動車

（除外部之環境感知器，如數位影像、

Sonar、IR…等可能相同外）。本實驗採用一般型之直流伺服馬達（非步進馬達）為主要之驅動方式。因此，不需內部定位感知器及精密伺服迴路控制系統。所以，本

(3)

實驗使用之原型車(Prototype)或未來發展成功後之車輛，其成本價格均可大幅降低，更符合實用之價值。明道大學低成本無人電控車於校園實驗之情況如圖一所示。

圖一明道無人操控電動車於校園道路測試之狀況

為能達成使用電腦指令控制轉向與煞車之目的，本研究先將一般之電動車進行轉向系統與煞車系統之研改。

貳、1.1.轉向系統研改

本實驗用之車輛係將一般電控車之方向盤轉向系統經研改後，增加一組直流馬達和特殊設計之齒輪及皮帶機構。透過此研改設計，車輛之轉向即可由電腦主動下達指令，驅動轉向馬達並透過上述之轉向機構而帶動方向盤而達成車輛轉向之目的。研改後之轉向機構設計如圖二所示。

圖二轉向機構研改後加裝馬達與齒輪組

貳、1.2.煞車系統研改

煞車系統之控制係經過研改後，可將一般車輛由人腳來踩踏板之方式，轉為由電腦下達指令來控制直流馬達轉動，並透過特殊設計之偏心輪與彈簧連桿機構，進而壓迫剎車踏板達到車輛剎車之目的。煞車系統研改後之機構如圖三所示。

圖三煞車踏板加裝電控馬達與凸輪

貳、2.使用類神經網路學習法(ANNs) 本專案之研究方法將要以最接近人類學習與思考模式之電腦程式演算法 ──

類神經網路學習法(ANNs)之理論，實際應用於上述以電腦控制之無人駕駛車輛上。

研究之方法將著重以 ANNs 來建構電控車上之環境感知器(如 IR、Sonar、Radar、

影像…等)與驅動器(如控制轉向之馬達) 之間的正確輸入與輸出之關係。藉由學習之方式，使 ANNs 能成功地利用環境感知器之數據為輸入資料，馬達之正確控制訊號為輸出之學習目標，藉由不斷調整 ANNs 系統內之比重(Weight)值，達到成功反應馬達之正確控制訊號。如此，則可如有智慧之人類一般，在不同之環境狀況中仍能

(4)

有效地成功控制車輛。以類神經網路學習法來控制無人操控車之功能架構，如圖四。

圖四運用類神經網路學習法(ANNs)控制車輛示意圖

環境感知訊號之輸入，本研究首先實驗採用道路數位影像作為路況辨識學習系統之輸入，而直行、向左、向右三種轉向之反應設為類神經網路學習系統之輸出。

本研究採用 48-20-2 之三層類神經網路架構，共計1920 個神經節點，如圖五所示。

程式之學習法係使用錯誤倒傳遞演算法 (Error-Back Propagation Algorithm)。

圖五 48-20-2 三層類神經網路架構

輸入層之四十八個節點係將 320x240 畫素(pixels) 之數位影像經多次區域化處理後之二位元輸入，本研究之影像處理詳見 [曾昭智，2007]。

貳、3.以小型機器人為模擬工具

在開發控制電腦程式之初期，採用小

型之行動機器人(輪型)為模擬電腦程式是否成功之工具。如此，將可縮短研發時程並能降低實驗耗材之成本。圖六所示為實驗中用於模擬無人操控車之一的工研院 Ubot 機器人。

圖六用來模擬無人操控車之工研院小型機器人

參、研究成果：

本研究目前初步達成之成果計有：智慧型道路視覺辨識系統、無人駕駛自動轉向系統、路況辨識學習系統等三項，其實驗結果分別以圖七至圖十五於下列章節中說明。

參、1.智慧型道路視覺辨識系統參、1.1.有標線道路之辨識

圖七顯示，智慧型道路視覺辨識系統成功地判別模擬道路之線條角度為向右 22 度，圖八與圖九說明本系統亦能成功判別真實道路中有標線彎曲線條之傾向角度，分別為向右11 度及向左 22 度。

(5)

圖七數位影像處理程式成功判別模擬道路線條之角度為向右22 度(右:＋，

左:－)

圖八成功判別真實道路中，標線線條右彎之角度

(6)

圖九判別真實道路中，標線線條左彎之角度向左22 度

參、1.2.無標線道路之辨識

本研究所使用之方法除可於道路標線明顯之路況下操作外，對於道路標線不明顯甚至無標線之路況亦能有效辨識道路彎曲之傾向狀況。圖十至圖十二分別說明上述情況下之實驗結果。

圖十成功判別無標線真實道路之偏向角度為向左39 度(無標線但有清晰之道路邊緣)。

(7)

圖十一在無標線且道路邊界不明之路況下，仍可成功判別真實道路之偏向為向左。

圖十二在雜草完全掩蓋道路邊界之路況下，仍可成功判別道路之偏向為向左16 度。

參、2.視覺辨識自主轉向

明道大學研發團隊所開發之無人車轉向操控系統，已可利用低成本之數位攝影機(CMOS)，藉由道路視覺辨識系統成功判斷車輛前方路況之偏向情形，進而由電腦主動下達指令，透過轉向機構來轉動方向盤而達成車輛之前輪可依據路況而自主轉向之目標。圖十三說明本研究專案所發展之智慧型轉向控制系統，可經由通用之數位影像設備來辨識模擬道路標線之偏向狀況並正確地驅動前輪轉向之實況。

(8)

圖十三無人操控車成功依據數位攝影機之影像達成自動轉向之控制(上:

直行，下:右轉) 參、3.路況辨識學習系統

本系統所發展之路況學習系統，係藉由人類學習駕駛之模式進行路況辨識學習訓練。以圖五所示之三層類神經網路架構為學習機制，使用圖十四所列之五十張道路影像為輸入資料，及其所示“向左”、

“向右”或“直行”等對應轉向動作為學

習之目標。本系統經由學習後能成功判斷圖十五所示，二十種車輛前方相似但不相同路況之偏向情形。此項實驗結果，驗證機器可像真實人類一樣，在駕駛教練場學會駕車後，具備於一般通用道路上行駛之能力。因為一般的道路與教練場內之路況，相似但不盡相同。

圖十四顯示，類神經網路學習系統作為標準輸入與輸出之五十組訓練資料。圖十五顯示，作為測試用之二十組資料與訓練組資料「相似但不盡相同」。本實驗結果顯示路況學習系統經訓練後，對測試資料之反應轉向動作(向左、向右或直行)，成功率達百分之百。

(9)

Picture 1:直行 Picture 2:向右 Picture 3:向右

Picture 4:向左 Picture 5:向左 Picture 6:直行

Picture 7:向左 Picture 8:向左 Picture 9:向右

Picture 10:向右 Picture 11:向左 Picture 12:向左

Picture 13:向右 Picture 14:向左 Picture 15:向左

Picture 16:向右 Picture 17:向右 Picture 18:向右

Picture 19:向左 Picture 20:向右 Picture 21:向右

(10)

Picture 22:向左 Picture 23:直行 Picture 24:向右

Picture 25:向右 Picture 26:向右 Picture 27:向左

Picture 34:向左 Picture 35:向左 Picture 36:向左

(11)

Picture 43:向左 Picture 44:向右 Picture 45:向左

Picture 46:直行 Picture 47:向右 Picture 48:向右

Picture 49:向左 Picture 50:向左

圖十四訓練資料組共有五十種不同之真實路況

Picture 1:直行 Picture 2:向左 Picture 3:向左

(12)

Picture 16:直行 Picture 17:向右 Picture 18:向左

Picture 19:向右 Picture 20:向右

圖十五測試資料組包含二十種不同於訓練資料組之真實路況

肆、結論

明道大學無人操控車之實作研究，想要挑戰的是以人類學習之方式來教導機器，學習自主式之控制能力，而非傳統上以精準控制為主的系統控制模式。因為我們深信，唯有以人類學習之自然模式，才能夠成功教導機器學習，而且依據這種學習模式所建立之控制系統，方能夠具備人類之智慧而能成功地在真實且多變的環境中操作。而這樣的目標，至今仍是傳統上以精準控制模式為主之自動控制系統一直無法突破之困境。

明道大學之研究團隊，現今發展之車輛自動轉向系統，已可成功透過類似人類神經網路學習之方式，學習到數位影像中道路之偏向情形，再依此方向控制轉向馬達，進而令車輛依據道路狀況自主地轉向。

下階段之研究目標將要執行無人操控車輛除能依既定道路行駛外，亦能學習自主閃避障礙物等具備人類智慧之行為。

伍、參考文獻

陳冠雄，道路及行車狀況偵測之單眼電腦視覺技術研究。碩士論文，國立中央大學資訊工程研究所，2005。

曾昭智，應用類神經網路建構無人操控車之視覺感知轉向系統，碩士論文，明道大學企管研究所(資管組)，2007。

顧高至，智慧型多功能自走車之研發。碩士論文，國立成功大學工程科學研究所，2003。

C.Y. Chan, Magnetic sensing as a position reference system for ground vehicle control, IEEE Trans. on Instrumenta- tion and Measurement, vol. 51 issue 1,

(13)

pp. 43-52, Feb. 2002.

Jirawimut,R. Ptasinski.P. Garaj.V. Cecelja F.

Balachandran W., A Method for Dead Reckoning Paramter Correction in Pe- destrian Navigation System, in Pro- ceedings of the 18^th Instrumentation and Measurement Technology Confer- ence IEEE, Volume 3, p.1554~1558, IMTC 2001.

E.P. Lopes, E.P.L. Aude, J.T.C. Silveira, H.

Serdeira and M.F. Martins, Application of a blind person strategy for obstacle avoidance with the use of potential fields, IEEE International Conf. Ro- botics and Automation, vol. 3, pp.2911-2916, May 2001.

T. Lee, U. Nehmzow, R. Hubbold. Mobile

Robot Simulation by Means of Ac- quired Neural Network Models. In Proc.

ESM'98,12th European Simulation Multi-conference, pp.465-469, ISBN 1-56555-148-6, 1998.

T. Lee, U. Nehmzow, R. Hubbold. Computer Simulation of Learning Experiments With Autonomous Mobile Robots. In Proc. TIMR'99, 1999. Published in Technical Report Series, UMCS-99-3-1, Computer Science Dept., Manchester Univ., ISSN 1361-6161, 1999.

Ten-min Lee. A New Approach to Mobile Robot Simulation by Means of Ac- quired Neural Network Models. Ph.D.

Thesis, Computer Science Dept., Man- chester Univ., U.K., 2000.

(14)

StreThe Application of Artificial Neural Networks on Vision-Based Steering System for Unmanned Ground

Vehicles

Ten-min Lee

^1*

Chien-ming Chou

²

1

Assistant Professor of Department of Computer Science &

Information Engineering, MingDao University

2

Associate Professor of Department of Environment &

Disaster Management, MingDao University

Abstract

This paper describes an integrated technique to transform a normal electrical automobile to an autonomous controlled vehicle. In order to demonstrate the possibility of machine learning in the application of unmanned ground vehicles，a multi-layer perceptron (MLP) using the theory of artificial neural network (ANN) was implemented to learn the driving pattern from human be- ings.

In the initial stage of this research, a four-wheel robot was used as the simulation tool to prove the algorithm of control programs. As robot experiments can reduce the worn-out and are beyond constrains of weather condition, therefore the time and cost were saved in this research.

The results of this research showed that the unmanned vehicle can autonomously control its moving directions according to the road image ahead through our image processing system. The results also demonstrated that the MLP can successfully learn the relationship between the road images and the steering signals.

Keywords：Artificial Neural Networks、Unmanned Vehicle、Image Processing、Machine Learning、Autonomous Control

智慧型道路影像學習系統 應用於車輛自動駕駛之實作研究