本章節主要論述本論文的研究背景與動機、研究目的與方法,並大略說明各 章節的主要內容與重要特性。
第一節 研究背景與動機
在 2014 年全球第一台情感機器人”Pepper”被正式發表,Pepper 以服務型 機器人的姿態進入人類的世界,它可以從臉部視覺或語音聽覺等方面分析進而辨 識人類的情緒,這項發表為人工智慧領域的發展立下里程碑。
人工智慧(Artificial Intelligence; AI)是人類在科技發展一直期望能突破的領 域,自計算機的發明,人類便試圖讓它擁有類似人類的智能,早期受限於硬體設 備,人工智慧的方向也受到侷限,僅能解決有限的數學邏輯而在實務應用難以實 現。到 20 世紀,硬體進步到擁有更強的運算能力加上儲存成本下降,使大量的 數據得以做分析處理,如此的硬體發展支持了人工智慧領域分支—機器學習
(Machine Learning; ML)的興起,它是一門結合統計學、機率論等多項學論的 領域,而機器學習領域有許多演算理論,深度學習(Deep Learning; DL)便是近 正引爆深度學習關注熱潮另有其因,2012 年 Geoffrey Hinton 的學生在 ImageNet
比賽以深度學習+NVIDIA GPU 設計的 AlexNet 大勝全場,終於讓深度學習成為
在深度學習中,目前最為熱門的網路模型為摺積類神經網路 Convolution Neural Network; CNN),相較於其他神經網路模型更善於做局部特徵分析,摺積 類神經網路由多個摺積層、採樣層和全連接層組成,因為特有的權重共享機制,
摺積類神經網路運用的訓練參數更少,比其他神經網路模型更適合實作於硬體,
然而摺積類神經網路主要缺點是需要大量的浮點數乘法與加法運算,以及權重佔 據硬體的資源,造成硬體實作上的困難,從而研究了二元化神經網路(Binarized Neural Network; BNN)之理論來改善摺積類神經網路的缺點,使得 CNN 更容易實 作於硬體。
第二節 研究目的與方法
本 論 文 研 究 主 要 目 的 為 設 計 一 個 現 場 可 程 式 化 邏 輯 閘 陣 列 (Field Programmable Gate Array; FPGA)之硬體架構用來快速辨識全彩圖像,此架構採用 AlexNet 摺積神經網路模型搭配二元化神經網路(Binarized Neural Network; BNN) 技術來實現全彩圖像的辨識,而辨識的數據資料採用 CIFAR10 資料庫。
完整神經網路模型必須經過訓練階段才具有辨識資料的能力,在訓練階段採 用 Torch7 之機器學習框架,利用 Torch7 對神經網路模型內部參數權重與偏移值 作訓練,訓練階段會使用到向前傳遞(Froward propagation)與向後傳遞(Back propagation)修正參數至最佳化,辨識階段則運用 Torch7 訓練好的參數作向前傳 遞即可得到辨識結果,本論文將以硬體實作辨識階段。
研究所使用辨識數據資料為 Alex Krizhevsky, Vinod Nair, and Geoffrey Hinton 收集整理之 The Canadian Institute for Advanced Research 10 (CIFAR10)資料庫 [1],
CIFAR10 包含十個分類 32*32 Pixel RGB 的圖像,每類各有五千張訓練資料,共 有五萬張訓練資料,測試資料各有一千張,共有一萬張測試資料。
本論文所選擇的摺積神經網路模型為 AlexNet,在圖像辨識模型的選擇過程,
首要考量選用的資料集特性,CIFAR10 的圖像為全彩且圖像資訊除了物件本身 外還包含複雜的背景,LeNet-5 網路模型雖然架構簡單,但僅能辨識資訊單純的 圖像,對背景複雜的 CIFAR10 辨識能力有限,VGGNet 為辨識能力強的網路模 型,然而 VGGNet 過於龐大的網路架構並不適合實作於硬體,AlexNet 為多方考 量下較適合實作於硬體的網路模型架構。
二元化神經網路技術 [2]利用相關演算法將權重、輸出結果等轉為二進制儲 存,而 CNN 中的單經度浮點數運算皆可轉為簡單的 XNOR、加法位元運算,若
在 FPGA 上實現便能大幅降低硬體電路的資源消耗,在分析 AlexNet 模型實作於 硬體時,單就權重而論所佔用到的資源約為 38MByte,雖然就現在記憶體容量 38MByte 其實也算不上負擔,但若是將它儲存於 embedded memory 再載入主記 憶體後 CPU 運算,如此的存取過程所消耗運算時間便會拖垮整個系統的效率,
若將舊有的 CNN 架構改為 BNN 實現,在權重的資源消耗估計只需要 1.18MByte,
整整降低約 32 倍,雖然與單經度浮點數結果有些微誤差,但仍在容忍範圍內,
整體而言是優化硬體電路設計的結果。
本論文使用 Altera 公司所提供的軟體─Altera Quartus II 作為硬體開發的工 具,Altera Quartus II 可以進行電路資源消耗、功率消耗、系統運算時間等多項效 能的量測,另外使用 ModelSim 來模擬電路實際運作波形以檢視運作功能,並確 保硬體電路設計結果的可信度以及本論文的正確性。
第三節 全文架構
本論文分為五個章節,以下為各章節內容概要:
第一章 緒論
研究背景與動機、研究目的與方法及全文架構之說明。