第五章 實驗數據及分析
5.2 軟體手勢辨識結果
本章節的實驗結果為檢驗tanh 活化函數的簡化後的辨識率，實驗結果分為
單一手勢辨識，如表5.2-1 所示，與連續手勢辨識，如表 5.2- 2、表 5.2- 3 所示，
因此針對不同的手勢採集不同的受試資料來驗證活化函數簡化的可行性。在 Keras 演算法驗證階段 sigmoid 函數已使用 hard sigmoid，到了硬體電路設計的階 段為了降低電路消耗，盡可能的避免Exponential Function 的計算，因此將 tanh 也轉化成hard tanh。
本論文目前辨識的手勢分為六種，如圖5.2-1 所示:
手勢1 手勢2 手勢3
手勢4 手勢5 手勢6
圖5.2- 1 手勢示意圖
38
為了確定手勢的品質，本論文使用Matlab2017b 將各種手勢的資料圖型化，
歸納並記錄出六種手勢陀螺儀與加速器所產生六個數值的軌跡，未來在判斷收集 資料的品質時，以此為參考。如下圖5.2-2 所示，上方波形圖為加速器數值圖型 化，下方波形圖為陀螺儀數值圖型化。
圖5.2- 2 手勢 1 波形圖
圖5.2- 3 手勢 2 波形圖
結論
圖5.2- 4 手勢 3 波形圖
圖5.2- 5 手勢 4 波形圖
40
圖5.2- 6 手勢 5 波形圖
圖5.2- 7 手勢 6 波形圖
結論
單一手勢: 各手勢數量 100 次。
手勢
1
手勢2
手勢3
手勢4
手勢5
手勢6
受試者1 100% 99% 100% 100% 99% 99%
表5.2- 1 單一手勢辨識率
連續手勢: 各手勢數量 30 次。
手勢
1-2
手勢3-4
手勢1-5
手勢2-6 手勢 5-2-6-4
受試者
2
95% 100% 100% 100% 95%受試者
3
85% 100% 100% 85% 97.5%受試者
4
80% 100% 100% 80% 85%受試者
5
95% 100% 90% 100% 100%平均 88.75% 100% 97.5% 91.25% 94.375%
表5.2- 2 連續手勢辨識率-1
手勢
1-2
手勢3-4
手勢5-6
手勢2-1-5 手勢 5-6-2
受試者
6
90% 100% 100% 100% 95%受試者
7
95% 100% 100% 100% 100%受試者
8
70% 100% 65% 100% 83%受試者
9
100% 100% 100% 100% 92.5%平均 88.75% 100% 91.25% 100% 92.625%
表5.2- 3 連續手勢辨識率-2
42
5.3 硬體資源消耗
在本章節將顯示章節4.2.3 GVCU 活化函數實現之硬體資源比較，如表 5.3-1 與 5.3-2 與顯示本論文硬體電路設計所使用的硬體資源，透過調整參數化的改變 電路單元的數量，分別對Matrix Operations Unit、Fully Connected Computation Unit、GVCU 與 UDU 不同單元來呈現。
Activation Function
sigmoid hard sigmoid
ALUTs 2063 732
DLRs 1722 524
18-bit DSP 54 4
表5.3- 1 單位 sigmoid 活化函數硬體電路之硬體資源消耗比較
Activation Function
tanh hard tanh
ALUTs 2026 1326
DLRs 1577 900
18-bit DSP 35 4
8-bit Adder 1 2
表5.3- 2 單位 tanh 活化函數硬體電路之硬體資源消耗比較
結論
如表5.3-1 與 5.3-2 所示。以下 n 代表𝑖𝑡、𝑓𝑡、𝑜𝑡、𝑐̃𝑡的數量，由Matrix Operations Unit 一次輸入到 GVCU 的 Input 數量，對應到公式(8)(9)(10)(11)中的輸出𝑖𝑡、𝑓𝑡、 𝑜𝑡、𝑐̃𝑡。
表5.3- 3 Matrix Operations Unit 硬體資源使用圖
表5.3- 4 Fully Connected Computation Unit 硬體資源使用圖
n=1 n=2
Combinational ALUTs
3,731 / 182,400 ( 2 % ) 7,367 / 182,400 ( 4 % )Dedicated logic registers
3,044 / 182,400 ( 2 % ) 6,054 / 182,400 ( 3 % )Block Memory bits
0 0DSP block 18-bit elements
16 / 1,288 ( 1 % ) 32 / 1,288 ( 2 % )表5.3- 5 GVCU 與 UDU 硬體資源使用圖
n=1 n=2
Combinational ALUTs
4,251/ 182,400 ( 2 % ) 8,690/ 182,400 ( 5 % )Dedicated logic registers
8,502 / 182,400 ( 3 % ) 12,141 / 182,400 ( 3 % )Block Memory bits
167,963 / 14,625,792( 1 % ) 167,963 / 14,625,792( 1 % )DSP block 18-bit elements
8 / 1,288 ( <1 % ) 32/1288(2%)n=1 n=2
Combinational ALUTs
947/ 182,400 ( 2 % ) 1,1592/ 182,400 ( 5 % )Dedicated logic registers
804 / 182,400 ( 3 % ) 1,291 / 182,400 ( 3 % )Block Memory bits
8,192 / 14,625,792( 1 % ) 8,192 / 14,625,792( 1 % )DSP block 18-bit elements
4 / 1,288 ( <1 % ) 8/1288(<1 %)44
第六章 結論
本論文實現連續手勢辨識系統在FPGA 實現，先透過 Keras 平台訓練及驗證
後，辨識率高達98%。由於高階語言無法明確的瞭解運算細節與權重的編排，因
此經過C 語言與 JAVA 語言實現連續手勢辨識軟體系統，確認正確性與未來的可 能性後，在進行硬體電路實現。為了想找到硬體平行處理與硬體電路面積的平衡 點，與為了因應未來需求改變的可能性，本論文對電路進行了參數化，把模型的 運算單元與儲存單元都由參數來控制數量，以增加電路的彈性，可應用在攜帶式、
嵌入式系統低功率消耗的應用，或者在需求短時間的高速運算。
參考文獻
參考文獻
[1] S. Hochreiter and J. Schmidhuber, "Long Short-Term Memory," Neural
Computation, pp. 1735-1780, 1997.
[2] J. Schmidhuber, “Deep learning in neural networks: An overview,” Neural
Networks, pp. 85-117, January 2015.
[3] R. Neruda and P. Vidnerova, "Evolving keras architectures for sensor data analysis," IEEE Conferences, pp. 109 - 112, 2017.
[4] A. Harris, H. True, Z. Hu, J. Cho, N. Fell and M. Sartipi, "Fall recognition using wearable technologies and machine learning algorithms," IEEE International
Conference on Big Data (Big Data), pp. 3974-3976, 2016.
[5] F. Chollet, “Keras Documentation,” [線上]. Available: https://keras.io/.
[6] 洪維恩, Java 7 教學手冊, 旗標出版社, 2015.
[7] 鄭羽伸, Verilog 數位電路設計-範例寶典, 儒林出版社, 2008.
[8] 廖振瑋, “LSTM 法則應用於連續手勢辨識之研究──訓練系統軟體及辨識系 統FPGA 之實作,” 2018.
[9] H. P. Gupta, H. S. Chudgar, S. Mukherjee, T. Dutta and K. Sharma, "A Continuous Hand Gestures Recognition Technique for Human-Machine Interaction Using Accelerometer and Gyroscope Sensors," IEEE SENSORS
JOURNAL, pp. 6425-6432, 15 AUGUST 2016.
[10] C. Lin, J. Wan, Y. Liang and Z. S. Li , "Large-Scale Isolated Gesture Recognition Using a Refined Fused Model Based on Masked Res-C3D Network and Skeleton LSTM," IEEE International Conference, pp. 52-58, 2018.
46
[11] M. Milenkoski, K. Trivodaliev, S. Kalajdziski;, M. Jovanov; and R. B. Stojkoska,
"Real Time human activity recognition on smartphones using LSTM networks,"
IEEE Conferences, pp. 21-25, 2018.
[12] H. W. Chen, Carlos Andrés Betancourt Baca and H. C. Tou, "LSTM-RNNs combined with scene information for human activity recognition," IEEE