本專題使用了IMU感測器，安裝在車上並且實地採集車子姿態的各種訊號(例:
左右轉、切換道路、上下交流道、直線加速、停紅綠燈等)，接著使用Matlab擷 取其特徵訊號，並丟入類神經網絡的輸入層，加以訓練；訓練完畢以後，再丟輸 入各種訊號讓Deep Learning做判斷，並且能在訊號的前25%做出車輛動態預估，
精準度高達95%以上，其流程圖如下
圖 1. 系統設計流程圖
二、 系統軟硬體平台簡述與資源運用 2.1 軟硬體平台簡介
軟體: Matlab、Theano 0.9、Tensorflow1.0.1、Keras 2.0.0、Python 2.7、
anaconda2
硬體: SparkFun 9DoF Razor IMU M0
2.2 資源應用
本專題使用 python 當作開發語言，以 theano 、keras library 創建 深度學習網路，並搭配 arduino 來當作 IMU (Inertial measurement unit)的擷 取平台。PC 端會同時顯示出此時訊號的波形以及預估姿態。
三、 系統實作內容 3.1 所提出之系統示意圖
圖 2. 系統示意圖
3.2 SparkFun 9DoF Razor IMU M0訊號波型分類
使用SparkFun 9DoF Razor IMU M0感測器接收車輛六軸數據，製成波形圖後，
將其各種動作加以擷取200筆並且分類，最後放入CNN類神經網絡架構裡做訓練，
藉此訓練神經網絡分別出車輛各種姿態的波型，加以辨認。
表2.訓練姿態種類
目前6種訓練姿態
左轉 左切換道路 停車
右轉 右切換道路 直線行駛
圖 3. 各軸所代表的物理意義w:角速度 a:加速度
圖4. 原始資料轉換成波形圖
圖5. 左轉資料擷取
圖6. 右轉資料擷取
圖7. 左切換道路資料擷取
圖8. 右切換道路資料擷取
圖9. 停紅綠燈資料擷取
圖10. 直線行駛資料擷取
3.3 訓練資料收集
要得到一個成功的深度學習訓練網路，他必須要有良好的訓練資料，在資料 收集的這部分，我們將IMU放置在汽車中央(如圖10)，並且使用相機同步地紀錄 汽車當時的動作狀態，以方便事後做資料預處理與驗證時使用，IMU感測器會以 30Hz蒐集6軸的訊號，分別是3軸的加速度與3軸的角速度(如圖3)，因為這六軸都 有它所代表的物理意義，所以對於汽車姿態的辨識是有相當大的幫助。我們收集 了汽車的6種姿態(如表3)。
圖 11. 這張圖說明著 IMU 擺放的位置，在收集這部分我們發現汽車的震動頻率 的干擾相當的嚴重，所以最終我們選擇了振動頻率較低的地方，正式汽車的正中
3.4 資料預處理
圖 13. 圖中的波行事一個右轉的波形，當我們在擷取練資料時，紅色框框代表
Go Straight
Signal length 440 440 440 540 540 440 Package 100 100 100 200 200 100 Sample 6400 6400 6400 16800 16800 6400
3.5 深度學習網路架構
表4. CNN model of test results.
The accuracy and loss based on 59200 samples.
1st CONV 2nd CONV Test_accuracy Test_loss
四、 實驗與分析
表5.動作完成度與精準度
50%: half action, 100%: complete action, the accuracy is based on 800 package.(When the vehicle turns right, turn to half on behalf of 50%)
完整度 Stop Shift left Shift right Turn left Turn right Strain
訓練資料的框架選擇問題，多次測試發現汽車的一個動作大約落於6.66秒到 10秒之間，並且左切與右切有部份波形相同，如果掃描window太小容易誤判，
最終將選取稍大於靠左行駛一半data的window當作掃描window。
圖16. 靠左行駛及靠右行駛數據圖
表6.遭遇之困難點及解決方法
改善程式判斷 資料擷取位置改善
波形相似
七、 分工合作
黃俊穎:深度學習演算法模擬與驗證、python 編程、收集資料、文獻探討 黃正毓:資料預處理、收集資料、文獻探討
八、 結論
本文介紹了基於加速度和角速度以及特別的訓練資料擷取方式來訓練料，並 以較簡化的 CNN 架構完成，最終並可以在汽車尚未完成動作時，以達到在整體動 作 20%時，可以預知汽車正在進行的動作，預測汽車姿態不僅可用於自動駕駛，
還可以用掌握駕駛人的行為，並糾正駕駛行為以避免車禍發生。
在一般的做法當中，大部分都通過陀螺儀得到汽車姿態，但陀螺儀必須經由 事先的校正才能使用，而我們提出的方法是使用原始信號預估汽車正在做的動作。
並且可以在 raspberry pi 3 上達成 realtime 預估(每次預估時間小於 0.35 sec)。
九、 實際測試影擷取
我們採取實地把 IMU 架在車上，並實地做測試
圖17.實地測試影片正常行駛
圖18.實地測試影片左轉
圖19.Raspberry Pi與IMU最終成品
DEMO影面網址：
https://www.youtube.com/watch?v=wesrS3rAIQQ&feature=youtu.be
十、 參考文獻
[1] S. Chen, X. Huang, W. Zhang. ‘’Intelligent vehicle collision avoidance system based on DSP research’’ Automation technology and application, 7 (I) , 2005 [2] H. Xiang et al, “Evaluation and Prediction of Driver's Bad Driving Behavior
Based on the Moving Vehicle Attitude” International Journal of Security and Its Applications, Vol.9, No.11, pp.63-76, 2015
[3] P. S. Bhagavatula et al. "Optic flow cues guide flight in birds." Current Biology 21.21 (2011): 1794-1799.
[4] Y. Wu et al, “A monocular vision-based attitude estimation approach for small Unmanned Aerial Vehicles and its experimental verification”, Guidance, Navigation and Control Conference (CGNCC), 2016.
[5] M. H. Tehrani, M. A. Garratt, S. Anavatti. “Gyroscope offset estimation using panoramic vision-based attitude estimation and Extended Kalman Filter”, Communications, Computing and Control Applications (CCCA), 2012 2nd International Conference on, 2012.
[6] H. Ahmed, M. Tahir. “Accurate Attitude Estimation of a Moving Land Vehicle Using Low-Cost MEMS IMU Sensors”, IEEE Transactions on Intelligent Transportation Systems, vol.99, 2016.
[7] Y.Chen, Y.Xue, “A Deep Learning Approach to Human Activity Recognition Based on Single Accelerometer”, IEEE International Conference on Systems, Man, and Cybernetics, pp. 1489-1491, 2015.
[8] M. Zeng et al. “Convolutional Neural Networks for Human Activity Recognition using Mobile Sensors Ming”, International Conference on mobile computing, Applications and Services (MobiCASE), pp. 197-203, 2014.
[9] C. Crema et al, “IMU-based Solution for Automatic Detection and Classification of Exercises in the Fitness Scenario”, IEEE International Conference on Sensors Applications Symposium (SAS), 2017.