取樣建檔

圖3.5-1 主程式 GUI 操作介面 - 使用 ResNet SSD 及 Triplet loss

於GUI 操作介面中 Enter ID 和 Enter Name 欄位中分別輸入 ID 和姓名（若為 空白狀態欄會顯示錯誤訊息），接著按下Sample 按鍵以開始取樣，攝影機會以每十 幀有偵測到人臉的畫面取一張以讓人有充足時間轉頭以照到不同角度（若取樣到一 半時無偵測到人臉會取樣暫停直到再次偵測到人臉），擷取臉部後以先前輸入的 ID、姓名及擷取編號命名照片，並且存入 dataset 中。

圖3.5-2 根據角度取樣

註冊時畫面會顯示五個紅色框，分別代表待取樣的五個方位，此時會於鼻子上 繪製綠色指示棒顯示目前面向之方位。當轉頭時，取樣成功之紅框會轉為綠框，並 將擷取之人臉經過人眼對齊後存入資料庫。

下圖為資料庫中取樣完成之照片，平均取到各角度之臉部，且每張照片之人臉 皆已水平對齊眼睛位置，確保每次辨識時皆能以眼睛為基準位置進行比較，透過此 種取樣方法能夠在不讓資料庫過度取樣的情況下提升辨識準確度。

3.6 影片取樣建檔

當系統初始化時會自動偵測video 檔案夾中有無影片，若有影片則開啟影 片處理執行序，將影片一幀一幀匯入，每二十幀偵測到人臉的畫面取樣一張，

再根據影片名稱的姓名及ID 資訊存入 database。

圖3.6-1 從影片擷取存於 database 的人臉

3.7 線上註冊

圖3.7 線上註冊

使用google 表單讓使用者上傳人臉影片，透過 Backup and Sync from Google 下載影片至PC 端進行影片註冊，從用戶上傳的影片名稱獲取 ID 及 email，根據取 樣結果發送email 通知使用者是否註冊成功。

3.8 活體辨識

圖3.8-1 活體識別

偵測器會擷取以臉部框向左右延伸各1.3 倍 (藍色框)之範圍，根據框取範圍內 是否有手機邊框或相片邊框等特徵判斷為真人、手機畫面、或證件照片。

活體識別神經網路模型使用VGG 架構設計，共 4 層卷積層及 1 層全連結層，

使用程式自動抓取影片中真人、證件照、手機照片各1500 張的樣本進行訓練，下 圖顯示程式自動取樣之手機畫面、真人、證件照訓練集。

圖3.8-2 活體訓練集

圖3.8-3 實體閘門展示模型

使用PC Serial 端傳輸指令給 Arduino 控制步進馬達，展示實體門禁系統，辨識 為true 即開啟閘門，反之則不開啟。

圖3.8-4 立體視覺

使用兩個網路視訊鏡頭形成視角差，經校正匹配後計算影像深度，使用自行撰

09/02

* ［功能完成］完成取樣建檔功能

本研究分別以Haar cascade/LBPH 架構和 ResNet SSD/Triplet loss 架構建立出不 同版本的人臉辨識系統，實作取樣、影片取樣、模型訓練、偵測、辨識、簽到功 能，並且檢測兩者的辨識精準度及辨識速度；經比較Haar cascade/LBPH 架構準度 較低但速度較快，ResNet SSD/Triplet loss 架構準度較高但速度較慢。

原先計畫使用Intel Movidius NCS(neural compute stick)神經運算棒補足硬體設 備算力不足的問題，然而實驗室的第一代運算棒只能在linux 作業系統環境下運 行，並不符合研究動機題目所設定的windows 環境；而第二代 NCS2 搭配

openVINO 能夠在 windows 環境下運行，未來若有機會取得 NCS2 將會測試其對於 運算加速效果，更甚者將辨識系統移植到linux 環境，搭配 NCS2 於 raspberry pi 上

第五章時間進度表(甘特圖 Gantt Chart)：

■已完成 ■正在進行

第六章 參考資料：

[1] Alexey Bochkovskiy, Chien-Yao Wang, Hong-Yuan Mark Liao YOLOv4: Optimal Speed and Accuracy of Object Detection, 2020

[2] Wei Liu, Dragomir Anguelov, Dumitru Erhan, Christian Szegedy, Scott Reed, Cheng-Yang Fu, Alexander C. Berg SSD: Single Shot MultiBox Detector, 2016

[3] Hengliang Tang ; Yanfeng Sun ; Baocai Yin ; Yun Ge Face recognition based on Haar LBP histogram, 2010

[4] Kaipeng Zhang, Zhanpeng Zhang, Zhifeng Li, Senior Member, IEEE, and Yu Qiao, Senior Member, IEEE Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks, 2016

[5] Takeshi Mita, Toshimitsu Kaneko, Osamu Hori Joint Haar-like Features for Face Detection, 2005

[6] Suma S L , Sarika Raga Real Time Face Recognition of Human Faces by using LBPH and Viola Jones Algorithm, 2018

[7] Hyung-Keun Jee, Sung-Uk Jung, and Jang-Hee Yoo Liveness Detection for 月次

Embedded Face Recognition System, 2016

[8] Yaojie Liu, Amin Jourabloo, Xiaoming Liu, Learning Deep Models for Face Anti-Spoofing: Binary or Auxiliary Supervision, 2018

[9] Kaiming He, Xiangyu Zhang, Shaoqing Ren, Jian Sun Deep Residual Learning for Image Recognition, 2015

[10] Kaipeng Zhang, Zhanpeng Zhang, Zhifeng Li, Yu Qiao Joint Face Detection and Alignment using Multi-task Cascaded Convolutional Networks, 2016

[11] IoT Programming Workshop:Lamp-server from https://workshop-iot-programming.devbit.be/lamp-server/

[12] Adrian Rosebrock, Pyimagesearch: Liveness Detection with OpenCV, 2019, from https://www.pyimagesearch.com/2019/03/11/liveness-detection-with-opencv/

[13] Adrian Rosebrock, Pyimagesearch: OpenCV Face Recognition, 2018, from https://www.pyimagesearch.com/2018/09/24/opencv-face-recognition/

[14] Adrian Rosebrock, Pyimagesearch: Face detection with OpenCV and deep

learning, 2018, from https://www.pyimagesearch.com/2018/02/26/face-detection-with-opencv-and-deep-learning/

[15] Marcelo Rovai, Real-Time Face Recognition: An End-To-End Project, 2018, from https://towardsdatascience.com/real-time-face-recognition-an-end-to-end-project-b738bb0f7348

[16] Nicholas Cage, Retrieved 2020, from

https://www.pinterest.com/pin/458733912018036467/

[17] Smartuil, 知乎:人脸识别的对比–OpenCV, Dlib and Deep Learning, 2020, from https://zhuanlan.zhihu.com/p/111925661

[18] 默一鸣, CSDN:人脸检测--LBPH-局部二进制编码直方图, 2017, from https://blog.csdn.net/yimingsilence/article/details/64505198

第七章 工作分配：

工作項目 負責人員

機器學習基礎練習 陳冠達、沈世名、林益賢

Python 基礎練習 陳冠達、沈世名、林益賢

環境架設練習 陳冠達、沈世名、林益賢

主程式圖形化介面 陳冠達

主程式偵測、建檔、訓練、辨識、註冊功能 陳冠達

影片建檔訓練模型功能 陳冠達

線上註冊及接收影片系統 沈世名、林益賢、陳冠達

主程式功能最佳化改版 陳冠達

CUDA GPU 加速測試 林益賢

活體辨識模型架構設計、自動取樣程式 陳冠達

人臉樣本蒐集 沈世名、林益賢、陳冠達

訓練活體辨識模型 沈世名、陳冠達、林益賢

門禁系統實體展示模型 沈世名

立體視覺、GUI 測試介面 陳冠達

第八章 經費表：

項目 數量 單價 金額

C370 鏡頭 2 700 1400