• 沒有找到結果。

中華民國第 61 屆中小學科學展覽會 作品說明書

N/A
N/A
Protected

Academic year: 2022

Share "中華民國第 61 屆中小學科學展覽會 作品說明書"

Copied!
47
0
0

加載中.... (立即查看全文)

全文

(1)

中華民國第 61 屆中小學科學展覽會 作品說明書

排版\032812-封面

國中組 生活與應用科學(一)科 第一名

032812-封面

搶救生命大作戰 - AI 姿態辨識在智慧型高品質 CPR 訓練引導式教學輔具系統設計之研究

學校名稱:臺中市立溪南國民中學

作者: 指導老師:

國二 呂承諭 國二 周姵妤

胡啟有 陳柏宇

關鍵詞: AI、姿態辨識、心肺復甦術 CPR

(2)

i

得獎感言

智慧型高品質CPR 訓練引導式教學輔具系統設計之研究

能在這次的全國賽中獲得第一名,不僅要感謝從市區賽,一路到全國賽協助、鼓勵我們 的家長以及所有老師、主任們,謝謝他們的無私奉獻、鼓勵、協助、陪伴及體諒,除此之外 我們也很感謝每個階段評審給予我們的肯定,讓我們對於我們做的高品質CPR 訓練引導式教 學輔助系統有更大的信心。

在做科展的過程當中我們也經歷了不少挫折及失敗再重來的難題,無論是在撰寫程式、

作品說明書、簡報、實驗實作、紀錄、討論及分析結果,甚至我們有一度想放棄的時刻,但 是經過家長、同儕及胡啟有老師及陳柏宇主任的鼓勵、協助下以及我們努力不懈,永不放棄 的研究精神,將我們所遇到的難題一一克服並解決,這坎坷的路程我們歷經了一年多的時間,

有他們的陪伴,也是我們前進的動力,過程中有哭有笑,也有爭吵,但我們相信這所有的點 點滴滴都是這一年多辛苦力挺過來的特別回憶。

雖然在這嚴峻的疫情下,導致我們無法面對面討論我們作品的事物,但這都不會澆滅我 們對於這次科展活動的熱忱小火苗,也不會阻礙我們學習深奧的理論及原理。也因此在這次 的科展活動中我們增廣見聞、開拓眼界,學習到了不少的新知識,我們會繼續秉持著努力不 懈,永不放棄的研究精神,甚至是將我們所學到的理論和實驗過程應用在生活當中並把這種 研究精神傳承給學弟妹們。

最後我們也希望本作品在獲得全國科展的肯定及經過我們的改良後,能夠與政府機關及 學校機構合作,實際使用在生活當中,成為CPR 引導式教學系統的市面上,最不可或缺的一 項產品,進而延續每一個人的生命,搶救生命,傳達守護生命概念。

(3)

ii

作品過程中的多次辛苦測試、實驗及錯誤修正。

比賽當天早上,我們與指導老師視訊,互相鼓勵,準備全國賽。

這是全國賽結束時與指導老師們的大合照。

(4)

1

摘 要

本研究以 CPR 訓練模型輔具做為研究對象,根據專家說明 CPR 動作要正確純熟,除了 依賴良好的教學輔具系統引導外,其功能上更需要有按壓姿勢的正確判斷,因此本研究藉助 科技 AI 輔助,設計 AI 姿態辨識的智慧型高品質 CPR 訓練引導式教學輔具系統,經研究證實 系統能逹到:

一、協助學習者熟練 CPR 的操作流程並解決訓練模型設計問題。

二、成功運用邊際運算功能提高 AI 辨識的速度。

三、拍肩反應、判斷按壓位置、深度更可利用壓力感測器及超音波感應器進行偵測。

四、能應用 AI 代替人類專家判斷按壓姿勢之正確性。

五、具專家模式且可獨立操作的 CPR 引導式教學輔具系統。

期望人人都能學到 CPR 正確操作技巧及爭取黃金復甦時間,搶救寶貴生命。

壹、 研究動機

在上健康教育課程時,老師提到有關於心肺復甦術理論及心肺復甦術操作方法,但在當 下並不以為意,在偶然的機會之下看到自由時報(吳仁捷,2020)報導新北市有一名 14 歲國中 生在下課騎乘腳踏車回家路上,無預警突然倒地,在警員蘇聖翔(領有 EMT-1 初級救護技術員 證照),見狀況危急在黃金時間 6 分鐘內馬上實施心肺復甦術(CPR)給予急救,並搶時間讓命危 國中生送抵醫院,救回一命,讓我在心中產生一種莫名的感動,使用 CPR 居然可以救人一命,

讓我們想要對 CPR 有更多了解,有機會也可以像那位警察幫助別人。

因此在請教學校護士阿姨了解 CPR 知識之後,我們也實際使用一台學校成人半身心肺復 甦訓練模型輔具進行心肺復甦術的模擬演練,在操作過程中我們體會到什麼是正確按壓姿勢 及標準的心肺復甦術流程,然而我們也察覺到學校成人半身心肺復甦訓練模型有許多的問題,

如缺乏獨自操作無專家正確按壓姿勢的指導、正確按壓位置的判斷、拍肩反應模擬、吹氣模 擬及缺乏完整引導式教學步驟的智慧型訓練輔具等。

因此,我們將運用社團課、資訊科技課、生活科技課所學的電腦程式 C 語言、手機程式 (APP Inventor)、物聯網設計及材料加工,來改善學校成人半身心肺復甦訓練模型設計上不足,

期望藉由科技、創新的設計,對於教學、學習 CPR 能更加便利,使CPR 訓練動作更精準正確, 如同有專家在旁指導,當人人都能學會 CPR,爭取黃金時間 6 分鐘,就能提高到院存活率。

(5)

2

貳、 研究目的

本研究將應用 AI 姿態辨識在智慧型高品質 CPR 訓練引導式教學輔具系統上進行研究,

其研究目的如下:

一、了解心肺復甦術標準流程、心肺復甦訓練教學輔具重要性及訓練模型所遇的設計問 題。

二、建立邊緣運算智慧型高品質 CPR 訓練教學輔具系統原型。

三、找出適合 CPR 模擬拍肩反應、正確判斷按壓位置、深度之感測原件。

四、應用AI做為智慧型高品質 CPR 訓練教學輔具系統正確判斷姿勢辨識之系統。

五、建立具專家模式、可獨立操作之實用智慧型高品質 CPR 訓練引導式教學輔具系統。

作品與教材相關性 :

一、健康與體育:八下心肺復甦術 二、資訊科技:七上 C 語言程式設計 三、資訊科技:七下 APP Inventor 程式設計 四、資訊科技:八下 物聯網系統設計 名詞解釋:AI:人工智慧 CPR:心肺復甦術

研究限制:本次研究 CPR 對象為成人版心肺復甦術,且不含 D 教學實驗(使用 AED)

參、研究設備與器材

本次實驗器材繁多,僅列重要元件,如下表

圖 3-1

Xbox Kinect v2 體感器

圖 3-2

羅技 C920 網路攝影鏡頭

圖 3-3 13 吋液晶螢幕

圖 3-4 方形壓力感測器

圖 3-5 Raspberry Pi4

圖 3-6

Google Coral USB Accelerator

圖 3-7 intel realsense D435i

圖 3-8 ESP32 控制器

圖 3-9 復甦安妮

圖 3-10 震動感測器

圖 3-11

HC-SR04 超音波感測器

圖 3-12 RFP 彎曲感測器

圖 3-13 微動開關

圖 3-14 流量感測器

圖 3-15 光敏電阻

圖 3-16 平板電腦

(6)

3

肆、研究過程與方法

一、 文獻探討

(一) CPR 訓練之探討 1.何謂心肺復甦術

根據 American Heart Association CPR & ECC(2021)官網說明,心肺復甦術(簡稱 CPR , cardio pulmonary resuscitation) 是一種在心臟停止跳動時執行的緊急救生程序,心臟驟 停後立即進行 CPR 可以使生存機會增加一倍或兩倍,換句話就是當呼吸及心跳停止 時,合併使用心外按摩及人工呼吸來進行急救的一種技術。

而當人呼吸及心跳停止時,未在黃金搶救時間 4-6 分鐘內,迅速施行 CPR,提 供身體全身血管內氧氣,患者腦部損傷的機率就提高,這凸顯了 CPR 的重要性,因 此當人人都會 CPR,就可以提高到院存活率(中華民國紅十字會總會,民 106)。

整合 2015 Guidelines-RCP-AHA 蔡維謀(2015)中成人 CPR 準則及衛生福利部(2015) 修訂的新版高品質CPR 訓練流程如圖 4-1 所示 :

圖 4-1 成人高品質 CPR 操作準則

本研究將針對【叫】、【叫】、【C】、【A】、【B】等步驟進行研究,至於D部份因 缺乏 AED 設備及其有詳細操作手冊可參考,因此在本研究中就不再討論。

(7)

4

2.心肺復甦術所面臨的問題

根據北京急救中心馮庚主任醫師(2017)研究指出操作心肺復甦術時易發生骨折,

其按壓姿勢、位置的正確性與急救的成敗有極大的關聯性,錯誤的按壓位置及姿勢可 能會導致急救失敗或傷害。

根據 Deborrah C Pinto et al.(2013)的研究指出,人工 CPR 跟機器 CPR 造成肋骨骨 折在身體不同部位的比例是有差異的,我們

可以從圖 4-2 得知人工 CPR造成前肋骨骨折 的比例高達54 %,明顯有高於機器 CPR。

由於機器 CPR 每一次施作的動作都是 ㄧ致,而人工 CPR 在施作的過程中,卻可能 因為長時間施作疲乏造成姿勢不正確,或者 一開始施作就是錯誤的姿勢,而讓 CPR 的功 效打折扣,甚至造成患者的傷害,因此了解 到按壓位置與姿勢正確性是非常重要的。

綜合以上說明,按壓姿勢、位置及深度的正確與否,決定急救成敗及傷害的關鍵,

然而許多教學練習輔具產品並沒有設計製作監測、指導施作者姿勢位置的系統,是一個需 要改進的問題,所以研究應用 AI 人工智慧辨識 CPR 姿勢正確與否,就是要確保施作者 的動作可以如同機器 CPR一樣的正確,以達到急救的功效及減少患者的傷害。

(二) 人工智慧基本介紹 1. 何謂人工智慧

人工智慧(簡稱 AI)指的是人類製造出來的機器能表現出智慧與思考,指的是電腦 能「模擬」人類的思維過程或能「展現」人類的行為能力,可以協助重複性的任務與大 量的資料,並有「速度快」、「規模大」、「擴充性廣」與「擁

有量化能力」等特點,並應用在如語音助理,聊天機器人,

智慧醫療,自動駕駛車以及人臉辨識等(AI4kids, 2020)。

2.人工智慧理論

人工智慧包含「機器學習」與「深度學習」,如圖 4-3 所示,其中目前機器學習的學習方式又分使用可預期結果

The frequency of the location of the rib fractures in the manual group was:

anterior 54%

antero-lateral 26%

lateral 19%

postero-lateral 0%

posterior 0.4%

The frequency in the 'autopulse' group was:

anterior 29%

antero-lateral 24%

lateral 13%

postero-lateral 2%

posterior 33%

圖 4-2人工 CPR 以及機器 CPR 肋骨骨折率 取自 UK Web Archiving

Consortium(2020).cardiopulmonary resuscitation (CPR) related rib fractures in adults

人工智慧

AI

機器學習

深度學習

圖 4-3 人工智慧範圍

(8)

5

訓練資料的監督式學習及使用不可預測結果訓練資料的非監督式學習(Amazon,2021)及 像人類或動物學習方式的強化學習,而機器學習須經定義問題、蒐集資料、處理資料、

訓練模型及推論與預測等五大流程,方能完成 AI 訓練模型(AI4kids, 2020),如下圖 4-4 所示。

圖 4-4 機器學習的五大流程

深度學習是機器學習的分支,模擬人類大腦神經元運作方式,可以處理更複雜的 問題,是目前比較流行的使用方法,其常見神經網路種類有處理視覺影像之卷積神經 網 CNN 及處理有序列性文字語言之遞迴神經網路 RNN(AI4kids, 2020)等。

3.人工智慧執行所遇之問題

人工智慧 AI(深度學習)主要模擬大腦神經網路運算,需要龐大的電腦運算資源,

但一般電腦的中央處理器運算速度頗慢,無法即時支持需要大量運算的人工智慧模型 的神經網路推理(AI4kids,2020),因此市場出現了【神經網路加速棒】又俗稱神經元加速 棒它是一個支持大量 AI 運算快速判斷的產品,也可以支援嵌入式系統產品運作,適合 小型邊際運算,而本研究將採用市售常見且技術支援高的Google Coral USB Accelerator 神經元加速棒硬體來進行姿態辨識的研究,以減少我們摸索的時間,且也能搭配學校 所學的資訊課程。

4. Google Coral USB Accelerator 硬體介紹

Google Coral USB Accelerator 是 google 公司生產的神經元加速棒之硬體產品,並在 官網提供已訓練完成,且具量化及優化的姿態辨識人工智慧模型 Coral PoseNet 之完整 程式,並提供詳細的程式範例講解,使用者可免除辛苦的訓練過程,依照說明修改範 例程式即可使用,降低學習上的難度,因此本研究將採用 Coral PoseNet AI 模型搭配樹 莓派及 Google Coral USB Accelerator 神經元加速棒等硬體元件進行本次研究。

5. Coral PoseNet 姿勢辨識模型的介紹

根據 Google coral 官網說明,Coral PoseNet 姿態辨識是將人體影像 RGB 利用卷積 模型(CNN)生成的原始熱圖,如圖4-5 所示,屬深度學習的一部份。

定義問題 蒐集資料 處理資料集 訓練模型 推論與預測

(9)

6

PoseNet 是檢測圖像和視頻中人物 的計算機視覺技術,以便可以確定人的 肘部,肩膀或腳出現在圖像中的位置,但 無法識別圖像中的人,但可以預測人體 關節的關鍵點在哪裡(共有 17 個),如圖 4-5 所示。

在 Coral PoseNet 中預測推論關鍵點 位置準確的可信度稱之關鍵點可信度評 分,取值範圍是 0.0 到 1.0,它可用於隱 藏被認為不夠強大的關鍵點。

在姿態辨識進行時,程式模型會輸出回饋相對應的關鍵點座標及可信度評分值,

方便判斷點跟點之間的相對位置及預測準確性的可信度,因此在程式中設定關鍵點可 信度評分的篩選值,即可列出相對應的關鍵點相關資訊(X、Y 座標值),並做為實驗姿 態準確性之依據。

綜合以上論述,我們使用Coral Posenet AI 模型及AI Google Coral 神經元加速棒能透過 影像即時快速判讀,利用肩膀、手肘及手腕之關鍵點座標求出斜率並比較上臂與前臂角度相 差大小作為手臂有無伸直之判斷依據,協助使用者快速判斷 CPR 的按壓姿勢辨識是否正確,

以免因訓練姿勢不良而造成更嚴重的骨折意外,且因使用體積小、具支援大量、快速運算邊 際運算的感測器元件設計教學輔具,使教學輔具具備方便攜帶且機動性高的特性。

(三)市售成人半身 CPR 訓練模型的比較

為了解市售常見的成人半身 CPR 訓練模型輔具的特性,經由參訪實際操作以及網路尋 找資料之後,我們了解出各種產品所缺乏的功能及其優點,其欠缺的功能,如表 4-1 所示。

表 4-1 市售成人半身 CPR 訓練模型輔具的比較

欠缺功能 建議增加方法

不具有拍肩反應偵測模擬,確認患者意 識

建議在復甦安妮的雙肩裝置壓力感測器,以判斷 確定有無拍肩反應模擬動作

無實作暢通呼吸、壓額抬下巴的模擬動 作偵測及偵測檢查胸部有無起伏動作

建議在復甦安妮的頭部裡裝置微動開關、光敏電 阻,以判斷是否有實際模擬操作

無按壓姿勢辨識及位置偵測 建議使用Coral Posenet AI 的姿態辨識較為精準,

可以明確判斷人體按壓姿勢是否正確

圖 4-5 Coral PoseNet 17 個關鍵點座標 取自

https://coral.ai/examples/官網

(10)

7

智慧型復甦安妮價格較昂貴 建議使用具邊際運算功能的設備,可以降低成本 引導式教學系統不夠完整,需專家在旁

協助指導

建議建置專家模式高品質 CPR 引導式教學訓練步 驟,不需專家協助,即可獨立操作

(四) 其他文獻智能姿態 CPR 的比較

從中學生網站,小論文參賽作品中找到由廖偉勝、晉從崴、施易男(2016)等人設計的

【CPR Teaching Machine - 心肺復甦術教學輔助系統】,並從報告中發現整了解出他們作 品功能欠缺的問題及其優點,其欠缺的功能,如表 4-2 所示。

表 4-2 文獻智能姿態 CPR 的比較

欠缺功能 建議增加方法

不具有拍肩反應模擬偵測,確認患者 意識

建議在復甦安妮的雙肩裝置壓力偵測器,可以判斷 有無拍肩反應模擬動作

無實作暢通呼吸、壓額抬下巴的模擬 動作偵測及偵測檢查胸部有無起伏動 作

建議在復甦安妮的頭部裡裝置微動開關、光敏電 阻,以判斷是否有實際模擬操作

不具有吹氣動作模擬偵測 建議裝置氣流量感測器,判斷氣體是否進入到肺部

偵測姿態感測器使用Kinect V2 ,其運 作易受環境影響,但需搭配電腦使用,

攜帶較為不便,且不具有按壓位置偵 測

建議使用偵測姿態感測器使用 Coral Posenet AI 及 Google Coral加速棒、樹莓派及壓力感測器,能協助 使用者快速判讀 CPR 的按壓姿勢辨識是否正確,

因設備具邊際運算功能,不需搭配電腦使用,積體 小攜帶方便

引導式教學系統不夠完備 建議建置完整具專家模式智慧型高品質 CPR 引導 式教學訓練步驟

二、研究架構圖

本研究將依照參訪及衛生福利部(2015)修訂的新版高品質 CPR 訓練流程,建置可大 量、快速判續之邊際運算且具AI 姿態辨識的專家模式智慧型高品質 CPR 訓練引導式教學 輔具系統,並加以測試驗證,其研究架構圖(如圖 4-6 所示):

(11)

8

圖 4-6 研究架構圖

測 試

、 錯 誤

、 修 智慧型高品質 CPR 訓練引導式教學輔具系統

文獻探討

用創新、科技,解決研究文獻和市售 CPR 訓練模型輔具之問題

具專家模式、可獨立操作之實用智慧型高品質 CPR 訓練引導式 教學輔具系統

人人都學 CPR 搶救生命 傳逹守護生命概念

發現 發現

實驗 實作 市 售 成 人 半身 CPR 訓練

模 型

其 他 文 獻 參 考

缺 乏 正 確 按 壓 位 置 、 深 度 及 姿 勢 辨 識 偵 測

引 導 式 教 學 系 統 不 完 整 , 需 專 家 在 旁 指 導 缺 乏 拍 肩 反 應 模 擬 偵 測

缺 乏 檢 查 胸 部 起 伏 模 擬 動 作 偵 測 缺 乏 暢 通 呼 吸 、 壓 額 抬 下 巴 動 作 模 擬 偵 測

實驗一:實測在不同的開關感測器中找出適合的模擬拍肩反應感測元件 實驗二:實測胸部按壓位置不同之比較

實驗三:實測偵測胸部按壓深度之距離

實驗四:實測在不同的市售姿態感測器中找出適合的姿態辨識判讀硬體元件 實驗五:實測受試者身穿不同衣著長短袖、顏色、不同施作環境背景及不同關鍵點

可信度評分篩選條件值對姿態辨識正確率判斷的影響 實驗六:測試 ESP32 控制器系統按壓速度極限實驗

缺 乏 正 確 按 壓 位 置 、 深 度 模 擬 偵 測 不 具 有 吹 氣 動 作 模 擬 偵 測

缺 乏 拍 肩 反 應 模 擬 偵 測

缺 乏 檢 查 胸 部 起 伏 模 擬 動 作 偵 測 缺 乏 暢 通 呼 吸 、 壓 額 抬 下 巴 動 作 模 擬 偵 測

引 導 式 教 學 系 統 不 完 整

想到

成品

推廣

(12)

9

三、系統分析設計

經過文獻探討發現錯誤的 CPR 操作方式,反而 更容易造成患者的傷害(骨折),因此要如何訓練施作 者正確訓練高品質 CPR 動作及操作方式,而且在訓 練的過程中,可自我學習不需專家陪同的引導式 CPR 教學輔具系統,就顯得非常重要。

因此在經過專家訪談及資料蒐集,我們發現目

前有些市售成人半身 CPR 訓練模型輔具缺乏壓額抬下巴偵測、拍肩反應、按壓姿勢位置 判斷、吹氣判斷等模擬動作以及教學引導不夠完整,且需要專家在旁協助指導姿勢等問 題,如果這些部分要經由專家或助教引導及糾正,所耗費的心力、時間和金錢會過於龐大。

因此,我們將結合學校科技課所學資訊科技(AI、物聯網及程式語言),再根據文獻探 討及專家中華民國紅十字會高級急救教練陳淑慧所述,正確 CPR 動作操作品質要好,需 精確掌握好按壓位置、深度及姿勢、按壓回彈狀況及按壓的次數頻率,還要確認呼吸道有 無暢通及人工呼吸方式等意見,將學校市售成人半身 CPR 訓練模型輔具改造成一套『智 慧型高品質 CPR 訓練引導式教學輔具系統』,可讓施作者獨自操作,而操作過程會經由系 統平板監控是否有符合 AHA 高品質 CPR 操作規定之標準,就可讓操作者進一步掌握自 己訓練狀況及適時矯正自己的姿勢,如同有專家陪伴的專家模式,其系統設計如下說明:

(一)可行性分析

依據參考文獻分析及徵詢專家意見,發現應用AI 技術、物聯網技術、加工技術開 發設計智慧型高品質 CPR 訓練引導式教學輔具系統是可行的。

(二)系統功能需要分析

智慧型高品質 CPR 訓練引導式教學輔具系統,將 依照上述分析及『叫』、『叫』、『C』、『A』、『B』CPR 操 作流程設計系統,系統需求如下:

1.成人半身 CPR 基本型安妮:提供改裝安妮訓練模型 輔具,如圖 4-8 所示。

2.通訊系統:藉由手機平板 APP 程式對系統的 ESP32 控制器進行監控及顯示訓練成果數據。

3. 高品質 CPR 訓練引導式教學輔具系統機電控制:藉助感測器、Google Coral USB Accelerator 神經元加速棒、ESP32 控制器、樹莓派及Coral PoseNet AI 模型進行運算 控制,所需設備如下圖 4-9 所示:

圖 4-8 成人半身基本型安妮 訓練模型輔具

圖 4-7 與專家陳淑慧女士訪談和問答

(13)

10

圖 4-9 智慧型高品質 CPR 訓練引導式教學輔具系統系統需求圖 (三)系統流程程式描述

系統程式分三部份,一份為 ESP32 控制器上的程式,是使用 Arduino IDE 官方工 具撰寫,另一個為手機平板 App上的程式,則利用 MIT APP Inventor 程式工具撰寫,第 三個則為樹苺派上的辨識控制程式,並使用 python 修改Google Coral PoseNet AI辨識模 型及撰寫相關控制程式,其流程程式描述圖(演算法),如圖 4-10、圖 4-11、圖 4-12。

圖 4-10 智慧型高品質 CPR 訓練引導式教學輔具系統之樹莓派姿態辨識流程程式描述圖

(14)

11

圖 4-11 智慧型 CPR 訓練引導式教學輔具系統之ESP32 控制器流程程式描述圖

圖 4-12 智慧型 CPR 訓練引導式教學輔具系統之手機平板 App流程程式描述圖

(15)

12

(四)系統硬體設計

『智慧型高品質 CPR 訓練引導式教學輔具系統』,使用 ESP32 控制器作為控制核 心,收集讀取超音波感測器、流量感測器、RFP 彎曲感測器、光敏電阻、微動開關,及 方 形 壓 力 感 測 器等 信 號 並 將攝 影 影 像經 由 樹 莓 派 控 制 器 傳 送 Google Coral USB Accelerator 神經元加速棒做姿態辨識判讀,再由 ESP32 控制器將偵測結果經藍芽模組 送至手機或平板 App 即時顯示,硬體架構如圖 4-13 所示。

圖 4-13 系統設計硬體架構圖 整體系統硬體作品圖展示如圖 4-14 所示:

圖 4-14 作品完整正面圖

(16)

13

(五)系統實施

1.系統運作方式

依照智慧型 CPR 訓練引導式教學輔具系統運作概念圖,如圖 4-15 所示,將市 售成人半身 CPR 基本型安妮訓練模型輔具加上 AI 及機電控制系統,由使用者將硬 體及程式開啟設定後,系統會依使用者操作及平板程式的指示,透過藍芽模組將訊 號傳送或讀取 ESP32 控制器上的訊息,並依 CPR 操作準則逐一進行,操作過程中會 有提示及引導,在動作正確後才會進入到下個關卡,直到所有關卡完成後,其操作 結果會即時顯示於平板上,供使用者了解自己操作缺失,以作為改進的依據。

圖 4-15 智慧型高品質 CPR 訓練引導式教學輔具系統運作概念圖 2.系統測試

將依照 CPR 操作準則流程步驟進行各單元測試及實驗設計,詳細說明如下:

(1)單元測試

【叫】- 確認患者意識—實測拍肩反應感測元件之測試

※確定有無拍肩部:輕拍患者兩肩部位置。

實驗一:實測在不同的開關感測器中找出適合的拍肩反應感測元件

將以市售常見碰觸開關元件裝置在雙肩上,以作為測試對象,藉此了解哪一

(17)

14

個才適合使用在拍肩的反應上。

實驗設計:將微動開關感應器、振動感應器、壓力感測器等裝置在 CPR 安妮模 型輔具的雙肩上,並撰寫相關程式,觀察在穿衣服時,拍肩、拍胸的 感測器數值變化,並將實驗結果紀錄之。

【叫】- 請求支援—實測系統語音辨識程式

※確定有無呼叫 119:大聲呼救,呼叫 119。

當第一關卡【叫】過關時,ESP32 控制器發送第二關訊息,給平板 APP 進 行語音辨識,測試 google 的語音辨識是否能成功辨識關鍵字 119,成功後會再進 到下一關卡,否則會重複執行,等待成功辨識關鍵字 119,程式碼內容如圖 4-16 所示。

圖 4-16 系統語音辨識程式程式碼

【C】- 進行胸外按壓—實測胸部按壓位置感測元件測試

※正確按壓位置:正確胸外按壓位置在兩乳頭連線中點,如圖 4-17 所示。

實驗二:實測胸部按壓位置不同之比較 將以市售常見的方型壓力感測元件,作為 測試對象。

實驗設計:將方型壓力感測器裝置在復甦安 妮訓練模型輔具的兩乳頭連接 胸骨中央,並撰寫相關程式,如 圖 4-18 所示,以了解受試者在胸 部不同位置按壓,能否偵測到正 確按壓的位置,並將壓力感測器 數據傳送到電腦螢幕顯示,以檢

圖 4-18 壓力感測元件放置位置 圖 4-17 正確按壓位置

(18)

15

測是否有壓到壓力感測器的正確位置,並將實驗結果紀錄之。

【C】- 進行胸外按壓—實作胸部按壓深度偵測感測元件測試

※正確按壓深度:按壓約 5 到 6 公分深。

實驗三:實測偵測胸部按壓深度之距離 實驗設計:將超音波感測器裝在安妮輔具內

部,胸部壓力感測器下方,撰寫相 關程式如圖 4-19 所示,讓受測者

在胸外正確位置按壓五次,按壓胸部直到超音波偵測到 10cm、9cm、

8cm、7cm、6cm、5cm 等指定距離並測量實際的距離是否一致(胸腔內 部上下距離為 13 公分),並將實驗結果紀錄之。

【C】- 進行胸外按壓—實作按壓姿勢辨識判讀硬體元件測試

※偵測正確按壓姿勢:手肘打直利用上半身重量垂直下壓施力點集中在掌根部位。

實驗四:實作在不同的市售姿態感測器中找出適合的姿態辨識判讀硬體元件 將以市售常見的姿態辨識判讀硬體元件,Google Coral USB Accelerator 神經元 加速棒、realsense、kinectv2 為研究測試對象,以了解姿態辨識判讀硬體元件在攝 影中畫面所呈現解析度畫質及更新速率。

實驗設計:以同樣畫素鏡頭(畫素 1920*1080)撰寫相關程式,在程式中設定三種 480*360、640*480 及 1280*720 等不同攝影擷取畫質,再擷取攝影畫面 進入姿態辨識硬體元件中判讀,並找出最佳畫面更新速率(FPS)及辨識 效果,並將實驗結果紀錄之。

實驗五:實作受試者身穿不同衣著長短袖、顏色、在不同施作環境背景及設定 不同關鍵點可信度評分篩選條件值對按壓姿態辨識正確率判斷的影響 SaraA.Metwalli(2021)在 towardsdatascience 網站分享人工智慧的學習模型也會 存在著機器學習偏差,且 Google coral 並沒有提供 AI 姿態辨識學習模組的詳細訓 練背景說明,因此我們需要透過實驗加以驗證。

為了了解受測者衣著型態、施作環境及關鍵點可信度評分篩選條件值等變 因對姿態辨識正確率的影響,將以受測者的衣著長短袖、顏色、環境背景及關鍵 點可信度評分篩選條件值作為實驗變因,藉此了解對姿勢正確率判斷的影響。

實驗設計:同一位受測者身穿市售常見黑、白、紅、灰、藍以及花格子等不同顏 色的長袖衣服,在不同環境背景(一般環境背景、純白背景)及不同關 鍵點可信度評分篩選條件值實作實驗,當長袖衣服施作完畢後,將長 圖 4-19 超音波感測元件放置位置

(19)

16

袖袖子捲袖過肘至上臂當作短袖,重新針對衣服不同顏色、不同背景 及不同關鍵點可信度評分篩選條件值再做一次實驗,實驗變因及實驗 操作方式如圖 4-20、表 4-3 所示。

圖 4-20 實測按壓姿勢之實驗變因架構

利用 python 修改在樹莓派控制器中官方所提供 Coral PoseNet 姿 態辨識(內含辨識 AI 模型)程式,程式中將會設定不同要篩選的關鍵點 可信度評分值,若符合設定的篩選條件值,就視同關鍵點是存在,就 可以將人體存在的 17 個關鍵點連線成人體骨架型態,以利姿勢的判 斷,並以 Google coral 神經元加速棒作為姿態辨識加速判讀硬體元件並 結合攝影鏡頭將受測者姿勢實驗影像及數據,即時處理顯示在液晶螢 幕上如圖 4-21 所示,在實驗過程中

會由現場專家(護理師)目測,並確保 受試者在正確 CPR 按壓姿勢情況下 進行,比較實際按壓姿勢與液晶螢 幕顯示的數據是否一致,並將實驗 結果記錄之。

表 4-3 按壓姿勢在各種不同實驗變因下之實驗操作方式

圖 4-21 偵測按壓姿勢硬體配置

(20)

17

姿態辨識手臂直線計算算法:因手臂是由三點關鍵點組合而成,在運動中 不一定是直線,但 CPR 按壓姿勢需手臂伸直,因此需在程式中撰寫偵測手臂 是否伸直的數學公式程式,以方便套用判斷,如表 4-4 所示。

表 4-4 手臂直線幾何示意圖

人體骨架圖 骨架直線座標示意圖 巳知𝐵𝐶̅̅̅̅ AC̅̅̅̅求θ 值簡示圖

根據表 4-4 所示,求出 θ1 與 θ2 否則為同位角,即可得知手臂是否伸直,計算 如下:

θ1 = tan−1√(𝐵𝑥

−𝐸𝑥)2+(𝐵𝑦−𝐸𝑦)2

√(𝐴𝑥−𝐸𝑥)2+(𝐴𝑦−𝐸𝑦)2

θ2 = tan−1√(𝐶𝑥

−𝐷𝑥)2+(𝐶𝑦−𝐷𝑦)2

√(𝐵𝑥−𝐷𝑥)2+(𝐵𝑦−𝐷𝑦)2

𝛉𝟏 =𝛉𝟐 同位角 且 上下手臂(𝐴𝐵̅̅̅̅

BC̅̅̅̅)共點於 B 點視同為直線

容許條件:-20 < 𝜃1− 𝜃2 < 20 (人的手臂不可完全是直線,因此提供容許誤差值) python 程式碼:

arm_theta = math.atan2(Left_ elbow _Y - Left_ shoulder_Y, Left_ elbow _X - Left_

shoulder_X);

【A】- 暢通呼吸道—實作模擬壓額提下巴及檢查呼吸道動作偵測

※偵測有無壓額抬下巴:壓額抬下巴,並檢查呼吸道是否阻塞。

測試設計:壓額抬下巴動作由裝置在頭部微動開關偵測,撰寫相關程式,硬體 裝置如圖 4-22 所示,當有執行壓額抬下巴動作,即會傳送訊息給

上手臂

下手臂

(21)

18

ESP32 控制器,作為動作是否正確的判斷依據。

檢查呼吸道動作則由裝置光敏電阻在鼻子下方偵測,硬體如圖 4- 23 所示,如有檢查呼吸道的動作時,會遮蔽光敏電阻,其電阻值會因 此而下降,光敏電阻一端接 5V,另一端串接電阻 1kΩ 到接地避免短 路,因電壓降關係則數值輸出與電阻值相反,並將此數值以作為系統 有檢查呼吸道的設定閥值,觀察測試光敏電阻反應輸出變化,電路設 計如圖 4-24 所示,並將實驗結果紀錄在表 4-5。

表 4-5 ESP32 控制板讀取光敏電阻接腳數值變化表

未遮蔽光敏電阻,輸出值高於 650 視為未檢查

已遮蔽光敏電阻,輸出值低於 650 視為已檢查

結論:有壓額抬下巴動作微動開關會輸出 1,反之為 0;由表 4-5 看出,有檢查呼 吸道動作控制板會從光敏電阻接腳讀取數值輸出為 200~330,但須考量操 作環境光線變化造成誤判,因此將取未遮蔽與遮蔽後之數值輸出約略取平 均值中間值 650,作為系統程式判斷是否有檢查呼吸道的閥值。

圖 4-22 頭部動開關位 圖 4-23 光敏電阻元件位置 圖 4-24 頭部動開關位置

(22)

19

【B】- 進行人工呼吸—實作吹氣氣流量感測器元件偵測

※偵測有無吹氣:鼻子捏住,吹兩次氣,每次約 1 秒。

測試設計:吹氣動作由裝在胸部內部連接氣管 的流量感測器偵測,撰寫相關程式,

硬體裝置如圖 4-25 所示;

如表 4-6 當程式開始時,流量感測器的輸出 數值會由未吹氣數值 0,往上增加產生變化,當

時間持續 1 秒,且流量感測器輸出值有持續變化,即表示完成【吹氣 1 秒】的動 作,感測器輸入的數值為流量計轉一圈所花的時間,單位為微秒,程式中可將數 值換算成 L/hr(公升/小時),但此裝置僅用在氣流偵測用途,不須進行換算。

表 4-6 測試流量感測器偵測數值表 吹氣狀況

項目 未吹氣 吹氣中

肺部狀態

吹氣數值

感測器讀取數值為 0 感測器讀取數值持續 產生變化

藍芽通訊測試:本次實驗透過平板的藍芽和 ESP32 控制器上的藍芽模組,進行資 料交換,經實驗動作無誤(如圖 4-26、圖 4-27 所示)。

圖 4-25 流量感測器裝置位置

圖4-26 Esp32 控制板實物裝置測試 圖4-27 藍芽通訊測試

(23)

20

(2)整合測試

圖 4-28 系統整合運作圖

※樹莓派與 ESP32 控制器整合測試

如圖 4-28 所示,ESP32 控制器傳送按壓次數、深度及回彈狀態等數據傳送 給樹莓派,並整合鏡頭將影像擷取送到 Google Coral USB Accelerator 加速棒判讀 姿勢正確性,即時顯示在液晶螢幕,再將姿勢正確性數據回傳到 ESP32 控制器統 計判斷,經多次修正測試,經實驗測試無誤。

實驗六:測試 ESP32 控制器系統按壓速度極限實驗

根據 AHA 準則規定高品質 CPR 按壓時的速度約 100~120 次/分(約 2 次/秒),

因此需測試系統按壓速度極限,以了解系統按壓速度是否達到 AHA 準則規定的 按壓速度。

實驗設計:硬體配置如圖 4-29 所示,為測試系統 按壓速度極限,需在 10 秒內快速在安 妮訓練模型輔具胸部正確位置重複按 壓直到時間結束,計算 10 秒內按壓次 數,重複三次實驗,檢驗實際在安妮身 上按壓的次數是否等同 ESP32 控制器

將按壓次數傳送到樹莓派上的螢幕顯示的次數並將實驗結果紀錄之。

※平板與 ESP32 控制器傳輸測試:

利用平板 APP 讀取 ESP32 控制器所送的各項數據並判斷後顯示,經多次修 正測試,實驗測試無誤(如圖 4-30、4-31 所示)。

圖 4-30 平板 APP 系統運作畫面 圖 4-31 平板 APP 與 ESP32 控制器實驗配置圖

傳送辨識 正確次數 通知施測

開始計時 傳送關卡

測試結果 ESP32 控制器 收集感測器數據

及控制

樹莓派 擷取影像送加速棒判

讀辨識並顯示 平板APP

顯示關卡

通過時間 傳送按壓次數及深度

圖 4-29 樹莓派與 ESP32 控制器 硬體配置圖

(24)

21

(3)測試與驗收

在經過單元測試及整合測試完成,請專家(護士、醫生)、伙伴協助測試,

發現細微錯誤問題再修正,再測試,直到完成,而過程中發現的問題如下。

問題一:語音辨識

發現在 App 開啟語音辨識後,會出現對話視窗,若按下返回鍵或點選視窗 旁的空白區域,語音辨識對話視窗就會消失,但會卡在第二關,因此將利用程式 將語音辨識對話視窗隱藏,這樣就不會因點選空白而關閉語音辨識,啟動語音 辨識的方式更改為按鈕啟動,若語音辨識關閉,可使用按鈕重新喚醒語音辨識 功能,如圖 4-32、圖 4-33 所示。

圖 4-32 語音辨識與按鈕 圖 4-33 按鈕啟動語音辨識程式 問題二:樹莓派無法與平板、ESP32 藍芽連線

在 ESP32 控制器的按壓深度、回彈以及速度可以成功辨識後,我們想要利 用藍芽將樹莓派姿勢辨識的結果傳送到平板 App 上時,發現樹莓派無法利用藍 芽方式傳送、接收平板 App 上的資料,因此修正改利用樹莓派控制板上的控制 GPIO 腳位用網路線實體連接 ESP32 控制器進行運算統計,再將資料送給平板 APP,以解決問題,達到了預期效果,如圖 4-34、圖 4-35 所示。

圖 4-34 樹莓派藍芽通訊 圖 4-35 使用 GPIO 傳送訊號

(25)

22

一、了解心肺復甦術標準流程、心肺復甦訓練教學輔具重要性及訓練模型所遇的設計問題 經常在網路、電視上看報導,有心臟驟停的患者幸運遇到路人剛好會使用 CPR,成功在 黃金搶救時間4-6 分鐘內幫助患者恢復心跳,提高到院存活率,也因此凸顯了學習 CPR 重要 性,不過一般人對路人有發生心臟驟停的情形,即使在學會了 CPR 也不太敢施救,其原因在 怕引起法律問題、CPR 技術不純熟及個人衛生問題,因此在緊急醫療救護法第 14-2 條第 1 項 中規定「救護人員以外之人,為免除他人生命之急迫危險,使用緊急救護設備或施予急救措 施者,適用民法、刑法緊急避難免責之規定。」,再加上政府已公佈民眾版的 CPR 已免除吹氣 及人工呼吸的動作,所以只剩 CPR 技術純熟問題要克服,因此就需依賴CPR 訓練教學輔具的 協助訓練。

心肺復甦訓練教學輔具系統的良窳,將決定是否能學習到姿勢正確的 CPR 操作流程,經 文獻探討及專家訪談發現文獻作品及市售成人基本安妮訓練模型所欠缺的壓額抬下巴偵測、

拍肩反應、按壓位置、深度及姿勢判斷、吹氣 1 秒等模擬及完整引導式訓練教學等問題,需 要被解決,才能有利於學習者學習及練習。

二、建立邊緣運算智慧型高品質 CPR 訓練教學輔具系統原型 依據文獻探討之高品質 CPR 的操作準則,以市售成人基本 型安妮訓練模型輔具作為實驗對象,並加以改造附加機電系統 及 AI成為智慧化控制,在設計上採用了體積小的樹莓派控制器 及Google Coral USB Accelerator 神經元加速棒,做為 AI 辨識的 邊際運算處理,也提高即時辨識速度(參考實驗四),替代電腦縮 小了整體系統的體積,以方便攜帶訓練,如右圖 5-1 所示。

系統功能在實驗過程中中華民國紅十字總會高級急救教練陳淑慧的建議下,進行系統分 析、功能需要分析、單元測試、整合測試等一連串測試,最後在測試與驗收完成後,成功建 立邊緣運算智慧型高品質 CPR 訓練教學輔具系統原型。

不過在研究過程中也遇到因技術不純熟,無法將樹莓派與平板、ESP32 藍芽連線的問題,

只好捨棄使用藍芽連線的想法,改用網路線來連接,不過在未來待技術提升後,可恢復藍芽 連線方式,減少實體連線的困擾。

三、找出適合 CPR 模擬拍肩反應、正確判斷按壓位置、深度之感測原件 實驗一:實測在不同的開關感測器中找出適合的模擬拍肩反應感測元件

表 5-1 拍肩反應感測元件測試 感測元件

名稱 項 目

微動開關感應器 振動感應器 壓力感測器 5-1 樹莓派整合加速棒及

攝影機硬體圖

伍、研究結果與討論

(26)

23

實驗的感測器元件

雙肩(實驗畫面)

雙肩(數值輸出) 1 4096 86

胸口(實驗畫面)

胸口(數值輸出) 1 4096 0

結論:以表 5-1 實驗結果所示,微動開關在穿衣服時壓迫到,等於已經壓下,故不準確,

震動感測器在拍胸及拍肩時均會使震動感測器反應,無法判定是哪部份被拍到,

故不準確,而由表 5-1 可看出壓力感測器在雙肩或胸口拍打所輸出的數值差異反 應,因此本系統將採用壓力感測器作為模擬拍肩反應感測器。

實驗二:實測胸部按壓位置不同之比較

表 5-2 胸部按壓位置不同之比較數值

按壓正確位置的 數值為80

按壓正確位置偏上的 數值為 0

按壓正確位置偏右的 數值為 0

結論:從表 5-2 實驗結果所示,在正確位置按壓(放置方型壓力感測器位置)偵測輸出數值 會大於 0(80),其餘錯誤位置為0,且不會因安妮訓練模型的皮膚重量而誤測,因此 本系統將採用方型壓力感測器作為模擬按壓位置判斷感測器。

實驗三:實測偵測胸部按壓深度之距離

表 5-3 超音波感測器實驗數據

項目距離 (公分) 次數

超音波

偵測距離 實際測量距離

項目距離 (公分) 次數

超音波

偵測距離 實際測量距離

壓下距離 10 10 壓下距離 7 7

壓下距離 9 9 壓下距離 6 6

壓下距離 8 8 壓下距離 5 5

(27)

24

表 5-4 超音波感測器實驗畫面

超音波感測器偵測到的距離為 7 公分 實際測量距離為 7 公分

結論:由表 5-3、5-4 所示,超音波感測器偵測距離與實際距離一致,表示準確。

四、應用AI做為智慧型高品質 CPR 訓練教學輔具系統正確判斷姿勢辨識之系統 實驗四:實測在不同的市售姿態感測器中找出適合的姿態辨識判讀硬體元件

表 5-5 實作在不同的市售姿態感測器中找出適合的姿態辨識判讀硬體元件 判讀硬體元件

項目

Google coral Accelerator+樹莓

派(Coral PoseNet) (鏡頭 1920*1080 )

Realsense (鏡頭 1920*1080)

Kinect v2 (鏡頭 1920 *1080)

感測元件配置圖

畫面解析度 (480 *360)

畫面更新率(FPS) 78.86 FPS 26.15FPS (1280*720)

無法辨識

畫面解析度 (640 * 480)

畫面更新率(FPS) 45.32FPS 28.08FPS (1920*1080)

35.2、49.1、64.5FPS

畫面解析度 (1280*720)

程式執行錯誤 無結果

畫面更新率(FPS) 無 23.75FPS 衣服穿著的顏色與背景

相似會造成誤判

註:FPS 代表每秒顯示畫面數,FPS 值越大,表示辨識處理速度越快,否則會出現延遲現 象,造成辨識不順暢。

(28)

25

結論:根據表 5-5 說明因 Kinect v2 容易環境誤判,且在同一個畫面解析度(1920*1080)會出 現不同的畫面更新率(35.2、49.1、64.5FPS)代表不穩定,且需配合電腦運作;而 realsense 除了需配合電腦運作,且在同一個畫面解析度其畫面更新率均輸 Google coral Accelerator 神經元加速棒判讀的能力,故不採用Kinect v2及realsense,因此本 實驗選擇Google coral Accelerator 神經元加速棒搭配樹莓派及Coral PoseNet AI 模型 作為姿態辨識加速判讀硬體元件,且不需依賴電腦,可獨立運作。

實驗五:實測受試者身穿不同衣著長短袖、顏色、在不同施作環境背景及設定不同關鍵點 可信度評分篩選條件值對按壓姿態辨識正確率判斷的影響

將實驗按壓姿勢辨識的結果統計成表 5-6 所示,再依據實驗環境背景、衣袖長短、衣 服顏色個別搭配,各種關鍵點可信度評分篩選條件值均有 24 種排列組合。

表 5-6按壓姿勢依據關鍵點可信度評分篩選條件值、環境背景、衣袖長短及衣服顏色等 實驗變因操作下之辨識結果

衣著顏色

實驗變因 B黑色 W白色 D藍色 R紅色 G灰色 C花色 可 信 度

評 分 篩 選值0.2

U純色背景 L長袖 0 1 1 0 1 1 S短袖 1 1 1 1 1 1 E一般環境 L長袖 0 0 1 0 0 1 S短袖 1 1 1 0 1 1 可 信 度

評 分 篩 選值0.3

U純色背景 L長袖 0 0 0 0 0 1 S短袖 1 1 1 1 0 1 E一般環境 L長袖 1 0 1 0 0 0 S短袖 0 1 1 0 0 0 可 信 度

評 分 篩 選值0.4

U純色背景 L長袖 0 1 1 0 1 0 S短袖 1 1 1 1 1 0 E一般環境 L長袖 0 0 0 0 0 0 S短袖 1 1 1 1 1 1 可 信 度

評 分 篩 選值0.5

U純色背景 L長袖 0 0 1 0 0 0 S短袖 0 0 0 0 0 0 E一般環境 L長袖 1 0 0 0 0 0 S短袖 1 0 1 0 1 0 可 信 度

評 分 篩 選值0.6

U純色背景 L長袖 0 0 0 0 0 0 S短袖 0 0 0 0 0 0 E一般環境 L長袖 0 0 0 0 0 0 S短袖 0 0 1 0 0 1 註:

✓ 1 分代表系統偵測到姿勢正確且準確判別到骨架。

✓ 0 分代表系統沒有完全偵測到骨架點或姿勢判斷錯誤。

實驗數據與結果分析:

(29)

26

⚫ 所有結果都是在專家認定下受測者手部姿勢正確,再由電腦辨識手肘(ARCTAN 設定 為 20 度)有沒有打直。

⚫ 以下將依不同實驗控制變因做相關分析。

分析一:不同關鍵點可信度評分篩選條件值與各種實驗變因的相關性積分比較

統計表 5-6 中每種關鍵點可信度評分設定篩選條件值,在不分衣袖長短、顏色及不 分環境背景情況下,偵測到姿勢正確且準確判別到骨架的積分(數量),並列出其正確率,

如表 5-7 所示。

表 5-7 在不同關鍵點可信度評分篩選條件值下,其實驗變因的積分比較 實驗變因

可信度 評分篩選值

不分衣袖長短及顏色 不分環境背景(24)

實驗變因 可信度

評分篩選值

不分衣袖長短及顏色 不分環境背景(24) 0.2 17 (70.8%) 0.5 5 (20.8%) 0.3 10 (41.6%) 0.6 2 ( 8.3%) 0.4 14 (58.3%)

結論:1.在人體姿態辨識中,將篩選人體關鍵點的可信度評分篩選條件值設定為 0.2,只 要程式讀取到關鍵點的可信度評分值是 0.2,就預測它是一個存在的關鍵點,就 可跟其他存在的關鍵點連成人體骨架。

2.表 5-7 得知系統設定關鍵點可信度評分篩選條件值為 0.2 時,在不管受試者衣著 樣式、顏色及背景環境其 AI 辨識正確率最高,故後續討論將以關鍵點可信度評 分值 0.2,作為系統的設定的篩選條件。

分析二:依據衣袖長短,不分衣服顏色、不分環境背景等實驗變因相關性積分比較 統計表 5-6 中關鍵點可信度評分設定篩選條件值為 0.2 時,依據衣服長短袖在各不分 顏色及不分環境背景情況下,統計偵測到姿勢正確且準確判別到骨架的積分(數量),並列 出其正確率,如表 5-8 所示。

表 5-8在不同衣袖長短下與不分衣服顏色、不分環境背景等實驗變因相關性積分比較 實驗變因

可信度評分篩選值

長袖不分顏色 不分環境背景(12)

短袖不分顏色 不分環境背景(12) 0.2 6(50%) 11(91.6%)

結論:關鍵點可信度評分篩選條件值 0.2 參數下, 在不分環境背景,其短袖AI 辨識準確 率較高,逹91.6%,從表 5-6、表 5-8 可看出除了紅色衣服外,其他顏色在不分環 境背景下,對短袖辨識準確率逹100%,長袖辨識準確率則比較差。

分析三:依據實驗衣服顏色,不分衣袖長短、不分環境背景等實驗變因相關性積分比較 統計表 5-6 中關鍵點可信度評分設定篩選值為 0.2 時,統計不同衣服顏色各在不分衣

(30)

27

袖長短及不分環境背景情況下,統計偵測到姿勢正確且準確判別到骨架的數量並列出其 正確率,如表 5-9。

表 5-9在不同衣服顏色,不分衣袖長短、不分環境背景等實驗變因相關性積分比較 實驗變因

可信度 評分篩選值

黑色長短袖 不分環境背

景(4)

白色長短袖 不分環境背

景(4)

藍色長短袖 不分環境背

景(4)

紅色長短袖 不分環境背

景(4)

灰色長短袖 不分環境背

景(4)

花色長短袖 不分環境背

景(4)

0.2 2(50%) 3(75%) 4(100%) 1(25%) 3(75%) 4(100%) 結論:在關鍵點可信度評分篩選條件值 0.2 參數下,在不分衣袖長短及不分環境背景以

藍、花色的辨識準確率最高,高達 100%,紅色的辨識準確率則最差。

分析四:依據實驗環境背景,不分衣袖長短、不分衣服顏色等實驗變因相關性積分比較 統計表 5-6 中關鍵點可信度評分設定篩選條件值為 0.2 時,統計不同實驗環境背景各 在不分衣袖長短及不分衣服顏色情況下,統計偵測到姿勢正確且準確判別到骨架的數量,

並列出其正確率,如表 5-10 所示。

表 5-10 依據環境背景,不分衣袖長短、不分衣服顏色等實驗變因相關性積分比較 環境背景

可信度 評分篩選值

純色環境背景、不分長短袖 不分顔色(12)

一般環境背景、不分長短袖 不分顔色(12)

0.2 10(83.3%) 7(58.3%)

結論:關鍵點可信度評分設定篩選條件值為 0.2 參數下,在不同背景環境的比較下,辨 識準確度純色背景大於一般環境,在純色環境背景辨識準確率高逹83%。

綜合以上分析,使用 Google coral Accelerator 搭配樹莓派作為姿態辨識判讀硬體元件時,

將 Coral PoseNet 姿態模型程式中關鍵點可信度評分設定 0.2 作為篩選條件值,可建議受試者 實施 CPR 操作時,在純色背景環境、身著藍、白、灰、花色長短袖上衣,會有100%的辨識準 確率,在不分背景環境下、身著藍、花色長短袖上衣也會有100%成功辨識率。

另外,因為本系統採用已經訓練完成Google Coral PoseNet 的AI姿態模型,若要達到連衣 服長袖及一般環境背景均能正確辨識,可能就要依自己的需求重新訓練才獲得更好的辨識效 果,這就是使用AI的優勢,不過訓練模型是不易,因需花費較長時間蒐集資料才能訓練完成。

五、建立具專家模式、可獨立操作之實用智慧型高品質 CPR訓練引導式教學輔具系統 當本系統依據高品質 CPR 操作準則的設計實作完成後,為確定系統的實用性,特別請專 家(校護、醫生)協助測試,在測試過程中也順便測試系統的按壓速率極限,如表 5-11 所示。

實驗六:測試 ESP32 控制器系統按壓速度極限實驗

(31)

28

表 5-11 重複三次10 秒內按壓次數偵測實驗結果統計 實驗次數

按壓次數 第一次 第二次 第三次

實際計數 40 36 32

系統計數 40 36 32

平均(次/秒) 4 3.6 3.2

結論:三次實驗結果,系統按壓速度最低3.2 次/秒,其按壓速度極限可超過規定的2 次/

秒(至少 100-120 次/分),實際按壓次數並與系統顯示一致,因此測試無誤。

本系統因採用 Coral PoseNet 的AI姿態模型,經過專家指導按壓姿勢、實驗及測試,得到 一個具有 CPR專家模式的 AI 姿勢辨識系統,再利用程式將動作偵測流程寫到樹莓派、ESP32 控制器及平板中,藉由平板上的 APP引導學習者逐一完成高品質 CPR 操作步驟,當前的步驟 操作正確完成後,才能進行下一步驟操作,直到每個步驟都操作正確完成,程式才會結束訓 練,在經過反覆練習即可達到熟練高品質 CPR的操作動作步驟與正確姿勢。

陸、結 論

一、能協助學習者熟練 CPR 的操作流程並解決訓練模型設計的問題

我們從生活週遭緊急急救發現CPR對於人們搶救生命是非常的重要,因此在參訪、聽取 各專家建議後,我們運用國中所學的科技課程及身旁現有工具,設計【智慧型高品質 CPR 訓 練引導式教學輔具系統】協助人們學習正確 CPR 流程與姿勢,並解決了文獻作品及市售成人 基本安妮訓練模型所欠缺的壓額抬下巴偵測、拍肩反應、按壓位置、深度及姿勢判斷、吹氣 1 秒等模擬及完整引導式訓練教學等功能。

二、本系統成功運用邊際運算功能提高 AI 辨識的速度

AI 辨識模型主要使用深度學習中CNN訓練而的 Coral PoseNet AI模型,因此在做AI 辨識 判讀,需要龐大的電腦運算資源,但一般電腦的中央處理器運算速度頗慢,無法即時支持需 要大量運算的人工智慧模型的神經網路推理(AI4kids,2020),因此本系統使用樹莓派配合

【Google coral Accelerator 神經元加速棒】作為姿態辨識判讀硬體元件,提升即時辨識速度,也 提高了準確度,經實驗四實驗也獲得驗證。

三、本系統拍肩反應、判斷按壓位置、深度可利用壓力感測器及超音波感應器進行模擬偵測 經實驗一、二、三、六證實利用壓力、超音波感測器,可精確偵測拍肩反應、正確按壓 位置及量測深度,而系統按壓極限速度可超過規定的2 次/秒,達到標準,並且彌補其他市售 安妮訓練模型功能上之不足,且可以將其相關的數據送至 ESP32 控制器進行正確性判斷,將 訓練結果送到平板、樹莓派液晶顯示器上即時顯示,以了解操作步驟及姿勢是否正確,如圖 6-1、圖 6-2 所示。

(32)

29

圖 6-1 樹莓派按壓姿勢執行結果 圖 6-2 平板 APP 執行畫面 四、本系統能應用 AI 代替人類專家判斷按壓姿勢之正確性

經實驗四、五證實,在關鍵點可信度評分設定篩選條件值 0.2 下,建議施作者在下列情況 下實施 CPR 操作。

(一)在純色背景環境,身著藍、白、灰、花色長短袖上衣。

(二)在不分背景環境,身著藍、花色長短袖上衣。

本系統將可以代替專家判斷按壓姿勢是否正確,且成功辨識率可達100%,經程式設計及 驗證也避免 SaraA.Metwalli 提到人工智慧的學習模型存在機器學習的偏差。

五、本系統具專家模式且可獨立操作的引導式教學輔具系統

在系統所有的設計過程中都經過專家確認及操作,並依需求設計程式及找尋相對應之硬 體元件,經實驗後找出最佳的硬體元件及程式修正,其中姿勢辨識採用 AI 人工智慧辨識代 替專家的眼睛,讓本系統在無專家在場下,即可單獨使用系統進行 CPR 訓練,也能逹到完整 正確的學習,因此本系統具有專家模式、可獨立操作之實用智慧型高品質 CPR訓練引導式的 教學輔具,解決因害怕CPR 姿勢流程不正確,使患者因此而受傷(骨折)的情況,也可以減少 財力、人力的出支。

如圖 6-2 所示,只要『智慧型高品質 CPR 訓練引導式教學輔具系統』在供電下,使用者 就可依據平板 APP 右下角說明操作就可自主學習、訓練,無需提供詳細操作說明即可使用,

十分便利學習者使用。

未來我們希望可在系統中增加遊戲的趣味性,透過遊戲的方式進行訓練,以減少訓練的 枯燥,提高學習意願,且也可將訓練結果傳送到手機的通訊軟體上,作為下次學習改進的依 據,甚至建議政府可將紀錄提供訓練認證機構,作為考照之參考,並建議各級學校可將本系 統納入作為教學輔具。

【智慧型高品質 CPR 訓練引導式教學輔具系統】能讓學習者自主練習、引導學習,提高 操作動作的準確率,有如專家在旁指導,進而真實延續每一個人的生命,讓每位民眾得到心 肺復甦術的熟練操作技巧,搶救生命,傳逹守護生命概念。

(33)

30

柒、參考文獻資料及其他

吳仁捷(2020)。黃金救援 6 分鐘 警、消聯手救回瀕死昏倒國中生。取自自由時報官網

https://news.ltn.com.tw/news/society/breakingnews/3280104

中華民國紅十字會總會(民 102)。急救理論與技術。台北市:紅十字會總會。取自

http://studentaffairs.dlit.edu.tw/ezcatfiles/b003/img/img/95/179788656.ppt

American heart association( 2021) .What is CPR?. 取自

https://cpr.heart.org/en/resources/what-is-cpr

衛生福利部 (2015)。2015 民眾版心肺復甦術參考指引摘要表。取自 https://www.mohw.gov.tw/cp-

170-7692-1.html

蔡維謀(2015)。重點提要 2015 年 American Heart Association CPR 與 ECC 準則更新資訊。取自 https://wwwv.tsgh.ndmctsgh.edu.tw/files/web/192/contents/10029/2015-AHA-Guidelines-Highlights- Chinese_Traditional.pdf

馮庚 (2017) 。心肺復甦時易發生骨折?4 條對策先牢記 。取自護士網每日頭條健康網址

https://kknews.cc/health/8ee5b3e.html

Deborrah C Pinto et al.(2013). Manual and automated cardiopulmonary resuscitation (CPR): a comparison of associated injury patterns. [Electronic version]. J Forensic Sci. 2013 Jul;58(4):904-9.

UK Web Archiving Consortium(2020).cardiopulmonary resuscitation (CPR) related rib fractures in adults 取自

http://www.forensicmed.co.uk/pathology/cpr-related-rib-fractures-in-adults/

AI4kids( 2020)。學 AI 真簡單Ⅰ-初探機器學習(頁 2-24)。新北市:全華圖書股有限公司。

AI4kids( 2020)。學 AI 真簡單(II):動手做深度學習(頁 42-47)。新北市:全華圖書股有限公 司。

廖偉勝、晉從崴、施易男(2016) CPR Teaching Machine-心肺復甦術教學輔助系統,取自中學 生網站,小論文參賽作品,工程技術類取自

https://www.shs.edu.tw/works/essay/2016/11/2016111414584517.pdf

郭家宏(2021)。機器學習有 5 種偏差,會讓你的 AI 做出錯誤決策!。取自科技橘報

https://buzzorange.com/techorange/2021/02/25/5-machine-learning-

bias/?fbclid=IwAR0AEFr0mCZlswOfYN8njMLvbntWOXdYNIkUX2Ycj-sGrYxEQOk5f-A9JU4

Sara A. Metwalli(2021)。5 Types of Machine Learning Bias Every Data Scientist Should Know。取

towardsdatascience https://towardsdatascience.com/5-types-of-machine-learning-bias-every-data-

science-should-know-efab28041d3f

GOOGLE Coral (2021)。Coral PoseNet。取自

https://github.com/google-coral/project-posenet

Amazon(2021)。什麼是人工智慧?機器學習與深度學習。取自

https://aws.amazon.com/tw/machine-learning/what-is-ai/

(34)

【評語】 032812

1. 應用 AI 影像辨識進行 CPR 訓練教學引導,聚焦清楚。

2. 巧妙利用市售人體教具,植入多種適當的感測器,以達成 CPR 的各種訓練與監控,有改善未來 CPR 教具的潛力。

3. 透過 AI 學習監控下壓姿勢正確性。

4. 判讀效果可能會受限於拍攝視角,以及偵測標準動作值的 穩定性,會影響其實用價值,需進一步研究探討。

5. 整體而言,使用既有教具加值,其花費成本不高,但能獲 得較高的效益,值得鼓勵。

排版\032812-評語

(35)

作品簡報

(36)

搶救生命大作戰- AI姿態辨識在智慧型高品質CPR訓 練引導式教學輔具系統設計之研究

科 別:生活與應用科學科(一)(機電與資訊)

組 別:國中組

(37)

研究問題

▲市售及其他文獻的CPR安妮訓練輔具之功能比較結果

呼吸心跳停止

忘記步驟了?

操作熟練?

姿勢正確?

使用CPR 會造成骨折嗎?

如何急救? 安妮輔具

功能完整嗎?

使用CPR安妮

CPR 健康教育課 訓練輔具

搶救時間夠嗎?

人工CPR有54%機會 會比機器CPR更容易造成

骨折

• 缺乏有拍肩反應確認患者意識之模擬動作偵測

• 缺乏實作暢通呼吸、壓額抬下巴的模擬動作偵測

• 缺乏偵測檢查胸部有無起伏動作

• 缺乏正確按壓位置、深度及姿勢辨識偵測

• 引導式教學系統不夠完備,需專家在旁指導

• 不具有吹氣動作模擬偵測

黃金4-6分鐘CPR

可提高到院存活率

(38)

研究目的

二、建立 邊緣運算智慧型高 品質 CPR 訓練教學輔 具系統原型

• 心肺復甦術標準流程

• 心肺復甦訓練輔具的重要性

• 訓練模型所遇的設計問題

一、了解

四、應用 AI 做為正確判斷姿 勢辨識偵測之系統

三、找出適合CPR之偵測感 測元件

• 偵測模擬拍肩反應

• 偵測正確判斷按壓位置及深 度

五、建立具專家模式、可獨 立操作之實用教學輔具 之引導式系統

▲研究架構圖

智慧型高品質CPR訓練引導式教學輔具系統

市售成人半身CPR訓練模型 其他文獻參考

文獻探討

發現 發現

用創新、科技,解決研究文獻和市售CPR訓練模型輔具之問題 想到

實作

實驗

測試、錯誤、修正

具專家模式、可獨立操作之實用智慧型高品質CPR訓練引導式教學輔具系統

成品

人人都學CPR 搶救生命 傳逹守護生命概念

推廣

• 缺乏拍肩反應模擬偵測

• 缺乏暢通呼吸、壓額抬下巴動作模擬偵測

• 缺乏檢查胸部起伏模擬動作偵測

• 缺乏正確按壓位置、深度及姿勢辨識偵測

• 引導式教學系統不完整,需專家在旁指導

• 缺乏拍肩反應模擬偵測

• 缺乏暢通呼吸、壓額抬下巴動作模擬偵測

• 缺乏檢查胸部起伏模擬動作偵測

• 缺乏正確按壓位置、深度及姿勢辨識偵測

• 不具有吹氣動作模擬偵測

• 引導式教學系統不完整,需專家在旁指導

• 實驗一:實測在不同的開關感測器中找出適 合的模擬拍肩反應感測元件

• 實驗二:實測胸部按壓位置不同之比較

• 實驗三:實測偵測胸部按壓深度之距離

• 實驗四:實測在不同的市售姿態感測器中找 出適合的姿態辨識判讀硬體元件

• 實驗五:實測受試者身穿不同衣著長短袖、

顏色、不同施作環境背景及不同AI學習模型 可信度評分條件設定值對姿態辨識正確率判 斷的影響

• 實驗六:測試ESP32控制器系統按壓速度極 限實驗

(39)

• 結合學校資訊課、生活科技及社 團所學

• AI辨識技術(深度學習CNN)

• 物聯網技術

• C語言程式

• 手機App程式

• 材料加工

設計出智慧型高品質CPR訓練引導式教學輔具系統

可行性分析

• 創新、科技

▲ AI姿勢辨識結合藍芽物聯網 ▲作品完整正面圖

研究過程

• 在復甦安妮的雙肩裝置壓力感測器,可以偵測有無拍肩反應模擬動作。

• 在復甦安妮的頭臉部裝置微動開關、光敏電阻,可以偵測是否有實際模擬操作。

• 偵測姿態感測器可利用Coral Posenet AI及神經元加速棒、樹莓派,能快速判讀CPR的按壓 姿勢是否正確,且因設備具邊際運算功能,不需搭配電腦使用,具積體小攜帶方便之優點。

• 在復甦安妮氣管裝置氣流量感測器,偵測氣體是否進入到肺部,以逹到人工呼吸動作之模擬。

• 建置完整具專家模式智慧型高品質 CPR 引導式教學訓練步驟,不需專家協助,即可獨立學 習。

本系統解決市售及文獻所遇問題的方法

(40)

研究過程 系統功能需求設計

•【叫】- 拍肩反應感測元件之測試

•【叫】- 實測系統語音辨識程式

•【C】- 胸部按壓位置感測元件測試

•【C】- 胸部按壓深度偵測感測元件測試

•【C】- 按壓姿勢辨識判讀硬體元件測試

•【A】- 壓額提下巴及檢查呼吸道動作感測 元件測試

•【B】- 人工呼吸吹氣氣流量感測器感測元 件測試

單元測試

整合測試

• 測試 ESP32 控制器系統按壓速度極限實驗

▲ ESP32控制器與樹莓派姿態辨識整合測試 ▲ ESP32控制器與平板APP軟體整合測試

▲系統功能需求圖

Google Coral Posenet AI模型

Google 語音辨識119 第二關 叫,呼叫119

第三關 C,胸外按壓

第四關 A,暢通呼吸道

第五關 B,人工呼吸 第一關 叫,確認意識 樹莓派4控制器 蒐集受測者影像 (網路攝影鏡頭)

提供姿態判斷運算(croal神經元加速棒)

平板

偵測檢查呼吸動作 (上嘴唇光敏電阻) 偵測按壓深度 (胸部超音波感測器)

ESP32控制器

偵測按壓位置 (胸部壓力感測器)

偵測拍肩反應 (肩部壓力感測器)

偵測吹氣反應 (氣管流量感測器) 偵測壓額提下巴動作 (頭部微動開關) 液晶螢幕顯示

依照 CPR 操作準則流程步驟進行系統功能需求設計,且依單元、整合測試實驗並加以驗證

(41)

研究過程

平板 液晶螢幕

Google Coral加速棒 Raspberry Pi4

ESP32控制器

羅技C920網路攝影機

RFP彎曲感測器

方型壓力感測器 超音波感測器

光敏電阻

流量感測器

微動開關

系統硬體設計

1.使用ESP32控制器 作為控制核心

2.讀取、傳送所 有感測器訊號

3.將攝影影像由樹莓派送 至Google coral加速棒

4.進行AI姿 態辨識判讀

5.ESP32控制器將結果經藍芽 送至平板App即時顯示

兩 分 鐘 5 次

30:2

▲系統運作流程

▲系統硬體設計圖

▲成人CPR高品質操作準則流程圖

數據

圖 3-7  intel realsense D435i
圖 4-3 人工智慧範圍
圖 4-8  成人半身基本型安妮  訓練模型輔具
圖 4-10  智慧型高品質 CPR 訓練引導式教學輔具系統之樹莓派姿態辨識流程程式描述圖
+5

參考文獻

相關文件

展覽 音樂會,戲劇,表演,動靜態展覽,模擬競賽 科技

並以中科園區核准進駐事業單位中已建廠完成且投入實際生產的廠 商作為資料蒐集的基礎。 「行政院國家科學委員會」科學園區協調小組 公布資料指出,統計至 96 年 6

主持人: C 工藝 0304 您的產業是工藝產業,是採學徒制,C 工藝 0305 您也提到進入 你們這份產業的人員,不僅是創意和知識而已,也有包含對生活的態度,對 文化學習的謙卑。請問 C 設計

文學 文學 文學 文學 中華文化 中華文化 中華文化 中華文化 品德情意 品德情意 品德情意 品德情意 學習 學習 學習.. 學習 過程 過程

透過適切的活動提升閱讀深度及加強學習連 貫性 —— 優化中一單元中華文化及品德情意 範疇的學習內容

常生活的課題,增加學生對中國歷史、中 華民族和文化,以及國家發展的興趣;整

使學生認識中國文化的優 點,加強學生對中國文化的 尊崇,及培養學生對其他民 族、他們的文化、價值觀及 生活方式,採取一個積極的

美好時刻有限公司是一家為活動及貿易展覽會作統籌的公司,其中婚禮 派對佔業務的