基於人工智慧的功能性動作檢測

全文

(1)國立臺灣師範大學科技與工程學院機電工程學系碩士論文 Department of Mechatronic Engineering College of Technology and Engineering. National Taiwan Normal University Master’s Thesis. 基於人工智慧的功能性動作檢測 An Automatic FMS Method Based on AI Technic. 謝孟寰 Hsieh, Meng-Huan 指導教授：吳順德博士 Advisor：○○○Ph.D. (字型為18之Times New Roman、1.5倍行高）中華民國 109 年 9 月 September 2020.

(2) 摘要運動傷害一直是運動員最害怕的事情，無論是慢性運動傷害、急性運動傷害都可能縮短甚至終結一個人的運動生涯，所以運動傷害防護在運動界與醫療界一直是備受關注的重點之一，經過專業人士多年研究，已經能夠預防與治療運動傷害，也衍伸專門做運動防護與治療的職業，例如運動防護員、物理治療師、運動管理師…等。但隨著運動風氣興起現今已是全民運動的時代，並非所有運動團隊都有能力聘請一位防護員，自主運動的民眾往往沒辦法做到預防，只能在身體開始有傷痛再就醫，何況在全球仍有許多醫療資源較不方便的地區，當地民眾要花費更高的時間與金錢成本才能到達最近的復健科或是物理治療工作室。隨著人工智慧（AI）蓬勃發展，AI 的運算速度與準確性不斷被改善，現今已經能使用二維影像訊號進行人體姿態識別，一旦能用影像計算出人類肢體姿態，自動檢測肢體健康狀況與輔助診斷將成為未來發展方向，除了能降低專業人力資源的依賴還能省去傳統物理治療中人工測量角度的麻煩。本研究以卡內基梅隆大學開發的 Openpose 肢體偵測 AI 模型為基礎，參考美國國家運動醫學學會（NASM）出版的「矯正運動訓練要素」、功能性動作檢測為診斷依據，結合物理治療師與復健科醫師臨床知識，開發出 2D 影像的肢體健康檢測系統。系統分為手機 App 使用者操作介面、運算伺服器、專業人士介面與資料庫等三個主要部分，由 APP 錄製的使用者影片，運算伺服器先經 Openpose 計算人體關鍵點(Keypoint)再轉換成臨床檢測指標，最終將健康指標與動作評分顯示在 App 與專業人士介面，給予使用者健康度. i.

(3) 回饋並推薦適合的復健影片。運算伺服器分為肢體偵測與檢測系統兩大部分，其中肢體偵測細分樣本採集、影片處理、關鍵點（Keypoint）處理、結果比較四個部份，檢測系統細分為系統架構、健康評等、影片推薦判斷依據。關鍵字：人工智慧、肢體偵測、物理治療、復健. ii.

(4) Abstract Sports injuries have been the most feared thing for athletes. Both chronic and acute sports injuries might shorten or even end one’s sports career. Therefore, it has always been one of the focuses of professionals in sports and medical fields. After years of research by professionals, there have been ways to prevent and treat sports injuries. It also developed occupations specialized in sports protection and treatment, such as sports protectors, physical therapists, and sports managers. With the rise of sports culture, sport is national activity now. However, not all sports teams have the ability to hire a protector, not to mention the people who exercise independently. They have difficulties to prevent it, but have medical treatments after sports injuries. Needless to say that medical resources are inconvenient in some areas. Going to the nearest rehabilitation department or physical therapy studio may take lots of time in these areas. With the rapid development of artificial intelligence (AI), the computing speed and accuracy of AI are continuously optimized. Nowadays, computers can be used for human body recognition. Once the positions of body pose can be identified with image detection, automatic detection of sports injuries and aided diagnosis will become the development direction in the future. It can not only reduce the dependence on professional resources, but also abandon the need for manual angle measurement in traditional physical therapy. This research is based on the Openpose pose detection AI model developed by Carnegie Mellon University. To make "Essentials of Corrective Exercise Training" published by the National Academy of Sports Medicine (NASM) and functional motion detection as the basis of judgment, this research combined the iii.

(5) clinical judgment knowledge from physical therapists and rehabilitation physicians and developed a 2D image detection system for sports injuries. Mobile phone App user interface, computing server, and professional interface and database are three main parts in this system. Users will receive their health feedback and be recommend suitable rehabilitation videos from the system after it get users’ films. This research includes pose detection and analysis system. Pose detection consists of sample collection, video processing, keypoint processing, and result comparison. The detection system is comprised of system architecture, health evaluation, and the basis of video recommendation judgment. Keywords: AI, Limb detection, Physiotherapy, Rehabilitation. iv.

(6) 誌謝在大三時就因為專題進入實驗室，轉眼間就在這待了四年，想當初什麼都不會，對於實驗室的事物都非常陌生，那時的我只能跟在學長姐的身邊跟著做事，漸漸的我已經不需要依賴學長姐，大四的我能自學新的工具並自己發想能夠怎麼應用，並跟當時專題組員齊心運用工具完成與產業結合的專題，後來進了師大碩士班換我成為別人的學長，這時的我已經能獨當一面完成研究，並能領導學弟妹分工合作完成不同任務，最終整合各種工具並建構出想要做的系統，在實驗室這段期間學到了非常多知識，但更重要的是如何自主學習與待人處世。在實驗室的四年感謝許多人的幫助以及啟發，其中最重要的人之一當然就是我的指導教授吳順德老師，或許是被老師教學魅力吸引也或許是跟程式有緣分，從大一上過必修程式設計之後我開始對寫程式有了一點興趣，到了大三就理所當然地到吳順德老師帶的訊號處理實驗室，在過程中當然學到許多的專業知識，但我覺得更重要的是學到待人處事的態度。老師做事非常的認真，常常投入在一件事情就會廢寢忘食，雖然過程中非常辛勞卻很少見老師抱怨，甚至不斷思考還能不能做得更多，且也不一昧追求金錢，總嚴以律己寬以待人，把許多麻煩事情都攔下自己完成，這認真想做好研究的態度讓我深受影響。在學術上也從老師身上學到非常多，覺得在訊號處理實驗是最難能可貴的就是實務經驗，在研究上不一昧追求完美理論，更求得業界與社會價值，也因老師人脈時常能接觸業界案子或是社會真實需要的研究，提早與業界接軌並能看到所做的東西被需要與使用帶來許多成就感。在求學生涯中能夠遇到如此用心得指導教授讓我成長許多，教導得不只是知識、研究更是未來待人處事以及面對困境時的態度，也祝福老師未來一切順心，並能栽培更多優秀人才。 v.

(7) 除了老師外，我也感謝研究室其他成員，旻祐、嚴謹兩位跟我同屆的研究生是從大學就開始的好夥伴，我們都從大三專題就到實驗室，在這過程中遇到什麼困難都能互相切磋討論，有煩惱也能找他們訴說，有時也會為了趕進度一起在研究室通霄，一起熬過辛苦的時間，感謝有他們陪伴與幫助，尤其是嚴謹是我大學專題以來的夥伴，也時常一起打球、出去玩，無論研究上或有任何其他事情找他聊聊都能夠有所幫助；松儒、柏賢、姿晴、承宣是實驗室的學長姊，起初進實驗室時什麼都不懂，感謝有他們用心的指導、花費時間帶領我，才能更快的上手，常常實驗碰到瓶頸時也能跟他們討論，經常能獲得有用的建議；依芳、文瑩是大學部學妹，她們兩個跟著我一起做研究，是非常值得信任的夥伴，事情都能放心地交給她們，替我減少了許多負擔；還有其他成員因為有太多就不一一點名，感謝有各位讓實驗室如此的溫暖，能夠一起熬夜、一起歡笑、一起度這充實的四年。再來要感謝本研究再醫療、物理治療領域的專業顧問，康鈞尉醫師與曾彥綸物理治療師，本團隊在吳順德教授的介紹下認識他們，因為團隊中並沒有物理治療與醫學相關專業背景的人士，因此有許多相關知識都是從兩位專業顧學習，其中康鈞尉醫師非常了解目前台灣與全球各地的醫療架構，從中剖析這項研究對現今社會的重要性，並且希望將「預防勝於治療」的理念帶入運動與物理治療，改變現今台灣對於運動傷害後才去診所的問題；曾彥綸物理治療師則提供許多物理治療專業知識，因本研究中需要物理治療專業知識與資訊系統結合，這個系統的判定標準都是不斷與他開會討論中訂定出來的，兩位專業顧問給了團隊很多專業上的幫助，他們的肯定也成為團隊繼續往前的動力，讓這個系統最終能夠完成。此外也感謝 Dr. Gym，Dr. Gym 是在執行 Ustart 創新創業競賽時的合作健身房，提供本研究實驗場域以及開會場地，以及一些運動相關的專業資源。. vi.

(8) 謝孟寰謹誌中華民國一百零九年七月. vii.

(9) 目錄摘要 .............................................................................................................. i Abstract ...................................................................................................... iii 誌謝 ............................................................................................................. v 目錄 ......................................................................................................... viii 表目錄 ......................................................................................................... x 圖目錄 ........................................................................................................ xi 第一章、緒論 ............................................................................................ 1 1.1. 前言 ........................................................................................... 1. 1.2. 研究動機與目標 ....................................................................... 2. 1.3. 論文章節概述 ........................................................................... 5. 1.4. 文獻探討 ................................................................................... 8. 第二章、肢體健康檢測系統 .................................................................. 14 2.1. 使用者 App ............................................................................. 15. 2.2. 資料庫 ..................................................................................... 21. 2.3. 運算伺服器 ............................................................................. 22. 2.4. 專業人士軟體 ......................................................................... 25. 第三章、樣本採集 .................................................................................. 28 3.1. 樣本動作 ................................................................................. 28. 3.2. 拍攝要點與受測樣本 ............................................................. 32. 第四章、實驗設計與結果討論 .............................................................. 34 4.1. 影片前處理 ............................................................................. 34. 4.2. 關鍵點處理 ............................................................................. 36. 4.3. 結果比較 ................................................................................. 42 viii.

(10) 4.4. 結果與討論 ............................................................................. 43. 第五章、結論與未來展望 ...................................................................... 51 5.1. 結論 ......................................................................................... 51. 5.2. 未來展望 ................................................................................. 52. 參考文獻 ................................................................................................... 54. ix.

(11) 表目錄表 1-1 功能性動作檢測評分標準 .................................................................. 13 表 2-1 各部位檢測流程 .................................................................................. 17 表 2-2 各動作完成度評等 .............................................................................. 24 表 4-1 影片翻轉 90 度前後比較表 ................................................................ 34 表 4-2 降低畫質前後比較表 .......................................................................... 35 表 4-3 降取樣率前後比較表 .......................................................................... 36 表 4-4 各動作健康指標 .................................................................................. 37 表 4-5 去除偏移與未偵測點前後比較 .......................................................... 42. x.

(12) 圖目錄圖 1-1 Openpose 人體偵測演算法 .................................................................... 3 圖 1-2 傳統關節活動度測量方式 .................................................................... 4 圖 1-3 系統架構圖 ............................................................................................. 6 圖 1-4 研究架構流程圖 .................................................................................... 7 圖 1-5 卡內基梅隆大學感知計算實驗室開發的 Panoptic Studio ................ 9 圖 1-6 Openpose 針對人體偵測的 25 個關鍵點(Keypoint) .......................... 10 圖 1-7 Openpose 針對手部偵測的 21 個關鍵點分布圖 ................................ 11 圖 1-8 功能性表現金字塔 .............................................................................. 12 圖 1-9 功能性動作檢測七項動作 .................................................................. 13 圖 2-1 系統架構圖 .......................................................................................... 15 圖 2-2 APP 首頁 ............................................................................................... 16 圖 2-3 APP 選擇檢測部位頁面 ....................................................................... 17 圖 2-4 APP 拍攝檢測影片流程與介面 ........................................................... 18 圖 2-5 APP 檢視歷史資料頁面示意圖 ........................................................... 19 圖 2-6 APP 推薦復健影片頁面 ....................................................................... 20 圖 2-7 帳號管理、使用者資料 ...................................................................... 21 圖 2-8 資料庫儲存內容 .................................................................................. 21 圖 2-9 關鍵點偵測流程圖 .............................................................................. 23 圖 2-10 關鍵點處理流程圖 ............................................................................ 24 圖 2-11 肩膀推薦影片標準 ............................................................................ 25 圖 2-12 腰部推薦影片標準 ............................................................................ 25 圖 2-13 膝蓋推薦影片標準 ............................................................................ 25. xi.

(13) 圖 2-14 專業人士軟體-拍攝影片介面 .......................................................... 26 圖 2-15 專業人士軟體-檢視客戶資料介面 .................................................. 26 圖 2-16 專業人士軟體-檢視結果 .................................................................. 27 圖 3-1 弓蹲動作示意圖 .................................................................................. 29 圖 3-2 全蹲動作示意圖 .................................................................................. 29 圖 3-3 平躺抬腳動作示意圖 .......................................................................... 30 圖 3-4 坐姿轉腰動作示意圖 .......................................................................... 30 圖 3-5 由上而下摸被動作示意圖 .................................................................. 31 圖 3-6 由下而上摸貝動作示意圖 .................................................................. 32 圖 4-1 Openpose 身體偵測 25 個關鍵點分布圖 ............................................ 38 圖 4-2 Openpose 手部偵測 21 個關鍵點分布圖 ............................................ 40 圖 4-3 平躺抬腳動作區分左右腳分界示意圖 .............................................. 41 圖 4-4 系統自動偵測與人工檢測比較示意圖 .............................................. 43 圖 4-5 健康指標計算流程圖 .......................................................................... 44 圖 4-6 弓蹲-軀幹與地面夾角偵測結果 ...................................................... 45 圖 4-7 全蹲-膝蓋夾角偵測結果 .................................................................. 45 圖 4-8 全蹲-手臂與小腿骨夾角偵測結果 .................................................. 46 圖 4-9 全蹲-膝蓋間距偵測結果 .................................................................. 46 圖 4-10 平躺抬腳-雙腿夾角偵測結果 ........................................................ 47 圖 4-11 平躺抬腳-膝蓋夾角偵測結果......................................................... 47 圖 4-12 坐姿轉腰-肩膀轉角偵測結果 ........................................................ 48 圖 4-13 坐姿轉腰-髖骨偏移偵測結果 ........................................................ 48 圖 4-14 手從上而下摸背-摸背位置偵測結果 ............................................ 49 圖 4-15 手從下而上摸背-摸背位置偵測結果 ............................................ 49. xii.

(14) 第一章、緒論. 1.1 前言經歷史記載，西元前兩千年便有運動競技的概念存在，有運動的地方變必定會伴隨「運動傷害」，無論是慢性運動傷害或是急性運動傷害，只要沒有妥善處理便會斷送一個人的運動生涯，這更是運動員極力避免的事情，因此運動防護與醫療概念也隨之產生，從最基本的護具、暖身、場邊防護、緊急處理直到復健、手術、人工關節都在此範疇。目前運動防護技術已發展相當成熟，而該領域的專業技術人員隨之出現，例如運動防護員、運動管理師、物理治療師…等，現今並不難在轉播比賽中看到防護員的身影，從運動按摩、貼紮、運動規劃、緊急處理至傷後復健都是他們一手包辦。隨著運動意識抬頭，全民運動時代已經到來，但並非所有的運動團隊都如同國家代表隊有足夠的資源能夠聘請一位專業的運動防護員，更不用說自主運動的民眾並沒有足夠的防護知識，因此微小的症狀往往沒有即時處理，直到病狀加重後才趕快就醫。都市中就有延遲就醫的問題，何況其他醫療密度低或是醫療成本高的國內外地區，需要花費更多的時間與金錢取得醫療資源，使得運動防護與治療更難普及。運動傷害可簡單區分為急性運動傷害以及慢性運動傷害兩類。急性是比較突發、立即發生且能立即發現並治療的，例如說扭傷、脫臼、拉傷；慢性運動傷害則相反，大部分是因為疲勞累積、長期動作不良造成。慢性運動傷害與肢體老化的兩大相似點是很難及時被發現且起初病狀輕微民眾不願意花錢診療，直到嚴重疼痛或是影響日常生活才去就醫已稍嫌太晚，不只要承受疼痛與更多的醫療費用，長時間累積還會大大提高急性運動傷害發生可能性，更怕的是過了最佳治療時間導致永久性傷害。 1.

(15) 慢性與急性運動傷害兩者治療前都需要經過專業人士評估，但治療方式就有極大差異，急性運動傷害最重視緊急處理，由專業人士貼紮、固定、手術；慢性運動傷害需要舒緩疲勞累積的部位，其中方式包括拉筋、按摩、矯正運動…等，因此慢性運動傷害或疲勞累積有時候需要的不一定是安排復健或是徒手治療，反而更需要調整錯誤的運動姿勢、運動後拉筋、使用按摩滾筒放鬆…等。. 1.2 研究動機與目標在校園中運動受傷的人層出不窮，不經令人思考，是否能讓物理治療更加普及？有沒有些部分是能用科技取代人力的呢？後面將依據物理治療檢查、評估、治療三個主要業務範圍來說明。檢查分為兩大類，需要使用儀器（例如 X 光、斷層掃描）與不用儀器（例如關節活動度檢測、功能性動作檢測），後者較不受機台或場域限制，因此選為本研究目標。正如同現今常使用在運動前的肢體健康檢測標準—功能性動作檢測，很多測驗已經有標準檢測流程、檢測動作、與評分依據，但問題是仍然需要物理治療師或是醫師在現場觀察與測量，甚至必須手動使用量角器測量（圖 1-2）；在這些已經有標準流程與判斷依據的測驗中，電腦若能代替人力測量與判斷，便有機會將整個流程自動化，包括推薦後續就醫或是做簡單的運動防護。. 2.

(16) 圖 1-1 Openpose 人體偵測演算法 [1] 肢體位置測量其實早有許多方案，機械穿戴式、可撓穿戴式、光學式、聲學式、電磁式、Kinect[2]…等已經有各式各樣的肢體偵測方式被發明出來，但受限於硬體設備、生產成本、依賴專業人力，因此可能難以作為本研究姿態偵測的工具；直到 2017 年卡內基梅隆大學（Carnegie Mellon University）研發 Openpose 肢體偵測演算法，Openpose 能夠從 2D 的 RGB 影像中偵測出人體的關鍵點（Keypoint）、臉部關鍵點、手指關鍵點，最常與之比較的就是 Kinect[3]，相較 Kinect 使用紅外線與 RGB 影像雙鏡頭需要硬體設備成本且距離容易受到紅外線有效距離影響，Openpose 可以使用一般手機鏡頭拍攝的 RGB 影像所以不需要額外成本也較無距離問題，且在準確度並不會輸給使用兩種鏡頭的 Kinect，因此很有機會能夠取代傳統人工用量角器、尺、肉眼觀察等測量方式。. 3.

(17) 圖 1-2 傳統關節活動度測量方式 [4] 物理治療上的評估項目不同於其他醫療領域，很多項目是能夠數據化的，例如關節活動度測量關節夾角、位置，有幾個臨床已經再使用的評估標準能參考，像是關節活動度測驗[5]、功能性動作檢測（Function Movement Screen） [6]與矯正運動訓練要點（Essential of Corrective Exercise Training）[7]，這些已經數據化的指標都能作為判斷標準，且不同於其他複雜訊號（如 X 光、心電圖）可能需要更繁瑣的計算方式，肢體健康的外在檢測標準通常有明確的數值（例如健康的人膝關節活動度應該落在 0～120 度），所以較容易實作，再經由物理治療專業人士調整、確認動作標準與流程，可能建立出能協助專業人力的診斷系統，讓使用者初步評估自己肢體健康狀況。治療的部分如前言所提到，在急性運動傷害與慢性運動傷害上的治療方式有非常大的差距，急性運動傷害因需要貼紮、開刀…等專業手法而難以用系統取代，所以研究將重點放在慢性運動傷害治療上，慢性運動傷害成因為疲勞累積、姿勢不良，治療方式包含放鬆、拉筋、按摩…等居家能完成的項目，這些項目在 Youtube 上就能找到非常多相關教學影片，民眾能從網路上找到影片跟著做，但是網路上影片動作、品質、正確度不一，系統需能幫使. 4.

(18) 用者篩選正確影片，並依照檢查結果推薦適合使用者影片。根據以上幾點，本研究將目標放在降低慢性運動傷害、建立半自動化診療流程的系統，並期望成本低使之容易普及至各地，所以用智慧型手機做為使用者介面，使用者只要手機連網就能上傳檢測影片與接收結果，後端伺服器負責從影片計算關鍵點、健康指標與推薦影片，所有的檢測紀錄會由資料庫紀錄，並供使用者查詢自己過去檢測結果。. 1.3 論文章節概述論文分為三個主要部份說明，分別是肢體健康檢測系統、樣本採集、實驗設計與結果討論，以下依序概述：. 1.3.1. 系統架構. 此章節會說明系統內容、流程、架設方式，從使用者端（APP）、運算伺服器、專業人士介面、資料庫，在此概略介紹四個部分(圖 1-3)：. 5.

(19) 圖 1-3 系統架構圖使用者端：. I. 提供民眾檢測的 App，使用 APP 前需要先註冊帳號並登入，系統會導入用戶個人專屬資料，接著選擇想要檢測的部位進行檢測，檢測過程只需要依照流程拍攝指定影片上傳，計算完結果之後能夠用 APP 觀看評分結果，並可以參考系統推薦的影片做簡單的復健。 II. 運算伺服器：運算伺服器為整個系統計算核心，從資料庫抓取 App 端的資料後進. 行運算，並結果回傳到資料庫供後續查詢，運算內容包括 Openpose 關鍵點、各動作評等、受測者健康度與推薦復健影片，此章節會細說健康指標計算、各動作評等標準、推薦影片的標準、影片選擇方式，至於關鍵點處理會在實驗設計與結果討論的章節在詳細說明。 III. 專業人士介面：提供專業人士（例如健身教練、物理治療師、防護員）管理與查看. 用戶檢測結果，且能將使用者分類，以方便在課程上管理，或是制定更適合學員的訓練菜單並給予專業的建議，適合用在健身房、老人安養、球隊等。 IV. 資料庫：作為各個裝置間的溝通橋樑，負責儲存所有資料，包括用戶資料、. 檢測影片、動作評分、檢測結果、推薦復健影片歷史紀錄，當需要使用時再從資料庫查詢。. 1.3.2. 樣本採集. 本研究將身體分為五個檢測部位，其中包含六項測驗動作，並找十位受測者拍攝各動作不同角度的影片，此章節會詳細說明測驗動作與流程的制定. 6.

(20) 標準與其參考文獻，並說明各個動作在拍攝時應該注意的細節。. 1.3.3. 實驗設計與結果討論. 此部分主要說明影片至健康指標的計算過程，也是實現檢測系統最重要的部份，在此分為四個部分說明（圖 1-4），I. 影片前處理 II. Openpose 影像處理 III. 關節點處理 IV. 結果比較：. 圖 1-4 研究架構流程圖 I. 影片前處理：採集到的影片會經由前處理之後再給 Openpose 運算，以增加運算速. 度、準確性、並降低對於資料庫的負擔。 II. Openpose 影像處理：使用前處理過的影片執行 Openpose 演算法，演算法能夠降低取樣率. 後計算出關鍵點位置，本研究中使用到手部以及肢體關鍵點，而無計算臉部關鍵點。. 7.

(21) III. 關鍵點（Keypoint）處理： Openpose 計算出來的關鍵點與實際上可能會有出入，有時會偏移、. 左右相反、未偵測到…等問題，所以必須將未偵測的到或是偏移過多的過濾掉，並將左右相反的座標回歸正確位置，再用修正後的關鍵點計算出較正確的健康指標。 IV. 結果比較：此步驟會比較系統自動計算出的健康指標與傳統物理治療師測量出. 的結果，以作為結果標準度的判斷依據，在此章節說明物理治療師測量以及比較方式。由 I~III 步驟改善關鍵點計算結果，第 IV 步驟比較自動檢測與人工檢測的健康指標，檢視計算出來的結果是否可行。. 1.4 文獻探討文獻探討分為三個部分介紹，分別是肢體偵測演算法(Openpose)、矯正訓練要點(CES Textbook)與功能性動作(FMS)檢測。. 1.4.1. Openpose. Openpose 是本研究中使用的肢體偵測演算法，能計算 RGB 影像裡面出現的人體關鍵點（Keypoint）位置，再將得到的關鍵點做後續處理，以下簡介 Openpose 並說明關鍵點點位分布。 I. Openpose 簡介 Openpose 為卡內基梅隆大學感知計算實驗室開發的肢體語言識別. 系統，以影像辨識開源程式庫 OpenCV 為基礎搭配在計算機視覺上主流、快速的深度學習框架 —Caffe 開發而成，開發者 Yaser Sheikh 表示 Openpose 在未來將能開創人機互動的新模式，相較於鍵盤、滑鼠按鈕，. 8.

(22) 直接偵測人體動作與臉部表情可以獲得更多的資訊，可以從這為基礎觀察人類的情緒、肢體語言[8]。有別於市面上紅外線、RGB 雙鏡頭的肢體偵測工具（例如 Kinect）， Openpose 只需要 RGB 影像就可以計算出之體位置，且受測人體距離不受限（Kinect 紅外線鏡頭約 1.5~3 m 的距離上限），偵測細節也比 Kinect 更多，不只身體關節偵測，Openpose 也能作到手指、臉部關鍵點（keypoint）偵測。能夠做到如此高準確度的 2D 影像肢體偵測其中一項大工程就是影像資源蒐集，他們開發的影像蒐集系統 Panoptic Studio(圖 1-5)內部高達 500 個攝影鏡頭裝設在半球體的空間，以此可以達到同個動作在各個角度的畫面，並能以 2D 影像為基礎在此建立 3D 模型，不需要硬體穿戴設備。. 圖 1-5 卡內基梅隆大學感知計算實驗室開發的 Panoptic Studio [9] Openpose 可用於多人身體關鍵點（25 點）、手部關鍵點（21 點）與臉部關鍵點（70 點）偵測，本論文使用到主要為身體關鍵點與部分手部關鍵點，以下說明這兩部分。. 9.

(23) II. Openpose 關鍵點. 身體關鍵點（body keypoint）身體關鍵點總共包含 25 個關鍵點（圖 1-6, [1]），其中包含耳朵、眼睛、鼻子、兩肩中心點與四肢關節點（肩、肘、腕、髖、膝、踝），身體關鍵點是本論文主要使用的數據，用於偵測肢體所在位置。. 圖 1-6 Openpose 針對人體偵測的 25 個關鍵點(Keypoint) [1] 手部關鍵點（hand keypoint）手部關鍵點總共包含 21 個關鍵點（圖 1-7, [1]），包含五根手指頭各三個關節與指尖以及掌跟，本論文用於特定動作的參考點，與肢體關鍵點混合使用作為動作完成度的參考依據。. 10.

(24) 圖 1-7 Openpose 針對手部偵測的 21 個關鍵點分布圖 [1]. 1.4.2. 矯正運動訓練要點（CES Textbook）. 矯正運動與矯正治療兩者並不相同，矯正治療多用於復健科或是物理治療場域，病患因疼痛而求助於專業醫療，由物理治療師對受傷部位進行處理達到加速康復的效果，屬於傷後醫療的領域；矯正運動較常用在運動場域，運動員或是教練為了提升在運動時的表現而對於身體狀態做評估，找出身體較強以及較弱的部位並加以矯正，目標是達到身體狀況平衡且健康，不但能夠獲得更好的運動表現，且能降低在激烈運動時造成運動傷害的可能性。在矯正運動領域有一本被奉為聖經的書籍，那便是美國國家運動醫學會（NASM）出版的「矯正運動訓練要點」[7]， NASM 是一家美國運動培訓機構，其「最佳表現訓練方式」（OPT）與「矯正運動」（CES）是最廣為人知的兩套課程，在一套完整的運動員訓練項目中 CES 會擺在 OPT 之前，CES 是為了矯正過去比賽或訓練期間造成的肌肉不平衡、錯誤姿勢、關節機能失調和神經肌肉協調問題，CES 能平衡身體各部位的狀態還更能降低往後運動以及訓練時受傷的風險。在國內 NASM-CES 被許多健身教練視為必考的證照之一，更是許多物理治療師臨床參考書籍，而本論文參考此書訂出六個動作作為測試內容，搭 11.

(25) 配 Openpose 關節偵測對受測者動作完成度評分，評分將在後續作為該部位健康度參考依據。六個動作分別為弓蹲、全蹲、平躺抬腳、坐姿轉腰、手從上而下摸背、手從下而上摸背，動作判斷標準與檢測項目會在後面詳細說明。. 1.4.3. 功能性動作檢測(Functional Movement Screen). 不同於過去強調訓練的強度與密度，現今更強調在專項運動(Skill) 跟強化動作表現 (Performance) 前，應該要先評估是否具有良好的動作型態 (Movement)。葉峻榳醫師在他的網站提到：「動作型態不佳的情況下，強行去進行強化動作表現跟專項運動，就會變成倒金字塔，這樣就不太好。舉例來說，明明肩關節的活動度 (屬於 movement 範圍) 不好，卻強行做出棒球投球的大幅度動作 (屬於 performance 跟 skill 部分)，受傷的風險自然提高。」[11]而功能性動作檢測 (Functional Movement Screen, FMS) 就是因應這個需求所被訂定出來的一項檢測標準，定位在運動前的動作型態檢測。. 圖 1-8 功能性表現金字塔[11] 功能性動作檢測為 Gray Cook (物理治療師)、 Lee Burton (運動傷害防. 12.

(26) 護師) 與 Keith Fields (運動生理學家)三人研發出用於用動員運動前的肢體健康狀況評估工具，能降低運動時受傷的風險，功能性動作檢測主要有七項動作測試，分別是跨欄、深蹲、肩部活動、直線前蹲、軀幹穩定伏地挺身、主動直膝抬腿、旋轉穩定性，並將七項動作分四個評分等級：表 1-1 功能性動作檢測評分標準. 七項檢測項目總分為 21 分，研究指出總分若低於 14 分有較高的受傷風險，更要注意若有部位評分為 0 則需要醫療人員介入[6]。. 圖 1-9 功能性動作檢測七項動作[6]. 13.

(27) 第二章、肢體健康檢測系統系統有四項主要開發目標，一、系統需容易推廣與普及，因此必須讓使用者不用負擔額外硬體設備費用，二、需要容易操作且說明簡單，若過於複雜便難以推廣，三、能夠居家檢測肢體健康，縮短城鄉差距，使得醫療較不方便的地區也能初步檢測身體健康狀況，四、讓使用者自主復健，有些簡單的伸展放鬆不需要至醫療場域，對民眾來說可以省去時間成本。基於上述四項目標，最終決定使用 App 當使用者操作介面，錄製完指定檢測影片後搭配手機行動網路上傳，影片儲存在資料庫並由運算伺服器計算健康評等與推薦使用者復健的影片，完成計算後 APP 會通知使用者檢視結果並居家復健，所有的檢測歷史紀錄也會儲存在資料庫，不只能提供使用者查看，也能提供給專業人士（如健身教練、復健科醫師），並達到更加的訓練成果。本系統功用是肢體健康檢測，因此使用時機為身體不適時使用，並非在受傷後在使用，經過系統選取肢體卡卡的地方，系統會推薦一套影片檢測流程，跟著 APP 引導錄製後上傳完成健康狀況檢測，等待運算伺服器計算完畢後回傳結果就並自主復健，還能後續追蹤測量復原情形；運動訓練之前或前往物理治療場域前也能先在家使用本系統測量，錄製完一系列影片之後系統會產生數據，輔助專業人士能夠檢核使用者狀況並現場或線上給予專業建議，能省去現場檢測的時間甚至能因線上回饋意見功能省去許多交通時間。整個系統依照功能分為四個部分，使用者 App、資料庫、運算伺服器、專業人士軟體，此章節會分成這四個部分說明。. 14.

(28) 圖 2-1 系統架構圖. 2.1 使用者 App 為了提供使用者最便利的受測介面，我們選擇以智慧型手機為使用者平台，手機能夠包辦拍攝影片、連接網路、觀看結果三個重要工作，而其中從市占率較高的安卓系統開始開發，使用 Android studio 為編譯器用 java 與 xml 寫成的安卓 App，目前支援到 android Oreo 版本且已經推上 Google Play 商店，可在 Google Play 下載到 B eta 測試版的 App。使用者 App 有四種主要功能，檢測肢體健康狀況、歷史資料觀看、推薦復健影片、帳戶管理，以下會分這四項功能說明。. 15.

(29) 圖 2-2 APP 首頁. 2.1.1. 檢測肢體健康狀況. 系統將人體大致分為五個檢測部位，分別為右肩、左肩、腰、右膝、左膝，選擇受測部位的介面上放了一個男人的圖片，使用者透過點擊圖片人物部位選擇想要檢測的位置，未來不排除區分成更多、更細的部位。. 16.

(30) 圖 2-3 APP 選擇檢測部位頁面點選後會開始按照該部位的標準流程（表 2-1）引導使用者拍攝影片，首先播放預先錄好的示範影片並提醒拍攝要點，觀看完後進入拍攝介面，介面中會有人形框線給拍攝者對準的參考依據，完成拍攝後影片能夠預覽，使用者在重播完錄製的影片決定需不需要重新拍攝，確認拍攝無誤後進入下個拍攝動作，將整個拍攝流程完成之後 APP 會將本次測驗結果一次上傳資料庫，而各部位的拍攝流程分別如圖 2-4。表 2-1 各部位檢測流程. 17.

(31) 圖 2-4 APP 拍攝檢測影片流程與介面. 2.1.2. 觀看歷史資料. 使用者能從登入後的主選單選擇觀看歷史紀錄進入該功能，此功能提供使用者查看過去檢測動作的評分與影片重播，所有歷史檢測紀錄會以清單的方式呈現，並按照時間排序，越新的測驗結果會排放在最上面，每一項檢測結果的最左側會有一個肢體健康狀況警示燈，依照使用者測驗評等給予不同顏色，狀況良好、不需要復健會給予綠色燈，需要按照推薦復健或是拉筋的給予黃色燈，必須要洽詢專業醫療人員的會給予緊急的紅色燈，點擊清單選項後進入歷史紀錄檢視頁面，能夠檢視上次測驗的結果，包括系統對於所有檢測影片個別的分數評等與綜合評語，分數評等部份會在運算伺服器的部份說明。. 18.

(32) 圖 2-5 APP 檢視歷史資料頁面示意圖. 2.1.3. 推薦復健影片. 復健影片的推薦會依據使用者過去的測驗結果去計算身體各部位狀態，依照拍過的影片評分去計算什麼部位需要復健、適合什麼方式與該用什麼強度，並將適合的復健影片推薦給使用者，會依照身體狀況依序推薦拉筋、滾筒、按摩或是最嚴重的會推薦馬上就醫，介面中的影片列表會同時顯示多部影片列表，並提供按讚數量與影片上傳時間的資訊給使用者自己選擇，點擊後會轉跳至 Youtube App 撥放復健片，至於影片的選擇是經由物理治療師根據分數評等挑選，詳細如何推薦影片會在運算伺服器的部份說明。. 19.

(33) 圖 2-6 APP 推薦復健影片頁面. 2.1.4. 帳戶管理. 本系統有使用帳戶管理機制，每位使用者會有自己的帳號密碼，要登入帳戶才能夠使用 App 功能，以方便做個人健康履歷以及未來近一步的功能研發，使用者只能看到自己的歷史資料並根據用戶的歷史資料推薦復健影片，目前能夠綁定 Facebook 並會從 Facebook 取得信箱、出生年份、姓名、性別作為用戶資料存在資料庫，另一方面能做為未來對於不同年齡層與性別健康指標研究的依據。. 20.

(34) 圖 2-7 帳號管理、使用者資料. 2.2 資料庫本系統資料庫用 mySQL 架設，搭配 php 做連結與資料庫存取、讀取，資料庫內有儲存用戶資料、原始影片、關鍵點、檢測結果、推薦影片網址，資料庫是另外三個系統互相連結的中樞，使用者 App、運算伺服器、專業人士軟體都是跟資料庫索取資料，並將結果再回傳給資料庫。. 圖 2-8 資料庫儲存內容 21.

(35) 2.3 運算伺服器運算伺服器分為三個部份，分別是影片前處理與 Openpose 關鍵點運算、健康指標與分數計算、綜合評分與推薦復健影片，因為負責整個系統的運算，所以是整個系統中負擔最大的部份，特別是 Openpose 需要耗費大量資源，因此所花費的硬體設備成本會是系統中最高的，Openpose 主要使用 GPU 計算，採用的是 GeForce RTX 2080，CPU 用的是 i7-9700，未來不排除將 Openpose 運算獨立出來。以下針對運算伺服器四個部份說明：. 2.3.1. 影片前處理與 Openpose 關鍵點運算：. 此部分負責將原始影片轉換成肢體關鍵點（Keypoint），又細分為兩個部分，分別是影像前處理與 Openpose，前處理負責 Openpose 以外的影片處理，是為了加快計算速度並降低資料庫儲存影片時的負擔，Openpose 則是從影片內計算出全身的關鍵點，這部分的伺服器會定期發請求給資料庫，查詢資料庫內是否有新增的影片需要計算，若有未計算過的新影片則將影片從資料庫內下載，藉由讀取檔名內標記的動作類型來判斷需要做什麼處理，例如平躺抬腳的影片則須先翻轉 90 度使之呈現類似站立的動作，而為了提高運算速度與資料庫儲存負擔，影片會被壓縮成指定畫質 672*504，並設定影片取樣率為 1/10 開始執行 Openpose，若是摸背的動作還需要偵測手部關鍵點，出來關鍵點資料會依照影片編號回傳到資料庫，等待同一組影片都完成後執行下個步驟。這部分在下一章節會做更詳細的說明。. 22.

(36) 圖 2-9 關鍵點偵測流程圖. 2.3.2. 健康指標與分數計算：. 這個步驟是將先前計算完的關鍵點拿來換算成物理治療臨床用的指標，每個動作在功能性動作檢測或是矯正訓練要點內都已經有說明動作該注意的指標（表 2-2），但因 Openpose 在計算關鍵點上並不百分之百正確，因此再計算指標數值之前，要先針對關鍵點做判斷，需要濾除沒有偵測到或是偏離太多的關鍵點做校正，才能獲得更正確的數值，健康指標出來後會依照物理治療師討論出的分數門檻給予評分，再將評分上傳至資料庫與該筆影片資料記錄在一起。. 23.

(37) 圖 2-10 關鍵點處理流程圖表 2-2 各動作完成度評等. 2.3.3. 綜合評分與推薦復健影片：. 這個步驟將各動作的評分標準換算成該部位的測驗評等，每個部位會做兩個或三個動作，當所有影片的成績都計算完後會開始計算該部位的綜合評等，評等會用來推薦影片用，推薦影片依照功能主要分為三大類，狀況最良好沒有什麼問題的會推薦肌力訓練，其次會推薦按摩放鬆，再更差的會推薦復健影片讓使用者在家自己復健，但真的最差的第四類會建議盡快就醫，尋求專業人士幫忙。. 24.

(38) 圖 2-11 肩膀推薦影片標準. 圖 2-12 腰部推薦影片標準. 圖 2-13 膝蓋推薦影片標準. 2.4 專業人士軟體專業人士介面適用 C#寫成的 Windows 介面，目標是給合作的專業人士用，例如說醫師、物理治療師、健身教練…等，當健身教練接收到新的學員時，不必重新對學員進行一連串的測試，而是能檢視學員過去的肢體健康狀態，並給予建議或是參考這些測驗結果訂定比較適合的訓練菜單給學員，並能夠在訓練期間反覆測試，來觀察有沒有進步或是受傷的問題。此部分介面分為三個主要部分，第一是影片拍攝與上傳介面(圖 2-14)，上傳的影片會經. 25.

(39) 過 Openpose 計算出關鍵點並將結果存在資料庫，提供以後查看。. 圖 2-14 專業人士軟體-拍攝影片介面第二部分(圖 2-15)是客戶資料檢視，專業人士可以查看用戶過去的測驗紀錄，並能依照標籤分類。. 圖 2-15 專業人士軟體-檢視客戶資料介面第三部分(圖 2-16)是結果檢視介面，此介面能看系統給予使用者的測驗評分，也能夠勾選想要看的角度、長度變化，代替傳統使用量角器測量的方式。. 26.

(40) 圖 2-16 專業人士軟體-檢視結果. 27.

(41) 第三章、樣本採集. 3.1 樣本動作本研究目標將肢體健康檢測經由資訊系統普及到醫療不便的角落，起初以運動防護為觀點切入，選擇的測驗動作也都會以運動前的肢體健康評估與慢性運動傷害預防為目標來訂定，因此主要參考的依據為功能性動作檢測的測試動作，並混合矯正訓練要點與功能性動作檢測兩項常常在復健科使用的評估與診斷標準，最終由物理治療師討論出使用的六項測驗動作。在文獻回顧部分介紹過功能性動作檢測與矯正訓練要點，而關節活動度在四肢與脊椎的身體檢查中是很重要的一部分，它可提供專業醫療人員確定患者機能損傷與評估復原狀態之指標[13]，物理治療人員時常會隨身攜帶量角器幫助病患測量。最終依照動作簡易程度、拍攝不需要其他輔具、全身初步檢測作為挑選動作目標指標，選出了六個動作，分別是弓蹲、全蹲、坐姿轉腰、平躺抬腳、手由上而下摸背、手由下而上摸背，以下分六步驟說明：. 3.1.1. 弓蹲：. 起初單膝跪姿腳尖都朝向前方，後腳膝蓋需與前腳跟距離約五公分，腳掌位置不移動下站起，檢查雙腳內側需在一直線後，前腳同側手抱胸、後腳同側手放腰後即完成準備動作。測驗時應保持軀幹垂直地面，慢慢蹲下置單膝跪地後停一秒再站起即完成一組測驗動作，過程中應竟量保持軀幹與地面垂直、不要向前後傾斜。. 28.

(42) 圖 3-1 弓蹲動作示意圖. 3.1.2. 全蹲：. 雙腳與肩同寬、腳尖朝前，雙手向上伸直即完成準備動作。慢慢蹲下到底後停一秒後慢慢站起為一組動作，過程中應盡量保持手與地面垂直、膝蓋朝向前方，膝蓋盡量保持穩定、不要抖動並保持與肩同寬，腳跟必須與地面貼齊、不可離地。. 圖 3-2 全蹲動作示意圖 29.

(43) 3.1.3. 平躺抬腳：. 平躺後手放在身旁兩側即完成準備動作。單腳慢慢抬起後至最高點停一秒後再慢慢放下為一組動作。過程中應保持雙腳膝蓋不彎曲。. 圖 3-3 平躺抬腳動作示意圖. 3.1.4. 坐姿轉腰：. 坐在不會轉動、小腿垂直地面時膝蓋約能維持 90 度的椅子上，雙腳約與肩同寬、雙手抱胸、面向前方完成準備動作。慢慢轉動腰部至極限後停一秒後慢慢轉回來，轉動時應保持髖關節、膝蓋不要移動，且雙肩保持水平。. 圖 3-4 坐姿轉腰動作示意圖. 30.

(44) 3.1.5. 手從上而下摸背：. 雙腳與肩同寬站立，受測手向上伸直、另一手放鬆垂下完成準備動作。手沿著背部緩緩向下延伸摸背，達到極限時停一秒後回歸初始動作，過程中應保持腰挺直、無左右彎曲。. 圖 3-5 由上而下摸被動作示意圖. 3.1.6. 手從下而上摸背：. 雙腳與肩同寬站立、雙手放鬆下垂。受測手沿著背部慢慢向上延伸，至最高點時停留一秒鐘後再緩緩放下，過程中應盡量保持腰桿挺直、無左右彎曲。. 31.

(45) 圖 3-6 由下而上摸貝動作示意圖. 3.2 拍攝要點與受測樣本拍攝時攝影機（或手機）需用腳架架設在與受測者腰部等高處水平拍攝，注意左右是否也維持水平，除了平躺是橫向拍攝外其餘皆是縱向拍攝，在受測者測試全程都在鏡頭內為前提鏡頭應盡量靠近受測者，使受測者能佔滿整個畫面。拍攝過程中應避免其他人入鏡，維持畫面內除受測者外沒有其他人，以免造成偵測錯誤，且背景也應避免有人的圖案（例如人形看板、壁紙），受測者應避免跟膚色太接近或是與背景顏色完全相同的衣服。弓蹲：鏡頭從側面拍攝，分別拍攝左側與右側影片樣本，前腳側向鏡頭、頭保持向前看。全蹲：需分別拍攝正面與側面兩個方向的影片樣本，提醒受測者腳跟不能離地、不須勉強蹲下造成重心不穩。平躺抬腳：鏡頭從側面拍攝，分別拍攝左側與右側的影片樣本，抬起腳側向. 32.

(46) 鏡頭，鏡頭架設在站立時腰部高度，不需調整。坐姿轉腰：鏡頭從正面拍攝，提醒受測者肩膀不要傾斜、髖關節不可以轉動。手從上而下摸背：鏡頭從背面拍攝，需確認拍的到受測者手指、且全程手不會超出畫面，影片開始錄製時受測手必須在最高點。手從下而上摸背：鏡頭從背面拍攝，需確認拍的到受測者手指、且全程手不會超出畫面。因這次實驗的主要目的為測試肢體健康檢測是否能夠由系統自動化，這些測驗標準都是既有的健康指標所以不會多加測驗指標跟肢體健康狀況的關係，因此在影片樣本採集時並沒有特別選取不同年齡層與健康狀況的人，只講求動作標準性與影片品質，共收取 20 位受測者的影片資料。. 33.

(47) 第四章、實驗設計與結果討論以下會依序比較每個步驟加入前後的差異，並在最後總結最終流程與整個實驗成果。. 4.1 影片前處理在實際流程上並不會直接將使用者上傳的影傳入 Openpose 中執行，在此之前影片會先經過前處理，以達到最高的效能以及最佳的結果，在本實驗中，在這主要做了影片的翻轉、降取樣以及降低畫質，後面會針對三項依序說明詳細方法以及結果。. 4.1.1. 影片翻轉 90 度. 在本實驗的六個動作中平躺抬腳的偵測結果最差，除了偏移嚴重之外甚至有大量未偵測到的關鍵點，推估是因為 Openpose 在訓練模型時大部分是站立的資料，所以造成平躺的辨識準確度降低，因此測試在影片輸入前先翻轉九十度成類似站立姿勢，再與未翻轉之前做比較。表 4-1 影片翻轉 90 度前後比較表處理 fps 結果. 原始 24.1. 翻轉 90 度 30.7. 82.68928199. 78.88807018. 上圖為平躺抬腳影片雙腿夾角數值，未翻轉的原始數值與翻轉 90 度的數值比較可以看出翻轉 90 度之後比較平滑，無論是關鍵點偏移或是未偵測 34.

(48) 到的問題都大幅下降，且計算出來的健康指標與人工測量數值也更加接近，除此之外運算速度也有明顯提升，從 1440×1080 翻轉成 1080×1440 時平均速度從 24.1 fps 提升到 30.7 fps，提升 27%左右。因此在 Openpose 計算前會將所有動作都翻轉成直立的狀態，以目前的六項檢測動作只有平躺抬腳需要先翻轉 90 度呈現頭上腳下直立的形式，再輸入到 Openpose 演算法。. 4.1.2. 降低畫質. 最初蒐集的影片素材畫質為 1080*1440，但考慮到未來用戶手機裝置並不相同而會有各種不同畫質的影片，因此有必要訂定一個統一的標準畫質，又考量畫質越高可能會需要更長的運算時間，因此在拍攝影片後會進一步壓縮影片，在不影響結果的前提下取得最低影片畫質。. 表 4-2 降低畫質前後比較表畫質處理 fps 結果. 1440×1080 30.7. 672×504 36.0. 82.69120331 82.56205559. 在嘗試多種畫質後，最終決定將影片統一壓縮成 672*504，這是不影響最終偵測結果的最低畫質，上面圖表是一組平躺抬腳影片，數據顯示為雙腳的夾角，可看出同一影片 1440*1080 與 672*504 結果幾乎一模一樣，但處理速度從每秒 30.7 幀提高到每秒 36.0 幀，提高了 17%左右，不提高了 Openpose 執行速度也能大幅增加資料庫能夠存取的影片量。 35.

(49) 4.1.3. 降低影片每秒取樣率. 目前市面上最大眾的影片取樣率是 30fps 與 60fps，但考慮到本研究應用在功能性檢測與關節活動度等肢體健康應用所檢測的動作並不快，且大部分物理治療測驗動作為了確保準確性都會要求受測者在端點停留約一秒之後再繼續動作，因此認為可以降低影片取樣率，並期望能夠等比例降低計算的時間，實驗中將最初 30fps 的影片降取樣成 6fps、3fps、2fps、1fps。. 表 4-3 降取樣率前後比較表影片 fps 時間結果. 30 fps 20.89. 3 fps 4.91 82.63535874. 82.69120…. 上圖分別為平躺抬腳雙腿夾角再 30fps 與 3fps 偵測的表現，能發現 3fps 雖然並無取的真實最高點，但與原本的角度誤差甚至小於 0.1 度，在物理治療上是可以接受的誤差範圍，且仔細去看降取樣後的偵測數據可發現實際上與原始端點數值誤差 1%內的點仍然有三個，所以降取樣為 3fps 再目前動作來說並不會影響最終的判定結果，在運算的時間也從 20.89 秒降低到 4.91 秒，約縮短了 4.25 倍，雖然並不如預期中應該縮短 10 倍左右，但依然有顯著的時間差異。. 4.2 關鍵點處理影片經由 Openpose 演算法之後可以得到人體關鍵點，但人體關鍵點並. 36.

(50) 沒辦法直接判讀，需要經由轉換成物理治療與運動醫療臨床上的健康指標，本研究與物理治療師討論出來的六項動作中部份動作有多重指標，因此總共有 10 項指標，以下將說明指標的訂定與計算。. 4.2.1. 健康指標訂定與計算. 影片經過 Openpose 演算法後會輸出 25 個身體關鍵點及左右手各 21 個手指關鍵點，健康指標的訂定必須符合臨床判斷標準且必須能夠從這些關鍵檢推算出來，後續在用計算出來的健康指標做後續評分與健康評等。我們將訂定出來的指標分為兩大類，主要指標與次要指標，主要指標是臨床上該動作主要觀測的觀測標準，例如說全蹲的主要判斷標準為膝蓋夾角，關係到髖、膝、踝的關節活動度；次要指標是用於判斷動作標準度或是次要的臨床觀測標準，例如說全蹲中需要觀測小腿骨與前臂夾角，這能觀測到動作標準度，若前臂過於前傾可能是因為踝關節活動度太差造成。表 4-4 各動作健康指標動作弓蹲全蹲. 平躺抬腳坐姿轉腰手從上而下摸背手從下而上摸背. 指標 1.肩、髖連線與地面夾角 1. 膝蓋最小夾角 2. 膝蓋穩定度（晃動幅度） 3. 小腿骨與前臂夾角 1. 雙腳夾角 2. 膝蓋彎曲 1. 旋轉角度 2. 髖骨偏移 1. 摸背位置 1. 摸背位置. 上表是對六項動作的訂定的十一項指標，紅色字為主要指標其餘為次要指標，接下來會說明各項健康指標的用意以及計算方式，在後面的肢體關鍵點編號如圖 4-1 上的編號。. 37.

(51) 圖 4-1 Openpose 身體偵測 25 個關鍵點分布圖 I. 弓蹲：肩寬與地面夾腳：左側為 5、12 連線與縱軸夾角。右側為 2、9 連線與縱軸夾腳。為弓蹲的主要指標，目標檢測出軀幹穩定度，若在過程中前後傾斜太多都會被判定軀幹穩定度差。. II. 全蹲：膝蓋最小夾角：12、13 連線與 13、14 連線的夾角。為全蹲的主要指標，關係到腳部多個部位的柔軟度、關節活動度。膝蓋穩定度（晃動幅度）：10、13 間距與 2、15 間距的比值。為全蹲次要指標，需要正面拍攝的影片，用來檢測膝蓋穩定度，影響到穩定度的因素包括肌肉量、是否受傷。小腿骨與前臂夾角：13、14 連線與 7、5 連線的夾角。用於判斷動 38.

(52) 作正確度，標準動作前臂應該盡量向上，不應超出小腿骨太多。 III. 平躺抬腳：雙腳夾角：計算 11、9 連線與 9、14 連線的夾角，抬起腳在另一隻腳的投影長度除以原始腳長再取 cos-1。為平躺抬腳的主要指標，關係的腳部的關節活動度，角度越大越表示活動度越高。測驗時應注意膝蓋保持打直。膝蓋彎曲：右腳為夾角 9、10、11，左腳為夾角 12、13、14。為平躺抬腳的次要指標，用於判斷動作是否標準，當膝蓋彎曲超過十度時表示動做不標準。. IV. 坐姿轉腰：旋轉角度：偵測肩膀旋轉角度，初始肩膀寬（2、5 連線長度）與後來的肩寬取 sin-1 得到旋轉角度。為坐姿轉腰的主要指標，用來判斷背與髖的柔軟度、關節活動度，測驗時應保持髖關節不移動。髖骨偏移：9、12 的偏移量。為坐姿轉腰的次要指標，用來判斷測驗姿勢是否標準，髖關節若移動或是旋轉都會造成測驗的角度不準確。. 39.

(53) 圖 4-2 Openpose 手部偵測 21 個關鍵點分布圖 V. 手從上而下摸背：摸背位置：手指（手部關鍵點 12）摸背的位置，但因為每個人拍攝距離與身高都不相同，所以判斷時是測驗對側肩膀為標準（測驗左手時就以右肩 2 為標準，測驗右手時以右肩 5 為標準），雙肩中點至髖骨中點的距離為比例尺。手從上而下摸背的主要指標，也是很常見的肩膀關節活動度測驗，柔軟度、肩膀受傷都會影響到測驗結果。. VI. 手從下而上摸背：摸背位置：手指（手部關鍵點 12）摸背的位置，但因為每個人拍攝距離與身高都不相同，所以判斷時是測驗對側肩膀為標準（測驗左手時就以右肩 2 為標準，測驗右手時以右肩 5 為標準），雙肩中點至髖骨中點的距離為比例尺。手從下而上摸背的主要指標，也是很常見的肩膀關節活動度測驗，柔軟度、肩膀受傷都會影響到測驗結 40.

(54) 果。. 4.2.2. 左右手（腳）翻轉. 起初在平躺抬腳、摸背…等側面拍攝的影片偵測時出來數據會發生預期外的跳動，但把所有點標記在影片上又發現所有的肢體關鍵點都有偵測到，並無發生錯誤，因此就進一步探就發生的原因。後來發現 Openpose 偵測出來的肢體關鍵點偶爾會有左右側相反的錯誤，問題多出現在沒有拍攝到臉部的動作以及穿著黑色褲子的影片樣本中，可能是臉部的方向以及褲子光影會影響到左右的判斷，但考慮到問題發生時只發生左右相反，而實際上關鍵點座標並沒有偏移，因此著手在關鍵點左右側的關鍵點校正，要對每個動作訂定出左右側判斷標準，若發生關鍵點左右交換問題則將兩者交換回正確座標。. 圖 4-3 平躺抬腳動作區分左右腳分界示意圖平躺抬腳與摸背共三個動作較容易發生左右錯置的問題，且計算時需偵測特定手、腳發生關鍵點左右錯置就會使最終健康指標計算錯誤，因此針對這三項動作矯正左右錯置問題，以平躺抬腳為例，流程中會將須採用的的關鍵點中心為界線做二分，以上圖為例分界線左上側為右腳關鍵點、右下則為左腳的關鍵點。. 41.

(55) 4.2.3. 去除未偵測點與偏移點. 在一開始偵測時會發現不時會發生偵測不到關鍵點或是關鍵點偏移的問題，特別是起初平躺抬腳未翻轉 90 度前的偵測結果，因偵測錯誤造成數據急劇跳動很容易造成判斷健康指標時的錯誤，因此在計算關鍵指標前會先檢查是否有關鍵點偵測不到的問題。. 表 4-5 去除偏移與未偵測點前後比較原始結果. 去除未偵測與偏移點後 78.88…. 78.88…. 此部分為兩階段篩檢，首先篩檢 Openpose 輸出的關鍵點，先過濾大幅跳動以及未偵測的關鍵點坐標，但有可能會有前後幀也偵測錯誤的情況發生，因此有第二部分的健康指標篩檢，因動作是連續且緩慢所以理論上出來的健康指標也要會是連續的曲線，所以在健康指標計算時會去除突然大幅跳動的訊號，並用前後幀的健康指標數值補上。上圖為平躺抬腳未翻轉 90 度之前的雙腿夾腳數值圖，以及處理過後的雙腿夾腳數值圖，處理過後數值較平滑且與實際情況較吻合又更容易抓取最大值。. 4.3 結果比較從影片前處理、Openpose 偵測關鍵點、關鍵點處理、計算健康指標一連串流程計算完成後，將系統計算出的健康指標與物理治療師臨床所觀測的結果作比較，看是否與肉眼觀測結果相同。. 42.

(56) 82.63535874. 82.0∘. 圖 4-4 系統自動偵測與人工檢測比較示意圖肉眼觀測座標、角度以電腦標點所使用的是免費的螢幕測量軟體 Meazure，Meazure 可以顯示滑鼠所顯示的座標、三點計算角度，將影片播放至關鍵幀（以平躺抬腳為例，腳抬至最高處時便為關鍵幀）後再用 Meazure 手動標點作為肉眼觀測結果依據去計算觀測結果，與系統自動檢測出的結果作比較。. 4.4 結果與討論以下分為兩部分說明，首先以一個流程圖說明最終訂定的檢測流程與參數，再依照六個動作（十個指標）說明實驗結果。. 4.4.1. 流程與參數. 輸入影片可用任何鏡頭拍攝 3:4（平躺抬腳為橫向 4:3）影片，輸入後先. 43.

(57) 將影片統一翻轉成直向，再降低成標準畫質 672×540，每 10 幀取 1 幀去跑 Openpose 演算法。計算出關鍵點後，若是側面拍攝的動作需先修正左右錯置，再開始計算設定的健康指標，再去除沒有偵測到的關鍵點與偏離點，最後與人工標點的數值比較。. 圖 4-5 健康指標計算流程圖. 4.4.2 I. 實驗結果. 弓蹲軀幹與地面夾角：健康的人夾角應該要在 90±10o，結果誤差在±2o 內，. 雖然能看出趨勢，但因為浮動很大很難選取單一峰值作為判斷依據，適合以. 44.

(58) 趨勢作為參考依據。圖 4-6 中紅色為曲線趨勢，與影片中受測者的狀況相似。 98. 軀幹與地面夾角(度). 96 94 92 90 88 86 84 82 80. 1 11 21 31 41 51 61 71 81 91 101 111 121 131 141 151 161 171 181 191 201 211 221 231 241 251 261 271 281 291 301 311 321 331 341. 78. 畫格(frame). 圖 4-6 弓蹲-軀幹與地面夾角偵測結果 II. 全蹲膝蓋夾角：取最小值，數值越低越好，健康的人約 20o ~35o，從圖 4-7 能. 看出腳部的偵測穩定度比軀幹更高，從側面拍攝的影片去偵測膝蓋夾角數值並沒有太明顯抖動，結果與實際誤差±2o，可以直接參考結果。 200 180. 膝蓋夾角(度). 160 140 120 100 80 60 40 20. 1 11 21 31 41 51 61 71 81 91 101 111 121 131 141 151 161 171 181 191 201 211 221 231 241 251 261 271 281 291 301 311 321 331 341 351 361 371 381 391. 0. 畫格(frame). 圖 4-7 全蹲-膝蓋夾角偵測結果手臂跟小腿骨夾角：取其最小值，夾角越小表示狀況越差，跑出來結果與結果一致，健康範圍應大於-20 o，誤差±3o。. 45.

(59) 40. 20. 10. 0. 1 13 25 37 49 61 73 85 97 109 121 133 145 157 169 181 193 205 217 229 241 253 265 277 289 301 313 325 337 349 361 373 385. 手臂與小腿骨夾角(度). 30. -10. -20. 畫格(frame). 圖 4-8 全蹲-手臂與小腿骨夾角偵測結果膝蓋間距：取數值曲線偏離起始數去最大值，最大值與曲線與觀測一致，健康的人在起立蹲下時應保持膝蓋與肩同寬，膝寬、肩寬比應在 0.7~1.3，曲線應盡量平滑。下圖可看到紅色圈起處有波動，比較影片證實確實受測者在檢測時因膝蓋穩定度不夠有抖動情況。 1.8. 膝蓋間距(Pixel/Pixcel). 1.6 1.4 1.2 1 0.8 0.6. 0.4 0.2. 1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 101 106 111 116 121 126 131 136 141 146 151 156 161 166 171 176 181. 0. 畫格(frame). 圖 4-9 全蹲-膝蓋間距偵測結果 III 平躺抬腳雙腳夾角：取其最大值，其值越大代表柔軟度越好，結果與實際相符， 46.

(60) 誤差±3o。因為受測動作是從夾角零度至最大時會有 70~100 度，所以看起來較為平滑。 90 80. 雙腿夾角(度). 70 60 50 40 30 20 10. 1 16 31 46 61 76 91 106 121 136 151 166 181 196 211 226 241 256 271 286 301 316 331 346 361 376 391 406 421 436 451 466 481 496 511 526 541 556 571 586 601. 0. 畫格(frame). 圖 4-10 平躺抬腳-雙腿夾角偵測結果膝蓋夾角：取其最小值，其值應該介於 165o ~180o 之間，結果並不理想，因觀測的角度很小，誤差值影響太大，不能做為參考依據。圖 4-11 中的紅線為影片中觀察到大致動作曲線。 185. 膝蓋夾角(度). 180 175 170 165 160. 1 15 29 43 57 71 85 99 113 127 141 155 169 183 197 211 225 239 253 267 281 295 309 323 337 351 365 379 393 407 421 435 449 463 477 491 505 519 533. 155. 畫格(frame). 圖 4-11 平躺抬腳-膝蓋夾角偵測結果 IV 坐姿轉腰肩膀轉角：取最大值，肩膀活動度良好情況下約會落在 60~70 度。結果與觀測一致，誤差約±4o。. 47.

(61) 45 40. 旋轉角度(度). 35 30 25. 20 15 10 5. 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 101 105 109 113 117 121 125 129 133 137 141 145 149 153 157. 0. 畫格(frame). 圖 4-12 坐姿轉腰-肩膀轉角偵測結果髖骨偏移：取其最大值，數值越大表示動作越不標準，結果不佳。髖骨位移不明顯，又 Openpose 本身偵測時會有誤差，加上坐姿時常偵測不到髖關節座標，造成結果不理想、無法做為參考標準。 7. 偏移(Pixel). 6 5 4 3. 2 1. 1 7 13 19 25 31 37 43 49 55 61 67 73 79 85 91 97 103 109 115 121 127 133 139 145 151 157 163 169 175 181 187 193 199 205. 0. 畫格(frame). 圖 4-13 坐姿轉腰-髖骨偏移偵測結果 V. 手從上而下摸背摸背位置：取其最小值，數值越小表示摸背點越低、關節活動度越好，. 結果與觀測值一致。. 48.

(62) 1.6. 摸背位置()Pixel/Pixel). 1.4 1.2 1 0.8 0.6 0.4 0.2. 1 5 9 13 17 21 25 29 33 37 41 45 49 53 57 61 65 69 73 77 81 85 89 93 97 101 105 109 113 117 121. 0. 畫格(frame). 圖 4-14 手從上而下摸背-摸背位置偵測結果 VI 手從下而上摸背摸背位置：取其最大值，數值越大表示摸背點越高、關節活動度越好，結果與觀測值一致。 1.4. 摸背位置(Pixel/Pixel). 1.2 1 0.8 0.6 0.4 0.2. 1 6 11 16 21 26 31 36 41 46 51 56 61 66 71 76 81 86 91 96 101 106 111 116 121 126 131 136. 0. 畫格(frame). 圖 4-15 手從下而上摸背-摸背位置偵測結果. 4.4.3. 結果 Openpose 應用於肢體健康檢測為可行方案，研究中訂定的六個動. 作的主要檢測結果都能與觀測相符，雖會有些微誤差，但都在臨床可以接受. 49.

(63) 的誤差範圍內，但次要標準（用於判斷動作標準度）因為觀測非常細微的移動，所以需要更高準確度才能偵測到，因此目前次要指標（動作標準度）部分可能需要人工觀測（例如平躺抬腳時膝蓋不能彎曲）。應用於肢體健康檢測時因為動作較慢、人在畫面中較大且用腳架架設穩固，因此以目前動作需求能將畫質調低成 672*504、每秒畫格取樣率降低為 1/10 後依然能夠達到一樣的偵測品質，卻能提升 3 倍以上速度。 Openpose 可能因為訓練資料多為人體直立圖像，所以對於直向的肢體偵測較準確且快速，因此將平躺抬腳的影片翻轉 90o 再經過 Openpose 偵測關鍵點，能夠解決本來平躺抬腳人體為橫向偵測不佳的問題。 Openpose 偶爾會有偵測嚴重偏移、左右手（腳）相反與沒有偵測到的問題，需要先做關鍵點處理，去掉以上問題座標點之後再計算數值會更加準確。. 50.

(64) 第五章、結論與未來展望. 5.1 結論本研究期望能夠將肢體健康檢測透過行動裝置推廣到醫療密度較低的地區，因此選擇以 Openpose 為肢體偵測基礎去開發系統，Openpose 能夠用手機拍攝到的 RGB 影片為基礎偵測關鍵點，而檢測動作從矯正訓練要點（CES Textbook）、功能性動作檢測、關節活動度三者的測驗動作中挑選，由物理治療師挑選 6 項動作共 10 個指標作為本研究測驗動作，這六個動作能夠判斷身體 5 大部位（右肩、左肩、腰、右膝、左膝）的健康狀況。在觀測結果不會變差的前提下本團隊希望盡量提高檢測速度，使運算能夠更及時，因此在目前動作需求下將標準畫值定在 672*504 並將影片每 10 幀取 1 幀偵測，能夠不影響偵測結果且提高速度，又發現 Openpose 在躺著的動作偵測結果較差，因此橫向拍攝的動作「平躺抬腳」會先翻轉成類似直立的圖片會有較佳的偵測結果，不只得到更準確的關鍵點，速度也會相較於橫向影片加速 27%。經由 Openpose 得到關鍵點之後，需要將關鍵點換算成 10 個指標的數值，轉換前需先去除偏離太多的座標以及未偵測到的座標後由前後數值平均補上，能獲得較平滑且準確的數值曲線，10 指標中發現較微小改變的數值較難觀測出來，例如說坐姿轉腰需要關測髖關節移動，但因為髖關節容易被遮擋再加上移動幅度非常的小，很難分辨是誤差或是偏移，但主要指標在偵測上都沒有問題，從指標數值根據物理治療師訂定標準能獲得動作評分，依照動作表現能夠給與用戶健康評等，並由系統自動判斷適合復健或是按摩的教學影片給使用者。為了將以上步驟全自動化，本團隊完成系統初步開發，包括使用者介面、 51.

(65) 運算伺服器、資料庫、專業人士介面四部分。使用者介面由 java 寫成的 android App，包括帳戶管理、肢體健康檢測、歷史資料查詢、推薦復健影片觀看的功能；運算伺服器是運算核心，主要使用 C++與 php 寫成，包括影片前處理、 Openpose 運算、健康指標計算、之體健康評分與評等、復健影片推薦；專業人士介面由 C#寫成給 Windows 使用的介面，提供給物理治療師或是合作健身房使用，功能包括查看用戶身體檢測資料、回饋意見，主要是能夠在轉介就醫時或是合作健身房在訂定課表能有個參考依據，不需要再做一次相同的檢測；資料庫負責串聯以上三者，用 mySQL 與 php 架設與三者溝通的資料庫，裡面儲存使用者資料、原始影片、關鍵點資料、推薦影片。. 5.2 未來展望目前 Openpose 無論在偵測的準確度或是速度上仍然不斷的提升，在實驗過程中就有發現推出的新版本 Openpose 相較於舊版的速度與準確度都提升了，所以未來有機會實現細微的判斷標準，這樣可以將判斷動作準確度的精細指標也加入健康度的判斷上，就能達到真的無人全自動化檢測。目前是針對物理治療與矯正訓練著手，但實際上這套系統可以使用在非常多運動領域，例如說矯正棒球員投球動作、田徑動作…等運動，只要有該領域專業人士合作訂定出需要偵測的指標以及鏡頭架設方式，在未來可以成為新興的訓練科技，將運動傳承從口頭到數據化，也能在未來選手受傷時追蹤過去的問題，進一步達到預防效果。這套系統目前是用在個人的肢體健康檢測上，但未來可能可以推到多人課程的應用，現今因為高齡化，許多政府單位都在推動團體運動課程，出發點雖然是讓民眾健康，但其實每個參加的學員身體狀態可能不一樣，若能根據上課表現，例如是否跟上動作，來分配學員適合得班級，能夠更有效達到訓練效果且避免不需要的運動傷害。. 52.

(66) 目前這是存影像的健康檢測，但其實市面上也有其他使用科技的健康檢測方案，例如說壓力感測鞋墊可能可以做步態分析、肌電圖能夠觀測肌肉反應時間…等，若能結合其他檢測工具可以發現更多且更全面的資訊，想必能夠分析出更準確的問題。. 53.

(67) 參考文獻 [1]. CMU-Perceptual-Computing-Lab, Openpose, GitHub, [Online], Available: https://github.com/CMU-Perceptual-Computing-Lab/openpose. [2]. Z. Zhang, “Microsoft Kinect Sensor and Its Effect”, IEEE Xplore, Volume: 19 Issue: 2, pp. 4-10, Feb. 2012. [3]. S.-C. Yang, “Human Action Recognition Using Kinect Camera”, ISU, master, 2013. [4]. Sportzorgmasseurnet, Sportzorgmasseur volwaardige samenwerkingspartner in de sportzorgketen, Sportzorgmasseurnet, [Online], Available: https://www.sportzorgmasseurnet.nl/, May. 2016. [5]. 黃博靖 , 關節活動度測量 : 角度測量學習指引 (Measurement of Joint Motion: A Guide to Goniometry ), 合記圖書出版社, 2018. [6]. D.S. Teyhen, S.W. Shaffer, C.L. Lorenson, J.P. Halfpap, D.F. Donofry, M.J. Walker, J.L. Dugan, J.D. Childs, “The Functional Movement Screen: A Reliability Study”, Jospt, Volume:42 Issue:6, pp. 530-540, Jun. 2012. [7]. M.A. Clark, B.G. Sutton, S.C. Licett, “NASM Essential of Corrective Exercise Training”, Jones & Bartlett Learning, Jun. 2013. [8]. Z. Cao, G. Hidalgo, T. Simon, S.-E. Wei, Y. Sheikh, “OpenPose: realtime multi-person 2D pose estimation using Part Affinity Fields”, arxiv:1812.08008, Dec. 2018. [9]. H. Joo, T. Simon, X. Li, H. Liu, L. Tan, L. Gui, S. Banerjee, T. Godisart, B. Nabbe, I. Matthews, T. Kanade, S. Nobuhara, Y. Sheikh, “Panoptic Studio: A Massively Multiview System for Social Interaction Capture”, IEEE Xplore, Volume: 41 Issue: 1 , pp. 190 - 204, Jan. 2019. [10] Z. Cao, T. Simon, S.-E. Wei, Y. Sheikh, “OpenPose: Realtime Multi-Person 54.

(68) 2D Pose Estimation using Part Affinity Fields”, arXiv:1812.08008, Dec. 2018 [11] 葉峻榳, 功能性動作檢測 Functional Movement Screen (FMS) , [Online], Available: https://chunting.me/functional-movement-screen-fms/ [12] S. Qiao, Y. Wang, J. Li, “Real-time human gesture grading based on OpenPose”, IEEE Xplore, Oct. 2017 [13] 薛漪平, 生理疾病職能治療學：I 評估理論與技巧, 禾楓書局, 2011. 55.

(69)