視覺與力覺整合於機器人遠端操作之應用

國 立 交 通 大 學

電機與控制工程學系

碩 士 論 文

視覺與力覺整合於機器人遠端操作之應用

Vision and Force Integration for Robot Teleoperation

研 究 生：林猷長

指導教授：楊谷洋 博士

視覺與力覺整合於機器人遠端操作之應用

Vision and Force Integration for

Robot Teleoperation

研 究 生：林猷長 Student: Yu-Chang Lin

指導教授：楊谷洋 博士

Advisor: Dr. Kuu-Young Young

國立交通大學

電機與控制工程學系

碩士論文

A Thesis

Submitted to Department of Electrical and Control Engineering

College of Electrical Engineering and Computer Science

National Chiao Tung University

in Partial Fulfillment of the Requirements

of the Degree of Master

in

Electrical and Control Engineering

July 2006

Hsinchu, Taiwan, Republic of China

視覺與力覺整合於機器人遠端操作之應用

研究生：林猷長 指導教授：楊谷洋

國立交通大學電機與控制工程學系

摘要

由於網路與微處理器的快速進步，使得遠端操作的性能大幅提高，為了 更進一步提升遠端操作的效能，讓使用者的感受能更加真實，越來越多的研 究投入力覺於遠端操作中的應用，例如力覺與觸覺的回授、虛擬導引、虛擬 支架(virtual fixture)等。在本論文中，我們實現了一個遠端呈現與操作系統， 結合了視覺與力覺，並能隨著使用者的操作而改變引導方式的虛擬導引(virtual guidance)系統；我們藉由遠端架設的攝影機對欲操作的物件定位，透過力感測 器對物件估測其物理參數，然後將這些資訊傳入近端的虛擬實境引擎以及虛 擬力回饋演算法中，產生一同時利用視覺和力覺的虛擬導引來協助使用者， 讓使用者能夠自然、有效地進行操作以達成目標。

Vision and Force Integration for Robot Teleoperation

Student：Yu-Chang Lin Advisor：Dr. Kuu-Young Young

Department of Electrical and Control Engineering

National Chiao Tung University

Abstract

Rapid development in network and microprocessor highly enhance the capability of teleoperation systems. And, dramatic increase in haptic devices greatly raises the efficiency in teleoperation and the fidelity on reality. In this thesis, we integrate both vision and force together for the networked VR-based telerobotic system developed in our laboratory. The main purpose of the integration is to provide virtual guidance, which may assist the manipulation of the operator. This virtual guidance, different from previous approaches, can adjust to the location and physical property of the object, as the status of the manipulation. Experiments are performed to demonstrate the effectiveness of the proposed system.

目 錄

中文摘要

i

英文摘要

ii

誌謝

iii

目錄

iv

表目錄

v

圖目錄

vi

第一章 導論 ...1 第二章 遠端呈現與操作系統 ...7 2.1 視覺回授 ...錯誤! 尚未定義書籤。2 2.2 力覺回授 ...16 2.2.1 決定力回饋範圍 ...18 2.2.2 計算回饋力 ... 錯誤! 尚未定義書籤。5 第三章 系統實現 ...28 3.1 軟體實現 ...32 3.1.1 虛擬實境建構 ...32 3.1.2 多執行緒技術 ... 錯誤! 尚未定義書籤。6 3.2 硬體實現...39 第四章 實驗 ...錯誤! 尚未定義書籤。5 4.1 實驗流程...45

4.2 虛擬場景實現...48

4.3 實驗結果與討論...52

第五章 結論 ...57

5.1 未來工作...58

表目錄

表 3-1 Mitsubishi RV-2A 五軸機械手臂基本規格………..40

表 3-2 CR1-571 控制器基本規格………41

表 3-3 Laparoscopic impulse engine 規格表………43

圖目錄

圖 1-1 遠端操控系統示意圖………3 圖 1-2 人類力覺與力覺裝置之間的傳遞流程圖………5 圖 2-1 結合視覺與力覺之遠端操作系統流程圖……… …………..…………11 圖 2-2 影像和真實世界的對應關係……….……….13 圖 2-3 影像像素校正：(a)實際的線條和(b)拍攝後的影像…….………14 圖 2-4 攝影機拍攝物件：(a)俯視圖和(b)側視圖……….15 圖 2-5 力回饋的作用範圍種類：(a)錐狀，(b)球狀，和(c)圓柱狀………….17 圖 2-6 引導機械手臂移動的力覺回饋示意圖………..………17 圖 2-7 力回饋大小和權重的關係圖….……….…19 圖 2-8 作用力範圍計算示意圖………..…22 圖 2-9 Bezier 曲線範例圖………...22 圖 2-10 夾爪位置、物件位置和力回饋範圍關係………..24 圖 2-11 回饋力所造成的振盪現象………..26 圖 2-12 力回饋策略流程圖……….…….27 圖 3-1 典型的虛擬實境網路機器人遠端操控系統示意圖…………..………29 圖 3-2 遠端操作系統架構圖………..…………31 圖 3-3 電腦繪圖之運算環境………..………33 圖 3-4 OpenGL 成像流程………..………….…35 圖 3.5 執行順序和時間關係：(a)一般程式執行和(b)執行緒程式執行…...37 圖 3-6 機械手臂控制流程圖………..…38 圖 3-7 Mitsubishi RV-2A 五軸機械手臂外觀……….…...39 圖 3-8 CR1-571 控制器外觀………..…40

圖 3-10 力感測器 JR3 外觀……….…….……..44 圖 4-1 實驗流程圖………47 圖 4-2 物件選擇智慧型介面 (a)工作平台、(b)物件、(c) 影像擷取視窗、和(d)物件定位…...…….48 圖 4-3 機械手臂操作過程之影像 (a)抓取過程、(b)抓取、(c)放置過程、和(d)放置………..49 圖 4-4 機械手臂操作過程之虛擬場景 (a) 抓取過程、(b)抓取、(c)放置過程、和(d)放置……….50 圖 4-5 同物件的真實照片與虛擬場景比較： (a)保麗龍真實照片、(b)保麗龍虛擬場景、 (c)布偶真實照片、和(d)布偶虛擬場景………51 圖 4-6 抓取過程中，三種力回饋狀態下的操作點軌跡圖 (a) X 方向軌跡、(b)Y 方向軌跡、(c)Z 方向軌跡、和(d)3-D 軌跡.…..53 圖 4-7 三種回授方式成效比較：(a)成功率和(b)操作時間…….………...53 圖 4-8 放置過程中，三種力回饋狀態下的操作點軌跡圖 (a) X 方向軌跡、(b)Y 方向軌跡、(c)Z 方向軌跡、和(d)3-D 軌跡…...55 圖 4-9 三種回授方式成效比較：(a)誤差值和(b)操作時間………55 圖 4-10 抓取三種物件的操作點軌跡圖 (a) X 方向軌跡、(b)Y 方向軌跡、(c)Z 方向軌跡、和(d)3-D 軌跡……56 圖 4-11 三種物件操作時間比較……….56