反應器內部組件目視檢測之數位影像分析

反應器內部組件目視檢測之數位影像分析(III)－連續影像

接合、檢索及虛擬實境瀏覽技術

Digital Image Analysis of In-Vessel Visual Inspection (III)－

Image Stitching, Indexing, and Virtual Reality Browsing

計畫編號：NSC92-NU-7-003-001

王希俊

*

徐鴻發

**

陳祝嵩

***

陳昱廷

*,*** *

_{國立台灣師範大學科技學院圖文傳播學系}

**

_{行政院原子能委員會核能研究所}

***

_{中央研究院資訊科學研究所}

一、緣起與目的

由於核反應壓力容器為核能發電廠的主要運作核心，加上其穩定運轉關係 著發電廠的運作安全與國家經濟效益，因此必須定期對反應器本身的健康狀況 做檢測，國內在反應爐定期大修期間，均對其內部組件進行目視檢測，而反應 爐內部目視檢測(IVVI；In-vessel Visual Inspection)是非破壞檢測技術中的一個重 要 項 目 ， 其 最 大 的 特 點 則 是 可 以 直 接 且 迅 速 地 從 事 前 期 檢 測 工 作 [1],6,7,8,19,22,25,26,27]。 在對核反應爐內部做檢測時，由於其內部組件屬高幅射且又在水面下，使 得人工直接做目視檢測的方式變得並不可行，因此實際上在做檢測時往往藉由 攝影機、照相機等取像設備來做遠距目視檢測，並將所拍攝而得的反應爐內部 影像記錄於影帶中，這些影帶除了可供日後分析查詢外，最重要的是其影像內 同時蘊藏著豐富的資訊，至於如何由這些影像中萃取出其內隱藏的寶貴資訊以 增進目視檢測之效能，則是在實際應用上的一個重要研究課題。 近 年 來 ， 由 於 資 訊 科 技 的 進 步 ， 帶 動 了 數 位 影 像 處 理 (Digital Image Processing)技術的日新月益，同時此技術也漸漸被各個工程與科學研究領域所採 用[2,3,5,6,9,10,11,19,20,21,23,28,29]，亦也有一些研究是利用數位影像處理技術 針對 IVVI 影片內做資訊的萃取、處理以及應用，包括國內從事 IVVI 技術先驅 的核能研究所徐鴻發博士，曾於民國八十六年至八十七年間成功應用 IVVI 技術

來檢測清華大學水池式反應器及核能研究所微功率反應器內部組件，並將部份 IVVI 影像做影像處理，其實驗結果並發表於學術研討會及在各類年報刊載，為 國 內 當 時 僅 有 發 表 之 影 像 處 理 與 非 破 壞 目 視 檢 測 結 合 應 用 之 研 究 成 果 [27][24][25][26]。 在先前的研究中，我們已應用了數位影像處理技術針對 IVVI 的許多重要關 鍵議題提出了有效的解決方法，包括進行 IVVI 連續影像數位化保存技術，以克 服 IVVI 序列影像除了含有二維的影像資訊外，尚需多考慮一個時間維度的複雜 性而需要更大的儲存空間、建立相機自我校正模式以標定拍攝影像中特定物件 變化、自動化量測攝像系統解析度、提高所拍攝畫面的影像解析度(Super Resolution)、應用影像為基礎的虛擬實境(Image-Based Virtual Reality)技術整合 IVVI 影像與真實空間位置，以及影像檢索等；此外，我們亦利用電腦視覺 (Computer Vision)[30]技術中的流形投影(Manifold Projection)[12][13]的概念來 即時建立反應器內部的環場影像(Panoramic Mosaic)，使得在拍攝時可以將反應 爐內部環境以影像接合的方式做重建，讓檢測及判讀者可以針對某些必要之區 域做更進一步的檢視及分析，綜上所述，先前的研究主要在於利用數位影像處 理技術來針對反應器內部組件目視檢測之影像做分析與重要資訊的萃取。 本研究的目的則是除了延續先前的研究外，希冀能使 IVVI 影像之數位分析 系統更加完整，在先前的研究中，我們已可建構反應器內部不同區域的環場影 像，但這些不同區域的影像只能展現部份的資訊，因此，我們以 Linear Pushbroom Camera Model [14]為基礎，針對不同的區域環場影像間的幾何關係進行理論的 推導與幾何轉換模型的建立，如此一來，便可將所有區域環場影像做接合以形 成一張完整的反應爐內部影像，而此一影像能一次將反應爐內部做完整地呈 現，此外，此一接合影像亦可當成反應爐內部的貼圖(texture)使用，亦即一旦反 應爐的三維模型建立後，便可將此一貼圖貼上，以提供後續的互動、影像檢索 以及虛擬實境等應用。 在本研究的第二部份則是發展出一套直覺式的瀏覽界面，讓所建構的反應 爐內部環場影像可以用網頁瀏覽器方便瀏覽，且在介面的設計上，我們把真實 空間的位置與所觀看的角度做結合，使得在檢索上更加的方便且直觀，並能聯 想 IVVI 影像及真實空間位置。 此外，由於反應器內部之 IVVI 影像是非常珍貴的資料，其在不同時間針對

同一個反應器內部做拍攝可以讓我們記錄在不同時間點上反應器的健康狀況， 因此其重要性不言可喻，也因為這個原因，為加強 IVVI 影像的內容保護，在本 研究中亦嘗試使用統計方法的區塊加密(Patchwork)[15][16]以及數位訊號處理 的小波轉換(Wavelet Transform)[17]來針對 IVVI 影像進行數位浮水印(Digital Watermarking)的加密研究，並具有抵抗許多常見攻擊方式的強健性(robustness)。

因此，本年度研究完成的工作項目主要有以下三項： (a) 不同影像間幾何關係之建立及影像接合重建。

(b) 以網頁為基礎之直覺式 IVVI 虛擬實境瀏覽技術開發。

二、研究方法與過程

本研究延續先前發展之反應爐內部區域環場影像接合系統，藉由找尋不同區域 影像間的幾何轉換關係來進行理論的建構，此一理論是國內外首次被提出的理 論，在經由諸多的實驗結果，我們發現此一理論在實際的應用上不但可行而且 有效率；此外，我們亦利用以網頁為基礎之直覺式虛擬實境瀏覽技術來將真實 環境與 IVVI 影像做結合，使得影像在檢索的應用上更加得方便；在延伸功能 上，為了增加 IVVI 影像的版權保護功能，我們亦進行了許多實驗，包括應用統 計的概念與分頻(sub-band)的概念來進行影像的區塊加密及小波轉換加密，並能 成功解密。現將各項重點工作之執行方法及結果詳述於後：

(a) 利用不同影像間幾何關係之建立及影像接合重建

相似於使用流形投影來建立環場影像，在這裡我們利用 1997 由 R. I. Hartley 所提出的 Linear Pushbroom Camera [14]在某些條件限制下進行環場影像的拍攝 重建。首先，我們使用線性攝影機(Linear Camera)每次僅取單一維陣列的影像， 當此一攝影機以等速度與等方向等兩個條件限制下做運動拍攝，並將所拍攝得 到的一維陣列影像拼貼而成一張二維影像，此張二維影像即為一張環場影像， 其在 x 軸方向屬正交投影(Orthographic Projection)，在 y 軸則屬於透視投影 (Perspective Projection)，此外，之所以使用此一模型來進行環場影像的建構，其 原因在於任一空間點





T z y x, , x  與其在環場影像中的投影點

 

T v u, 恰好有下式 的關係，稱為 Linear Pushbroom Camera Model：









T x z x y x v x y z z y x V V V V V p f w wv u 1 , , , M 1 RT | R 1 0 / 0 1 / 0 0 / 1 1 0 0 0 0 0 1                                                (Eq. 1) 上式分別由相機的內在參數（焦距 f 與 y 方向偏移量 Pv）、拍攝速度（Vx、Vy與 Vz）以及不同座標間的旋轉距陣 R 與平移距陣 T 所組成，w 則是 scale factor。

若我們用兩個 Linear Pushbroom Camera 建立不同區域的環場影像（在此我 們稱為 LP-mosaic）後，由於拍攝時攝影機的位置、攝影機運動速度、拍攝方位、 焦距、距離遠近等因素，使得要將兩個 LP-mosaic 影像拼貼在一起的困難度大

增，而這也是本研究最主要的目的所在，我們利用兩張影像皆符合 Eq. 1 的特 性，希望利用電腦視覺的觀念，做數學理論上的推理，期能找到將不同 LP-mosaic 影像合併在一起的方法，並找到兩張 LP-mosaic 上的點對點(point-to-point)的一 對一之對應關係，接下來，我們將循序漸進地推演我們的數學模型以及思維過 程。 假 設 空 間 上 一 點 T i i i y z x , , ) ( xi  位 在 一 個 平 面 方 程 式 為 0 :ax by cz d  E i i i 的平面上，同時這一個點被兩個 LP-mosaic 所拍攝到， 而分別成像於座標點 T i i v u , ) ( ui  與 T i i ' i (u ,v ) u  ' ' 上，我們希望藉由找出兩個不 同 LP-mosaic 上數個相對應的u 與i ' i u 而能找出兩個 LP-mosaic 影像間的轉換關 係，再利用此一轉換關係，就可將兩個 LP-mosaic 做整合拼貼。 由於兩個 LP-mosaic 皆符合 Eq. 1，因此，針對任一空間點 T i i i y z x , , ) ( xi  與 其兩個成像點 T i i v u , ) ( ui  與 T i i ' i (u ,v ) u  ' ' 我們可以得到下式：    



' ' ' '



  , , , , ,1 , , ' , , ,1   M M T T i i i i i i i T T i i i i i i i u w v w x y z u w v w x y z (Eq. 2) 其中 M 與 M’分別代表兩個 LP-mosaic 在 Eq. 1 上 3  4 的投影矩陣，並令mjk與 ' jk m 分別代表 M 與 M’間的所有元素，當然 1  j  3 及 1  k  4，我們將 Eq. 2 加上平面方程式，我們可得下面七個等式： 11 12 13 14 21 22 23 24 31 32 33 34 ' ' ' ' ' 11 12 13 14 ' ' ' ' ' ' 21 22 23 24 ' ' ' ' ' 31 32 33 34 (1) (2) (3) (4) (5) (6)                                  i i i i i i i i i i i i i i i i i i i i i i i i i i i i i u m x m y m z m w v m x m y m z m w m x m y m z m u m x m y m z m w v m x m y m z m w m x m y m z m ax by cz 0 (7)             d  (Eq. 3) 由於wi 與 ' i w對於兩個 LP-mosaic 上每個對應點ui與 ' i u 而言不一定一樣，因 此是一個比較麻煩的參數，在此，我們將此兩個參數分開處理。首先，給定一 個成像點ui，我們使用 Eq. 3 內的(1)、(2)、(3)、(4)以及(7)來找尋其對應點 ' i u ， 以避免 ' i w 所造成的影響，因此我們可得到下式： 11 12 13 14 21 22 23 24 31 32 33 34 ' ' ' ' ' 11 12 13 14 0 0, 1 1 0 0                        _{ }      _{ }      1 i i i i i i i W x m m m m u y m m m m v z m m m m m m m m u w a b c d (Eq. 4)

Eq. 4 左方 5  5 的矩陣我們以 W1來代替，仔細觀查 Eq. 4，我們可以發現

Eq. 4 是由 5 個齊次方程式(homogeneous equation)所組成，其有五個未知數，由 於其中一個未知數已知是 1，因此 Eq. 4 有非零解，反之，若其解皆為零，則我 們可以把左方 W1的反矩陣(inverse)乘到右方而得到 0，這也代表這五個解皆為 0，但我們已知有一個為 1，故矛盾，因此唯有 W1的反矩陣不存在，才能使 Eq. 4 有非零解，而 W1的反矩陣不存在代表 W1的行列式必為 0，即 det(W1) = 0，又 由於 W1的行列式由 ui, vi, ' i u , uivi, i ' iv u 及常數項所組成，所以給予六個係數 a0 ~ a5，我們可得到下式： ' ' 0 1 i 2 i 3 i 4 i i 5 i i 0 a a u a v a u a u v a u v  (Eq. 5) 相同地，若給定一成像點 ' i u ，我們可用 Eq. 3 內的(1)、(4)、(5)、(6)以及(7)來找 尋其對應點 ui以避免 wi所造成的影響，同理，我們亦可得到五個齊次方程式有 五個未知數，而我們用上面提過的方法，可得到以六個係數 b0 ~ b5所組成的方 程式如下： ' ' ' ' ' 0 1 i 2 i 3 i 4 i i 5 i i 0 b b u b u b v b u v b u v  (Eq. 6) 由 Eq. 5 與 Eq. 6，假設其內的十二個係數 ai 與 bi 皆為已知，假設給予一個 LP-mosaic 的投影點 T i i v u, ) (  i u ，利用下式，我們可以找到其於另一個 LP-mosaic 上的對應點 T i i ' i (u ,v ) ' '  u ： ' 0 1 2 4 3 5 ' ' 0 1 2 ' 3 4 5 ( ) ( ) i i i i i i i i i i i a a u a v a u v u a a v b b u b u v b b u b u        _         _{ }  (Eq. 7) 藉由上式，我們可以找出兩個 LP-mosaic 的點對應關係，並將這兩個 LP-mosaic 予以拼貼成一個完整的環場影像，現在尚缺該如何找出此十二個參數的方法。 假設我們 可以獲 得 n 個在兩個 LP-mosaic 上的點對應關係， 分別為 } , , , { ' ' i i i i v u v u ，i[1n]，其中值得注意的是這 n 的對應點不可在同一個行或列上， 在滿足此一條件限制之下，Eq. 5 可以被改寫成下式： 0 W' W U' V U 1 ₁  ₂  ₃  ₄  ₅  0 a a a a a a (Eq. 8) 1,U , V , U' , W , W'和0皆是 n 維向量，1與0代表所有元素皆為 1 與 0 的向量，為 了要使 Eq. 8 有解，則矩陣[1,U , V , U' , W , W' ]的秩(rank)必須為 5，假設{a0, a1, a2, a3,

a4, a5}皆為 Eq. 8 的解，則{ka0, ka1, ka2, ka3, ka4, ka5}亦為 Eq. 8 的解，對於每個kR皆

成立，然而每個係數解皆會對應到 Eq. 7 中相同的 ' i

滿足 Eq. 8 的係數值a0 ~ a5。

因為 Eq. 8 有六個未知數，而此六個未知數可跟隨著變數 k 做縮放，所以我 們只須五個對應點即可解出 Eq. 8 的六個未知數。在本研究中，我們解此問題的 方法為假設a02+ a12+ … + a52 = 1，當n  5時最小平方誤差(least-squared-error)可藉

由解線性系統(linear equation system) 中 scatter matrix 的 eigenvalue problem 而獲 得此六個係數，同樣的方法可用在解係數b0 ~ b5。 當矩陣[U , V , U' , W , W' ]的秩小於五時，將會有 singular case 的產生，此種情 況發生在U與U'為線性相依(linearly dependent)時，亦即U U'A B，A,BR。當 我們用兩個線性攝影機來拍攝兩個 LP-mosaic 影像時，這兩個 LP-mosaic 互相平 行就會致使U U'A B線性相依的 singular case 存在。在對應點數目少於五個時 的狀況下，會使得U , V , U' , W與W'變成線性相依，此種取樣不足的狀況在此我 們不予以討論。

當U與U'為線性相依時，因為 singular case 的產生，使得 Eq. 7 無法有效地

將兩個 LP-mosaic 做拼貼，針對此一問題，我們又推導了其它的方程式以將 LP-mosaic 做轉換並予以拼貼。首先，由於我們已知U U'A B，因此只要兩個 對應點，我們即可將係數 A 與 B 用解線性方程式的方法輕易解得，接下來，將 Eq. 3 中式(1)與式(4)以U U'A B的形式來代表，我們可得到下式： ' ' ' ' 11 11 12 12 13 13 14 14 21 22 23 24 31 32 33 34 ' ' ' ' ' ' 21 22 23 24 ' ' ' ' ' 31 32 33 34 ( ) ( ) ( ) ( ) 0 0 0 0 0 0 i i i i i i i i i i i i i i i i i i i i i i i i m Am x m Am y m Am z m Am B m x m y m z v w m m x m y m z w m m x m y m z v w m m x m y m z w m ax by cz d            _{    }   _{    }          _{    }        此式可改寫成如下： 2 ' ' ' ' 11 11 12 12 13 13 14 14 21 22 23 24 31 32 33 34 ' ' ' ' ' 21 22 23 24 ' ' ' ' 31 32 33 34 ' 0 0 0 1 0 1 0 0 1 0 0 i i i i i i i W x m Am m Am m Am m Am B y m m m m v z m m m m m m m m v w m m m m w a b c d          _                       _                 0  與先前的方法一樣，這個齊次方程組必定有解，且det(W2) = 0，可得到以四個係 數 c0 ~ c3所組成的方程式如下： 0 3 ' 2 ' 1 0v cv c vv c  c i i i i 針對此線性相依的狀況，我們只須有至少三個對應點即可解出四個係數 c0 ~ c3，

因此，可得到兩個 LP-mosaic 影像間的相對應關係，如下式所示： ' ' 0 3 1 2 i i i i i u B u A c v c v c c v      _{ }      接下來，我們使用人工產生的 LP-mosaic 影像，加上一些在現實上建構 LP-mosaic 時可能產生的誤差(error)來試驗誤差對我們推導出的理論所造成的影 響。首先，在實驗過程中，我們在空間中某平面的某一固定範圍內隨機產生 250 個點，接下來模擬兩個 Linear Pushbroom Camera 在取像過程中皆以相同的內在 參數(intrinsic parameters)針對此 250 個點所在的平面做取像，而得到兩個 170550 相同大小的 LP-mosaic 影像，其中這兩個 Linear Pushbroom Camera 在 拍攝時，起始位置與運動速度是在某一範圍內隨機做選取，所以在每次試驗中 皆不相同，因此，此一平面上 250 個點中同時成像在這兩個 LP-mosaic 影像上 的對應點位置因為拍攝過程是模擬的而可以明確地被計算得到，但是，在實際 的取像及計算對應點皆會有誤差的產生，所以，在模擬的實驗中我們亦隨機加 入些許誤差，我們加入的方法是將對應點的座標朝隨機的方向位移 0 至 2 個像 素(pixel)的距離，利用這些有誤差的對應點我們可求得十二個係數 ai與 bi的值， 一旦這十二個值求得之後，我們可以利用 Eq. 7 來將此兩個 LP-mosaic 影像做拼 貼，但在做拼貼時，拼貼的誤差是以所有對應點在拼貼時的相互距離總合當成 誤差，在此，我們針對所產生的對應點做不同的誤差位移量，針對每個位移量 我們做一千次隨機實驗，再把所有拼貼的誤差求其平均來當代表。 模擬的實驗如圖一所示，此兩個 LP-mosaic 中的對應點皆以標號來表示， 在圖一(a)與(b)中分別代表經由不同 Linear Pushbroom Camera 拍攝所產生的 170550 大小的 LP-mosaic 影像，空間中 250 個點中有 27 個分別在此兩個 LP-mosaic 上成像，分別如其標號所示，圖一(c)代表我們並未將人為產生的對應 點加上誤差而將 LP-mosaic B 以 LP-mosaic A 為基準做轉換後做拼貼，我們可以 發現其可以有效地做拼貼，至於圖一(d)則代表我們將人為產生的對應點加上 2 個像素的誤差，再將其做拼貼。 我們將對應點做不同程度的誤差位移所造成拼貼誤差的實驗結果如表一所 示，此外，由於所能得到的 IVVI 影像所產生的 LP-mosaic 影像間並沒有相互重 疊的區域，因此無法求得其間的對應點，所以在實際的實驗結果我們以普通環

(a) (b) (c) (d) 圖一 模擬實驗結果。(A)與(B)分別代表兩個 LP-mosaic 影像 A 與 B，其間有 27 個對應點如標 號所示；(C)此 27 個對應點未加入誤差，並將 LP-mosaic B 以 LP-mosaic A 為基準做變形並予以 拼貼；(D)將此 27 個對應點加上 2 個像素的誤差位移量，並將並將 LP-mosaic B 以 LP-mosaic A 為基準做變形並予以拼貼。 表一 將對應點給予以不同程度的誤差量，並計算其拼貼誤差，每個實驗結果皆為執行一千次 的平均，單位皆以像素為基準。 Noise 0 0.25 0.5 0.75 1 1.25 1.5 1.75 2 Error 20.64 172.82 205.31 342.66 442.58 584.50 621.30 665.19 868.77 境中所取得的 LP-mosaic 影像來做實驗，往後在拍攝 IVVI 影像間若有相互重疊 的部份，則此一實驗可以直接應用到 IVVI 影像上，在針對實際的環境做拍攝 時，我們用普通攝影機(Sony DCR-VX2000)來當成線性攝影機，只要我們每次 只取其正中央那一維行陣列的影像來建構 LP-mosaic，所建構出來的兩個 LP-mosaic 影像其大小為 4502000 如圖二(a)與(b)所示，為彰顯此模式之效果， 在此以質地較為複雜之影像作為實驗對象，我們計算出圖二(a)與(b)間有 53 個 對應點，利用此 53 個對應點可將他們做拼貼而形成圖二(c)，另外，由於我們拍 攝的影像本身為一個矩形，所以我們可將圖(c)轉換成矩形如圖(d)所示。 經由以上模擬與實際的實驗結果來看，我們所推導的理論模型將可以把不同區 域所產生的 LP-mosaic 影像做拼貼，進而將整個內部的影像以一張影像來展現， 同時，若配合三維模型的建立，此一拼貼的影像可以當成三維模型的貼圖使用。

(b)以網頁為基礎之直覺式 IVVI 虛擬實境瀏覽技術開發

圖二 真實實驗結果。(A)與(B)分別代表兩個 LP-mosaic 影像 A 與 B；(C)為應用 53 個對應點將 影像 A 與 B 做拼貼而成；(D)由於此郎世寧的百駿圖有矩形的特性，因此我們可以應用此一特 性將影像(C)轉換成矩形。

在執行 IVVI 檢測時，亦同時將 IVVI 影像紀錄於影帶中，傳統上，判讀 IVVI 影像時需重新來回觀看錄影帶內容，針對特定瑕疵(indication)的紀錄亦是將單格 影像擷取出以作為日後參考。但常會出現的困難是：一、如何在判讀 IVVI 影像 時，能與反應器的幾何結構作聯想，也就是需對反應器結構位置先瞭然於心後， 方能辨別 IVVI 影像正在顯示那一個區域。 二、當發現特定瑕疵時，很重要一 點是要了解其是否仍在增長(active)？故必須調出過去在大修時所拍攝之 IVVI 檢測影像作比對，於是重複的來回尋找播放 IVVI 錄影帶便成了判讀者的一項煩 瑣工作。 針對上述在執行 IVVI 影像判讀之困難，本研究將 IVVI 影帶中之連續影像 作接合為高解析度單張影像後，並利用數位科技將 IVVI 影像與反應器幾何結構 作整合，一改過去觀看 IVVI 影帶中影像播放的線性思考方式，反而以內部結構 為主體，以直覺式的方法來檢索影像；另有鑑於網路具有跨平台的特性，且為 了使不同使用者在不同作業系統的機器上皆能夠有效地對 IVVI 影像做檢索的 應用，在此，我們發展了一套以網頁為基礎的直覺式 IVVI 虛擬實境瀏覽技術， 其使用者介面(GUI：Graphic User Interface)，如圖三所示。

這裡所謂的「直覺式」的虛擬實境瀏覽技術，乃是有別於傳統的錄影帶線 性思考，舉例而言，過去判讀者如欲調出反應器中某條焊道的特定角度 IVVI 影像，他須要去查閱原來拍攝錄影帶記錄，找到錄影帶的編號及在此捲錄影帶 的時間，來回播放方能判讀，這與人類直覺式要找特定區域之影像的習慣並不 相符；理想上，應是直接指定點選反應器模型中的某條焊道的特定角度就能看 到 IVVI 影像，且能向左右瀏覽，才有影像式虛擬實境的效果以符合人類觀看影 像的習慣。

圖三 以網頁為基礎之直覺式虛擬實境瀏覽技術使用者介面。 故我們將所建構出來的環場接合影像以虛擬實境的方式為其加上在實際反 應爐內部的位置資訊，讓使用者可以隨心所欲地觀看任何想要觀看的角度，在 使用者介面的設計上，我們分別有可以快速、慢速以及微調三種模式來對 IVVI 影像做檢索，此外，所們所觀看到的區域環場影像在整體中的位置以及角度亦 會同時顯現出來，此一友善的介面在許多時候非常有用，例如當我們針對同一 個反應爐內部在不同大修時間做了 IVVI 檢測而可得到一個影像資料庫，針對此 一反應爐內部某部份的焊道健康狀況希望能夠找尋出其在不同時間的變化，這 時利用此一以網頁為基礎之虛擬實境瀏覽技術就可以直覺地檢索出在不同時間 點上同一位置的影像出來。

(c) 利用區塊加密與小波轉換對 IVVI 影像進行加密

IVVI 影像以數位化方式處理或網路瀏覽固然可以增進其檢索判讀的方便性，但 相對地，確認數位化 IVVI 影像內容的完整性是一個值得討論的課題，因此發展 一套機制以加強 IVVI 影像的版權保護與防止竄改是必要的。在此，本研究以影 像數位浮水印加密的觀念來針對此一重要課題提出有效的解決方法，首先，我 們參考美國麻省理工學院(MIT)[15,16]所發展的區塊加密演算法(Patchwork)來 進 行 加 密 ， 此 演 算 法 是 基 於 統 計 方 法 所 發 展 出 的 ； 其 次 ， 利 用小 波 轉換 (Wavelet-Transform)分頻(sub-band)的觀念來對圖四之 IVVI 影像進行加密。茲將 兩種方法分述於後： (I) 利用區塊加密演算法進行影像加密 區塊加密的方法是採用統計的原理來做加密，加密的方法為由此一影像內 隨機選取兩個像素點，分別為 X 點與 Y 點，其灰階強度分別以 Bx與 By來表示， S 代表此兩點灰階值的差(S=Bx－By)，因此 S 的值域介於-255 至 255 之間，而其 期望值 E(S)=0。 圖四 灰階 IVVI 影像 若隨機選取 n 組點求其灰階值的差，便會有 n 個 S 值，以 Sn來代表此 n 組 S 值的總和，





     n i i i n i n S Bx By S 1 1 ) ( ，因此 Sn 的期望值 E(Sn)=nE(S)，又因為

E(S)=0，所以 E(Sn)=0。針對圖四的 IVVI 影像，我們選機選取 n=1000 組點，經

計算後可得 S1000的曲線分佈如圖五所示，我們可以看到其曲線分佈是以 0 做對

稱的分佈，並可以視為高斯曲線分佈，標準差S1000=354.68。

加密時，利用 pseudo-random number generator 來決定影像內所要加密的 n 組點的位置，並將所選取出的 n 組點，將每一組內第一個點的灰階值增加，第 二 個 點 的 灰 階 值 減 少  ， 因 此 可 以 得 到 另 一 組 新 的 S ’ 值 ，

圖五 Sn曲線分佈





         n i n i i i i i n Bx By n Bx By S 1 1 ' ) ( 2 )) ( ) ((    ，而期望值 E(Sn’)=2n，我們 可以由式子發現 Sn’與 Sn的標準差相同，但是 Sn’是以 2n 為中心做對稱分佈， 亦即 Sn’的高斯曲線分佈為 Sn曲線分佈向右位移 2n，兩曲線分佈如圖六所示。 至於要如何由此二曲線來決定影像內是否有加密，則必須先選定一臨界值 (threshold)，若 Sn’與 Sn的曲線分佈位移超過此一臨界值，則我們可認為 Sn’有加 密，因此臨界值的選擇是非常重要的，依據統計的觀念，高斯曲線分佈大於 3 個標準差外僅佔 0.13%，所以可以將臨界值定為三個標準差（3354.681064）， 亦即若兩曲線距離超過 1064 而未加密的機率僅有 0.13%。

在加密時採用 pseudo-random number generator 來加密的原因是因為在解密 時必須要將所加密的點位置完全找出來，我們只要給定一個特定的 seed 值， pseudo-random number generator 便可自動產生相同的點位置，因此我們只須記 得是用哪一個 seed 值來決定加密位置，而不須將所有加密的位置做記錄，如此 提高了加密的便利性。 基本區塊加密的方法為針對單一像素來改變其灰階值，但此種方式若針對 數位檔案間檔案格式相互轉換後，一些隱藏在個別像素內的資訊將被破壞而無 法達到三個標準差以上的解密條件，所以 patchwork 的基本方法其強健性 (robustness)不足。 為了要解決此一問題，在加密時不再改變單一像素的亮度值，而是改變此 一像素附近區域所有像素的亮度值，我們設計了一個三維高斯分佈的區塊如圖 七所示，為了避免太過連續而容易被人眼發覺，因此於其內加入隨機雜訊 (random noise)如圖八(a)所示，其側面剖面圖如圖八(b)所示。 我們使用基本區塊加密的方法在加密的像素附近的像素分別改變其在圖八 所對應的值，因此由圖八的值分佈可以看出要加密位置改變其亮度值最大，

圖六 加密前與加密後高斯曲線分佈 圖七 三維高斯曲線分佈區塊 圖八(a)加入隨機雜訊的三維高斯分佈區塊 圖八(b) 三維高斯曲線分佈區塊側面剖面圖 距離此加密位置越遠則改變其亮度值愈小。 在參數的設定上，有許多須要加以考量的因素，而且不同的參數彼此間亦 會相互影響，例如以改變像素的亮度值而言，當越大則所得之 Sn’值的位移量 相對變大，對於解密的效果越好，但是卻會使得人眼容易發現所隱藏的浮水印； 在 n 值的選擇上，則是依影像本身的大小所決定，影像愈大則可藏入的資訊量 愈多，在圖三的 IVVI 影像我們選取 n 值為 1000；至於所設計的區塊大小，如 果區塊愈大則在解碼時可以不須對位很精準即可估算其 Sn’值，但區塊太大則容 易使區塊與區塊之間的交互影響增大，反而使得加密的地方更容易被查覺，因 此，綜上所言，各種參數必須依照所欲加密之影像本身特性來加以決定，以求 取一相對最佳之設定，用此一加密演算法加密後的結果如圖九所示，其與原始 影像圖三相比較，其 PSNR=41.56dB，這對人眼而言難以分辨此一影像是否有加 入浮水印。

在解密時，由於加密所選的 pseudo-random number generator 的 seed 值為 10，因此在解密分別選用 seed 值 1 至 20 分別求出其 Sn’值，結果如表二所示，

我們可利用表二來觀察當解密時所用的 seed 值與加密時的 seed 值相同時，其

Sn’值是否可達到三個標準差以上。

圖九 經 Patchwork 演算法加密之 IVVI 影像 圖十 用不同 seed 值來解密之 Sn’值

表二 不同 seed 值之 Sn’值 Seed Sn’ Seed Sn’ 1 147.7 11 -583.9 2 283.0 12 135.4 3 166.4 13 590.6 4 -147.3 14 548.4 5 184.7 15 -382.0 6 288.6 16 213.3 7 481.2 17 450.8 8 285.7 18 428.9 9 227.4 19 576.9 10 4009.3 20 183.4 的 Sn’值，由於我們在解密時必須以加密時的點位置來予以解密，所以由圖十可 以發現當 seed 值為 10 時有最大 Sn’值為 4471，且也大於所訂的臨界值，而達到 12.60 個標準差，因此，我們有很大的信心可以說此一影像是以 seed=10 來加密， 因此我們可以說成功解密。 (II) 利用小波轉換進行影像加密 小波轉換(Wavelet Transform)是近年來十分熱門的研究課題之一，其於影像 的應用上，可將二維影像轉換成多解析度(Multiresolution)影像，不同解析度的 局部影像(detail image)，分別代表著影像中不同的頻率，藉由此一特性，我們可 將資訊隱藏於影像中的不同頻帶（在本研究中僅藏於中頻頻帶），小波轉換的方 法在此並不多所著墨，基本方法可參考[18]，我們僅針對加密演算法的重點部份

做介紹，任何影像可利用小波轉換依據其影像內的頻率資訊轉成各個頻帶，如 圖十一所示。 圖十一 影像二維小波轉換分解示意圖 (1)加密演算法 在本研究中，希望利用小波轉換將圖十二之 2562562 之半色調影像加入 圖九之 5125128 灰階 IVVI 影像，在加密時，圖九與圖十二皆先分解成多解析 度影像，再依不同解析度分別做加密，整個演算法大致可分為下列五個步驟。

Step1：將 IVVI 進行二維小波分解－在此，我們將圖九之原始 IVVI 灰階影像經

由先前所介紹過之 Haar 小波轉換成三層多解析度影像，其係數影像分別 由{HH1、LH1、HL1、HH2、LH2、HL2、LL2}所組成，如圖十三所示。 Step2：將浮水印進行多解析度分解－由於原始 IVVI 影像已被分解成三階層影 像，因此，若要將圖十二藏入圖十三中，則勢必將圖十二之浮水印分解 成多解析度影像，在本研究中，我們採用最解單的方法來達到此一目的， 即將圖十二之偶數行與偶數列做間隔取樣，因此可得到 128128 之低解 析度浮水印影像，如圖十四所示，而原始圖十二被取樣的偶數行與偶數 列我們則以 1（白）來取代，則我們可得高解析度之浮水印影像，其影像 大小維持在 256256，如圖十五所示，圖十四與圖十五即我們的多解析 度浮水印影像。 Step3：將多解析度浮水印影像隨機打散－為防止浮水印之圖案(pattern)有一規則

性可循（即本實驗之浮水印肉眼輕易即可分辨出其為由 IVVI ntnu GAC 等 的字串所 組成），進而容 易 使浮水 印 遭到刻意 破壞， 因此我們利用 pseudo-random number generator 來產生一組假亂數，並利用這一組假亂 數來將圖十四與圖十五之多解析度影像做重新排列，所以在解密時我們 必須要知道所採用的 seed 值為多少，方能成功解密。用此方法，我們便 可將圖十五之半色調高解析度浮水印影像重新排列，如圖十六所示，同 HH1 HL1 LH1 HH2 HL2 LH2 LL2

理，針對圖十四之半色調低解析度影像我們採用 seed=20 來將其重新排 列，可得圖十七，由圖十六與圖十七我們已無法由影像中看出其規則性。 Step 4：影像資訊隱藏演算法－在將高解析度與低解析度之浮水印影像經重新排 列後，在此一步驟我們要將多解析度之浮水印影像（圖十六與圖十七） 加入原始 IVVI 之多解析度影像（圖十三）中，在加密時，我們僅針對 LH1、HL1、LH2、HL2的係數影像進行資訊藏入，原因在於如果針對 LL2 做加密，則只須去除影像低頻部份即可將資訊去除，此外，針對低頻的 地方做加密對人眼而言，此一經加密的資訊將很容易被查覺而被加以破 壞，至於不對 HH1與 HH2做加密的原因在於若將影像經高頻濾波器或是 經過 JPEG 等失真壓縮後，所加入的資訊亦十分容易被加以破壞，於是， 在本研究中，我們採用中頻的頻帶來做加密。在加密時，我們必須先瞭 解 LH1、HL1、LH2、HL2的係數影像的特性，在此，我們取 LH1之係數 影像中之 Laplacian 分佈圖為例（實際上 HL1、LH2與 HL2的 Laplacian 係數分佈圖皆與此圖類似），如圖十八所示，其所有的係數值大致上以 0 做對稱分佈，且值皆很小。在加密時，我們將圖十六之半色調高解析度 影像之奇數行加入 LH1中，偶數行加入 HL1中，以及將圖十七之半色調 低解析度影像之奇數行加入 LH2中，偶數行則加入 HL2中。加密的方法 以高解析度影像之奇數行加入 LH1中為例，由於只取奇數行，因此其影 響大小僅 256128 個素，而 LH1的影像大小則是 256256，所以，在加 密時，我們將 LH1影像每一列相鄰兩像素視為一組，則可得到 256128 組像素點，此與所取之奇數行高解析度影像大小相同，亦即，高解析度 浮水印影像中每一個像素點可以對應到 LH1影像中的每一組（由兩個像 素所組成）像素點，又我們由圖十八得知，LH1 影像中的每一像素值皆 很小且約略以 0 做對稱，在此，我們定義若所要加入的高解析度浮水印 影像之像素點之值為 1，則代表此像素點所對應的 LH1影像中之對應組 內第二個像素點之絕對值必須大於第一個像素點之絕對值，反之，若所 要加入的高解析度浮水印影像之像素點之值為 0，則代表其像素點所對應 的 LH1影像中之對應組內第二個像素點之絕對值必須小於第一個像素點 之絕對值，若 LH1影像中每一組內兩個像素值相對應大小關係與所要加 入的像素值顏色恰與我們的定義不合，則我們只須將不合的這幾組內第

一個像素值做1 與第二個像素值做1 的動作，直到其與我們定義相符為 止，如表三所示。同理，在我們的演算法我們可以藉由更改 IVVI 之多解 析度影像之像素值以達到將對 LH1、HL1、LH2、HL2的係數影像進行資 訊藏入，經加密後之多解析度 IVVI 影像如圖十九所示。 Step 5：多解析度影像重建－在利用小波轉換進行影像加密後，在最後一個步驟 便要將圖十九所加密之多解析度 IVVI 影像進行合成(Synthesis)，亦即 IWT(Inverse Wavelet Transform)來進行影像合成，可得到圖二十之經加密 後之 IVVI 影像，若將其與原始 IVVI 影像相比較，經加密後之影像其 PSNR 值為 51.80dB，肉眼難以分辨。 圖十二 所欲加入之 256256 半色調浮水印 圖十三 三階層小波轉換之多解析度影像 圖十四 128128 之半色調低解析度浮水印影像 圖十五 256256 之半色調高解析度浮 水印影像 圖十六 256256 之半色調高解析度浮水 圖十七 128128 之半色調低解析度浮水印影像 印影像經重新排列 經重新排列

圖十八 LH1之 Laplacian 分佈圖 表三 加密演算法示意表 浮水印像素值 0 1 0 0 1 LH1影像中對應組內像素值 3 -4 5 -7 -1 5 -1 3 4 2 更改步驟一 4 -3 -2 4 -2 2 3 3 更改步驟二 -3 3 -3 1 2 4 更改步驟三 -4 2 更改步驟… LH1影像最終更改結果 4 -3 5 -7 -4 2 -3 1 2 4 圖十九 經加密之三階層小波轉換多解析度影像 圖二十 經加密之 IVVI 影像 (2)解密演算法 影像在解密時，我們必須要有三種資訊方可成功解密，分別為經加密之影 像、高解析度浮水印重新隨機排列所採用的 seed 值以及低解析度浮水印重新隨 機排列所採用的 seed 值等，此三者資訊少一不可，以本研究的實驗範例而言， 高解析度浮水印重新排列所採用的 seed 值為 10，至於低解析度浮水印重新排列 所採用的 seed 值為 20。在解密時，有下列五個步驟： Step1：建立加密影像之多解析度影像第一步驟在解密時，我們將所加密的影像 經先前所介紹之二維影像 Haar 小波轉換分解成三層多解析度加密影像。

Step2：資訊萃取－由於我們只在多解析度影像中之 LH1、HL1、LH2、HL2的係 數影像中做加密，因此在解密時只須由所建構之多解析度影像中之 LH1、HL1、LH2、HL2的係數影像著手，再利用加密演算法中的第四個 步驟中所做的定義便可輕易的將資訊萃取出來，亦即可以求出高解析度 之浮水印半色調影像與低解析度之浮水印半色調影像。 Step3：浮水印影像重新排列－在解密時，由於所解出的多解析度影像為經隨機 重新排列過，因此，在解密後便要將其再排列回來，此時，我們須要用 到加密時所採用的 seed 值資訊，有了此一資訊後，再利用 pseudo-random number generator 我們便可以很輕易地求出加密時重新排列的規則，並用 此一規則來將所萃取出的高解析度浮水印與低解析度浮水印排列回來。 Step 4：多解析度浮水印影像之合成－一旦將浮水印影像重新排列後，由於低解 析度浮水印影像是由高解析度浮水印影像的偶數行與例做取樣，因此， 知道此一關係後，便可以輕易地將浮水印影像重建回來，如圖二十一所 示，在本實驗中，所萃取出的浮水印與原始加入之符水印完全一樣，因 此可以說成功解密。 圖二十一 所解密之 2562562 半色調浮水印

三、主要發現與結論

本計畫之宗旨是以數位影像處理分析技術應用於反應器內部組件之目視檢 測，尤其近年來數位影像科技的快速發展，目前已是極佳時機將連續影像處理 分析技術應用於反應器內部組件之 IVVI 檢測。在本研究中，我們除了延續先前 的研究使 IVVI 影像處理分析系統更加完備外，在本研究中我們提出了反應爐內 部環場影像間幾何關係之建立及接合重建方法、以網頁為基礎之直覺式 IVVI 虛擬實境瀏覽技術開發、最後我們亦提出了兩種數位浮水印的方法來將 IVVI 影像做加密處理，以加強 IVVI 影像之版權保護，所完成之工作項目有三項，其

主要之結論如下：

A. 藉由理論的推導，我們找出了以不同 Linear Pushbroom Camera 所建立的不 同 LP-mosaic 影像時的幾何轉換關係，利用我們所推導出的模型，可以將 不同區域的 LP-mosaic 環場影像作接合重建成單張影像，而此影像可以用 來完整描繪所紀錄之內部結構作為三維模型的貼圖使用。 B. 利用網頁為基礎的直覺式虛擬實境瀏覽技術，大量減少傳統 IVVI 影像之檢 索搜尋時間，並克服在不同平台上操作的限制，此外，也將 IVVI 環場影像 與其在真實反應爐內部的位置資訊相結合，並用友善的使用者介面讓檢索 更加快速與便利。 C. 我們利用區塊加密及小波轉換演算法針對 IVVI 影像進行數位浮水印加 密，以加強 IVVI 影像的版權保護，前者加密方法是基於統計的原理，經由 實驗結果我們可以看到其強固性以及用肉眼難以分辨此一影像是否有加入 數位浮水印，最後我們可成功地將其予以解密；除了使用區塊加密演算法 在空間域(spatial domain)對 IVVI 影像做加密外，我們亦使用近年來十分熱 門的小波轉換先將 IVVI 影像由空間域轉到頻率域(frequency domain)，由於 在低頻中加密容易被發覺，在高頻中加密則容易在將影像做轉檔(如轉成 JPEG)時，會將高頻的訊號做某種程度的量化(quantization)後而使隱藏的資 訊有所破壞，因此，我們將所有的資訊加在 IVVI 影像的中頻帶，如此，經 加密的影像可克服許多常見的破壞後，其加入的資訊依舊可被萃取出來， 而成功地達到 IVVI 影像版權保護。 藉由本研究的進行，我們將一系列 IVVI 目視檢測系統建構地更加完整，並經由 本研究之進行，應用數位影像科技，包括數位影像處理、電腦視覺、電腦圖學 等技術探索及分析 IVVI 影像中有用的資訊，並進一步掌握反應器的健康狀況， 以做為安全運轉及維修之參考。故這一系列相關研究使反應器內部組件目視檢 測技術藉由數位影像科技而加以提昇，並有極大的實際應用價值。

四、參考文獻

[1] L. Kastro, “Visual inspection more reliable than ever,” proceedings of the 14th International Conference on NDT in the Nuclear and Pressure Vessel Industries, pp. 367-370, Kyoto, Japan, 1996.

[2] W.K. Pratt, “Digital image processing,” 2nd Ed, John Wiley & Sons, Inc., 1991. [3] B. Jahne, “Practical handbook on image processing for scientific applications,”

CRC Press, New York, 1997.

[4] A.V. Oppenheim, R.W. Schafer, “Discrete-time signal processing,” Prentice-Hall Inc., New Jersey, 1989.

[5] P.K. Andleigh, K. Thakrar, “Multimedia systems design,” Prentice-Hall Inc., New Jersey, 1996.

[6] M. Erve, et al., Inspection findings in austenitic RPV internals of German BWR plants and BWRs built in other countries and resulting measures for Isar 1 nuclear power station, Nuclear Engineering and Design, 190(1-2) 41-56, 1999.

[7] Y. Saburov, et al., NDT activity in the Ignalina nuclear power plant, INSIGHT,

43(6)372-375, 2001.J.D.

[8] H. C. Wang, H.F. Shyu, C.Y. Yeh (1999), “Digital Image Processing for In-Vessel Visual Inspection (IVVI), proceedings,” the 5th Far-East Conference on Nondestructive Testing, pp.541-548, Kenting, Taiwan, November 1999. [9] I. Poupyrev, et al., Developing a generic augmented-reality interface, IEEE

Computer, Vol 35, No 3, pp. 44-50, March 2002.

[10] C.S. Chen, C.K Yu, and Y.P. Hung, “New Calibration-free Approach for Augmented Reality Based on Parameterized Cubed Structure,” Proceedings of International Conference on Computer Vision, ICCV’99, Corfu, Greece, pp. 30-37, September 1999.

[11] Radke, et al., “Estimating Correspondence in Digital Video,” proceedings, pp 196-201, IEEE International Conference on Information Technology: Coding and Computing, Las Vegas, Nevada, April 2001.

[12] S. Peleg and J. Herman, “Panoramic Mosaics by Manifold Projection,” IEEE Conference on Computer Vision and Pattern Recognition, pp. 338-343, June 1997.

[13] S. Peleg and J. Herman, “Panoramic Mosaics with VideoBrush,” DARPA Image Understanding Workshop, pp. 261-264, May 1997.

[14] R. Gupta and R. I. Hartley, “Linear Pushbroom Cameras,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 19, No. 9, September 1997. [15] D. Gruhl and W. Bender, “Information Hiding to Foil the Causal Counterfeiter,”

Proc. of Information Hiding Workshop, Lecture Notes in Computer Science 1525, April 1998, pp. 1-15.

[16] R. W. Hwang, “A Robust Algorithm for Information Hiding in Digital Pictures,” Master Thesis, MIT, May 1999.

[17] S. G. Mallat, “A Theory for Multiresolution Signal Decomposition: The Wavelet Representation,” IEEE Transactions on Pattern Analysis and Machine Intelligence, Vol. 11, No. 7, July 1989.

[18] R. C. Gonzalez and R. E. Woods, Digital Image Processing, 2nd Ed, Prentice-Hall, Inc. 2002.

[19] H.C. Wang, C.S. Chen, Y.T. Chen (2003), Application of Digital Image Processing Techniques to In-Vessel Visual Inspection (IVVI), proceedings, International Symposium on Non-Destructive Testing, Suzhou, China, September 2003. （ISBN7-900367-80-2）

[20] 陳祝嵩,洪一平,陳玲鈴, “Applying Computer Vision Technique for 3D Object Model Reconstruction,” 影像與識別, Vol. 4, No.1, pp.30-37, March 1997. [21] 林忠毅,石勝文,洪一平,湯耀中, “New Approach to Automatic Reconstruction

of 3D World Using Active Stereo Vision,” 1998 Conference on Computer Vision, Graphics, and Image Processing, proceedings, p392-399, Taipei, Taiwan,

August 1998. [22] 林清忠，“初級目視檢測”，ED-331C，台灣電力公司，1995. [23] 章明，戴文智，”三維輪廓非接觸式掃描量測技術之研究”，檢測科技十四 卷六期(11-12), pp.311-21,1996. [24] 徐鴻發，白耀東，熊惟甲…王希俊等十人(1998a)，“微功率反應器內部組件 目視檢測報告”，核能研究所研究報告，INER-OM-0386，1998 年 2 月 [25] 徐鴻發等(1998b)，“清華大學水池式反應器內部組件目視檢測報告”，核能 研究所研究報告，INER-OM-0318，1998 年 2 月 [26] 徐鴻發等(1998c)，“研究用反應器內部組件目視檢測”，第五屆破壞科學研 討會論文集，pp.399-402，台灣南投，1998 年 3 月 [27] 王希俊，徐鴻發 (1997)，“數位影像處理在目視檢測的應用--損模型與相機 模式的建立”，第十屆非破壞檢測技術討論會論文集，pp.(4)37-48，台灣高 雄，1997 年 12 月 [28] 王希俊，張文基，厄芮．鈕曼 (1998a)，“數位影像處理技術鑑定薄膜瀝青 破壞特性”，第五屆破壞科學研討會論文集，pp.403-10，台灣南投，1998 年 3 月 [29] 王希俊，白耀東，葉競榮，李後龍，何正行 (1998c)，“數位訊號處理技術 在聲射檢測的應用--反應爐壓力槽模擬聲射源之位置校正與訊號辨識”，檢 測科技，十六卷四期，149-155. [30] 馬頌德，張正友，”計算機視覺”，科學出版社，北京，1997