第一章 緒論
1.2 論文架構
本篇論文共分為五個章節。第一章為緒論,可以了解相關研究的發展以及我 們研究的目標。第二章介紹整個實驗的想法、系統開發中所用到技術與方法的一 些文獻回顧。第三章介紹整個實驗的方法和實驗流程。第四章為實驗的結果。第 五章為結論與未來展望。
第二章
1. Central Moments 用來找原始影像的 Principal axes 與 Transformation 2. Smallest enclosing annulus 用來找果蠅腦影像的 ellipsoid body center 3. Feature-Based Metamorphosis 用來做兩張影像的 Morphing
2.2 Moments
Moments 是一種測量物體本身的質量是如何分佈在空間當中,可用於描繪物 體形狀的特徵,在數位影像處理的資料集裡,2D 空間是測量他的 pixels 分佈,
3D 空間則是測量他 voxels 分佈來描述物體的外型[1][2][3]。這在統計學上是一個 非常重要的功能,多個維度物體的外型、形狀在統計學的或然率分配時常用他的 特徵來具體描繪,例如 principal axes(主軸)或 covariance(共變異數)等。我
們就利用 principal axes 的測量方法來描繪果蠅腦影像的外型在 3 個維度空間裡。
2.3 Smallest enclosing annulus
Smallest enclosing annulus?最小封閉環狀體@這一類的問題是最早可追溯到 1991 年由 Der-Tsai Lee 與 Van-Ban Le 提出量測圓形物體的剖面半徑之方法原則,
是根據於圓心的種類[4],他提出另一個標準,以時間複雜度; $4 $ < 的演 算法來計算不同圓心的最小半徑和最小面積(minimum radial and area difference center)。之後在 1999 年由 Pankaj K. Agarwal 等人提出要找一個最小寬度的環狀 球體[5],如下圖 2-1 所示:
圖 2-1 最小封閉的環狀體
假設 S 是一個 n 個點的集合在 d 個維度的歐式空間裡。S 這個環狀球體的大小 roundness可以被計算成,求最瘦小的球面體?或者環狀面積在GH@且包含住 S 這個集合。也就是說,求 S 集合裡面最大的一個點 p 到同心圓 c 的距離 R 和最小
爾後 Bernd Gartner 等人在 2000 年提出要找 Smallest enclosing annulus 相當
於找GH! H差為最小的值[6]。當在 2D 的空間裡,此環狀為最小面積,在其他 維度裡,最佳的環狀體可以被用來測試是否 input 的點落在接近於球體上。此問 題 也 在 於 其 理 論 的 重 要 性 , 因 為 他 可 以 被 用 於 一 個 近 似 演 算 法 approximation algo. 來求最小寬度的環狀體,或甚至更難的問題。
Smallest enclosing annulus 這問題是一個 linear programming,也可以被視為 退化的 quadratic programming ?+Y+ < DY+ ,當 ) 0@。在這一篇 paper 當中,提 供這個問題的測試結果,主要證明在相同的條件下退化的 quadratic programming 其效率比專門使用 linear programming 的方法好許多。作者也將他的實做放在 CGAL >"5%%$ 4#"#%/ 4%" Z/上提供大家來使用。
2.4 Feature-Based Metamorphosis
Morphing 常用來處理兩張圖片互相變形的技術,可以用在多個方面上,例 如應用在影片特效中,就是將第一張圖片漸漸淡化,而第二張圖片所佔的比重漸 漸增加,這樣的一個方法在兩張圖片輪廓接近時是非常好用。在我們的實驗裡採 用 Morphing 的 Warp,主要是希望把 Source image 改變成 Target image,因此不 需要有 Target image 的資訊存在,因此 Warp 的方法會較為重要。
Warp 需要注意 mapping 的方法跟選取的原則。我們採用 reverse mapping,
也就是先掃描 Target image 上得每一個點,在找出在 Source image 上的相對應位 置的像素。這一個方法會將 Target image 所有的像素填滿,相較於 forward mapping 好應用在我們的實驗上。
在本實驗中的 Morphing 實做的技術與方法,主要是沿用 Po-Chung Yang 在 2007 年的碩士論文根據特徵點來變形[7] [8] [9]等。
第三章
2. Find ellipsoid body center 並以此 center 當作 Scaling 及 Morphing 的基 準點。
3. 用數幾組果蠅腦的 bounding box 去計算制定一個 averaged standard brain 的 bounding box。
4. 以 ellipsoid body center 為基準點 Shift and Scaling 每一組果蠅腦的 bounding box 到 averaged standard brain 的 bounding box。
5. 設定數組特徵點,包含 bounding box 及 ellipsoid body center 的特徵點 來做 Morphing。
3.2 Principal axes
3.2.1 Principal axes and Transformation
在比較或做Morphing
Principal axes 、Transformation and Bounding Box
and Transformation
Morphing果蠅腦數位影像之前,由於原始的檔案約略為
或多或少超過或未滿45 度,因而在做比較或做 Morphing會有些為精準度 因此這裡我們要利用Moments 的方法來做 rotation,使整個物體
標準方向的新座標系統上。
是要將物體的centroid 當作座標軸的原點,座標軸的方向將會被
圖 3-1 物體的主軸
是最短軸,而 P3則是介於前二者長度間的軸
second-order central moments[1][2]可將此橢圓物體用一個
"%+來表示,定義如下:
F
,,) [
=H=< [
==H此 inertia matrix 是一個具有 symmetric 性質的矩陣,他的 eigenvalues 必定是屬於 實數,並可求出其對應的 eigenvector。有此可導出一個矩陣 R 由他的 eigenvectors 及 eigenvalues `=, `B, `H所組成下列:
G
YFG ) \ `
=0 0
0 `
B0
0 0 `
H]
其中一個 eigenvector 對應最大的 eigenvalue 並決定此物體的最大分散方向
?第一主軸@,而第二大的 eigenvalue 則對應此物體的第二大分散方向?第二主軸@,
以此類推。如此我們可以利用 inertia matrix 來定義圖 3-1 的主軸座標系統,inertia matrix 的 eigenvectors 就稱做此物體的主軸 principal axes。
此外,由主軸所定義出的新座標系統也適用於旋轉後再作比較分析,事實上 旋轉矩陣的列就是由 eigenvectors 所組成,使得主軸可旋轉校正這新的座標系統 中。圖 3-2 為一個物體在 3 度空間裡用 second-order central moments 找到的三個
主軸。圖 3-3 為Transformation
圖 3-3 以
Transformation到新座標系統中。
圖 3-2 三度空間裡物體的主軸
以Principal axes transformation到新座標系統中到新座標系統中
3.2.2 Bounding Box
在這一小節裡將介紹找一個 second-order central moments
別沿著這三個主軸,以主
圖
圖 3-6 六個
得到 bounding box的 transformation如下二圖所示
3-5 沿著 principal axe 2 找兩側的邊界
六個bounding plane 交於 8 個頂點(bounding point)
的8 個頂點(bounding point)後,再與volume data 如下二圖所示?圖 3-7,3-8@。
(bounding point)
volume data一起作
圖
圖 3-8 bounding box
接下來是這一部分的實驗 1-channel灰階的果蠅腦影像 個新主軸並transformation
圖 3-7 bounding box 包住 volume data
bounding box與 volume data 一起作transformation
接下來是這一部分的實驗過程與結果。首先是一張原始
灰階的果蠅腦影像?圖 3-9@,經過 second-order central moments transformation後的結果?圖 3-10 紅色外框為bounding box
transformation
首先是一張原始 512*512*65、
order central moments找到三 bounding box@,輸出中
心點 centroid、transformation matrix.、bounding box transformed 前後的點(bounding point)?圖 3-11@。
圖 3-9 原始 512*512*65 灰階果蠅腦影像
圖 3-10 經過 Principal axes transformation 後的結果
圖 3-11 輸出 centroid、transformation matrix.、bounding box transformed 前 後的點(bounding point)
3.3 Find ellipsoid body center
在這一節裡,將介紹尋找果蠅腦的 ellipsoid body center 的方法。在觀察兩隻 或數隻以上的果蠅腦 3D 影像時,首先會遇到的問題就是比較的基準點在哪?
Second-order Central moments 所找到的中心點是整個 3D 影像的質量中心點,對 果蠅腦來說比較不好比較,可能兩個果蠅腦左右半邊包含的器官部位不相同。所 以我們直觀的想找果蠅腦中的一個中心點,是希望這個點能夠具有左右器官對稱,
各個腦的上半部與下半部各自包含相同器官,讓此中心點最具有器官比較的基準 點。在我們的觀察裡,果蠅腦的 ellipsoid body 最具有此性質,因此,我們將用 最小封閉環狀體的結構來尋找 ellipsoid body 中心點,使其成為整張 3D 影像中的
center,以便之後作Scaling
圖 圖 3-12 紅色框框裡,
環狀的物體,可以用甜甜圈的外型來形容他
中心點。這樣的一個問題
是要找一個最小寬度的環狀球體
Scaling與 Morphing 更具幾何上的意義。
圖 3-12 果蠅腦的 ellipsoid body 區域
,是果蠅腦的 ellipsoid body 區域,他的外型很接近一個 可以用甜甜圈的外型來形容他,我們的目標是要找到此環狀物體的 這樣的一個問題,由 Pankaj K. Agarwal 等人在 1999年提出
是要找一個最小寬度的環狀球體,如下圖所示:
圖 3-13 最小封閉的環狀體
他的外型很接近一個 我們的目標是要找到此環狀物體的
年提出[5],概念上
其中綠色線為小圓的半徑 r、橘色線為大圓的半徑 R,黑色的點為 input 的環狀體 候選點其中 R G,若要找一個最小封閉的環狀體 Smallest enclosing annulus,
則希望 r 能盡量大且 R 能盡量小的情況。
Bernd Gartner and Svend Schonherr 在 2000 年提出要找最小封閉的環狀體相 當於找GH! H為最小的值[6]。因此我們利用作者放在 CGAL 上,所提供的 class CGAL: : Min_annulus_d o p% q來實做計算最小封閉的環狀體。
CGAL::Min_annulus_d<Traits>可以實做 d 個維度的歐式空間,求算GH! H的 差值為最小。首先給定一個點集 P 其中 ma(P)是最小環狀體並包含所有 P 的點集, 標為P1 227,208,24, P2 269,247,41,圖 3-15 為做完 the smallest enclosing annulus 後的結果,annulus 的圓心落在 248,227.5,32.5為 ellipsoid body center。
圖 3-14 紅色外框為選取的範圍去作
圖
紅色外框為選取的範圍去作 the smallest enclosing annulus
圖 3-15 紅色小點為 annulus 的圓心
the smallest enclosing annulus
3.4 Averaged Standard Brain
這一小節裡將介紹如何得到一個假想的果蠅標準腦 在大小上或多或少有些許的不同
幾組的果蠅腦 3D 影像盡量調整到相同的大小再處理
bounding box transformed 所示:
圖 3-16 取
bounding box是一個立方體有八個頂點 BP2右下後的兩個點來表示一組果蠅腦 ellipsoid body center當作整個果蠅腦
可以分成八個空間,如下圖
ellipsoid body center的垂直座標軸
Standard Brain
這一小節裡將介紹如何得到一個假想的果蠅標準腦,由於果蠅腦的 在大小上或多或少有些許的不同,因此在做特徵點的 Morphing前
影像盡量調整到相同的大小再處理。在 3.2.3 transformed後的兩個邊界點BP1, BP2 Bounding Point
取bounding box 的兩個端點 BP1 左上前,BP2 ellipsoid body center、綠色線為過
圖 3-17 ellipsoid body center
ellipsoid body center將 bounding box分隔成八個空間 我們可以計算中心點到bounding box 的距離 bound distances
中心點到左邊bounding box plane 的距離
圖 3-18 ellipsoid body center
每一組果蠅腦 3D影像就會有六個
計算六個 bound distances 腦影像的ellipsoid body center 點座標令為 zI, {I, |I,
到新的 averaged bounding 當作 averaged standard brain
ellipsoid body center到 bounding box 的六段距離 bound
影像就會有六個bound distances,我們取 13組的果蠅腦影像來 istances個別平均 averaged bound distances,再以
ellipsoid body center取平均得到的 averaged ellipsoid body center
,加上此六個方向的 averaged bound distances ounding box 如圖 3-19 所示,我們就以此 averaged
rain來做後續的 Scaling 與 Morphing。
ound distances
組的果蠅腦影像來
再以13 組果蠅
ellipsoid body center為原 istances往外擴張得 d bounding box
圖
3.5 Shif t and Scaling
延續 3.4 節 averaged 組果蠅作 Shift 與Scaling
做完the smallest enclosing annulus z}, {}, |}、以及其 bounding
averaged standard b z}, {}, |} ! zI, {I, |I 平移量,再將整個果蠅腦
平移後的果蠅腦影像其 的 ellipsoid body center, 不會與我們的 averaged s 要另外對此組果蠅腦影像的
3-19 ellipsoid body center 向六個方向
t and Scaling
d standard brain 的制定完成後,這一節將介紹如何把每一 Scaling到 averaged standard brain 裡。每一組果蠅
the smallest enclosing annulus 後都可以得到一個ellipsoid body center ounding box 的六個 bound distances。
brain 的 ellipsoid body center 座標即為
brain 的 ellipsoid body center 座標即為