第五章 實驗結果與模擬分析
5.4 色彩校正結果分析
由量測結果分析可以發現到，內視鏡會受到燈源與影像感測器的影響而產生色 偏，環場式膠囊內視鏡除了受到燈源與影像感測器的影響外，還會受到錐狀鏡機構的 影響而色域面積壓縮，由以上的結果來看，內視鏡與環場式膠囊內視鏡所拍攝的色彩 並非真實色彩，而會受到內部的影響而產生色偏，例如影像感測器、燈源與機構等，
故需要利用色彩校正將其色彩校正還原至真實色彩中。
本論文提出兩種方法去校正色彩，分別為係數法與複變映射轉換多項式法，並且
著每個人主觀的思想在其中，而造成精準度降低。圖5.21與圖5.22所表示的是係數法與 複變映射轉換分別利用不同階數係數色彩校正後的色域面積，表5.3所表示係數與色差 的關係，最後係數法可以改善色差至1.539，而複變映射轉換多項式法可以改善色差至 1.324，因為複變映射轉換多項式法式利用不同係數代表著不同階層，而複變映射轉換 多項式法每個係數只代表著一個係數而非一個階層，故複變映射轉換係數法只需利用 較少係數就可達到低色差的色彩校正。
利用經過縫隙處理的腸道假體模型的腸道重建影像進行色彩校正，圖5.23分別為係 數法與複變映射轉換多項式法校正後的影像。經過色彩校正後的腸道假體影像。
圖5.21 係數法色域面積比較
圖5.22 複變映射轉換多項式法色域面積比較
表5.3 各種色差比較
Regression method Complex mapping polynomial method
Number Color difference Order Color difference
2 2.629 2 3.296
3 2.157 3 2.461
4 1.980 4 2.082
5 1.856 5 1.621
6 1.559 6 1.471
7 1.541 7 1.325
8 1.539 8 1.324
圖5.23 (a)係數法, (b) 複變映射轉換多項式法
第 六 章
硬 體 架 構
6.1
FPGA發展版
本研究使用ALTERA公司所開發的Cyclone III發展板，如圖6.1所示，擁有高速匯流 卡(High Speed Mezzanine Connector, HSMC)、DDR2 SDRAM與發光二極體等硬體設 備。此發展板搭載Cyclone III EP3C120F780晶片，此顆晶片擁有著11900個邏輯單元(les) 與3888 Kbits記憶體等組件[46]，整體架構圖如圖6.2所示。
圖6.1 Cyclone III 發展版
圖6.2 Cyclone III 硬體架構[46]
利用Bitec公司所開發的高速匯流卡[47]，如圖6.3所示。此卡可以與ALTERA公司 所開發的板子進行連結，此卡的用途用於讀取影像資訊，所能讀取的規格包含PAL、
NTSC與S-Video等格式，輸出的格式包含VGA、DV與S-Video，整體架構圖6.4所示。
圖6.3 Bitec 高速匯流卡
圖6.4 Bitec 高速匯流卡硬體架構
6.2
軟體實現
軟體架構如圖6.5所示，影像由高速匯流卡輸入，高速匯流卡會依據輸入的Vertical blank、Pixel clock與Field signal將Data轉換至Ycbcr色彩空間，Ycbcr色彩空間轉換至 RGB色彩空間。將第四章所提到的色彩校正的複變映射轉換多項式帶入演算法中，將 原本的RGB映射到新的RGB值中，再經由Nios II處理器將新的RGB經由DVI傳送到螢 幕。
圖6.5 FPGA軟體架構圖
利用Verilog實現演算法，首先將RGB色彩空間轉換至xyY色彩空間，將式3.4中矩 陣係數利用Verilog撰寫，其中八位元為小數有效位元，整數部分為一位元，以下為 Verilog程式碼：
wire [16:0] mul1 = rb * 9'b001101010;
wire [16:0] mul2 = gb * 9'b001011100;
wire [16:0] mul3 = bb * 9'b000101110;
wire [16:0] mu21 = rb * 9'b000110110;
wire [16:0] mu22 = gb * 9'b010110111;
wire [16:0] mu23 = bb * 9'b000010010;
wire [16:0] mu31 = rb * 9'b000000101;
wire [16:0] mu32 = gb * 9'b000011111;
wire [16:0] mu33 = bb * 9'b011110011;
wire [8:0] D_YI = (mu21+mu22+mu23)>>8;
wire [8:0] D_ZI = (mu31+mu32+mu33)>>8;
wire [10:0] sum_XYZ = D_XI+D_YI+D_ZI;
wire [16:0] sum_X = D_XI<<8;
wire [16:0] sum_Y = D_YI<<8;
wire [9:0] D_xI = sum_X/sum_XYZ;
wire [9:0] D_yI = sum_Y/sum_XYZ;
wire [9:0] D_zI = 9'b100000000-D_xI-D_yI;
利用Matlab將轉換係數計算出來，並且代入Verilog中，在這裡利用兩階多項式去 進行色彩校正，因為其中轉換係數有負值，須利用有數小數進行運算，八位元為小數 有效位數與一位元為整數有效位數，第一位元為判別正負位數，其Verilog程式碼如 下：
wire [19:0] mbx2 = (D_xI*D_xI);
wire [9:0] max2 = mbx2[17:8];
wire [19:0] mby2 = (D_yI*D_yI);
wire [9:0] may2 = mby2[17:8];
wire [19:0] mb2xy = (D_xI*D_yI)*2;
wire [9:0] ma2xy = mb2xy[17:8];
wire [9:0] mumxb1 = 10'b0000001010;
wire [19:0] mumxb2 = 10'b0011100110*D_xI;
wire [9:0] mumxa2 = mumxb2[17:8];
wire [19:0] mumxb3 = (max2-may2)*10'b0001101010;
wire [9:0] mumxa3 = mumxb3[17:8];
wire [9:0] mumx = mumxb1+mumxa2+mumxa3;
wire [9:0] mumyb1 = 10'b1111111110;
wire [19:0] mumyb2 = 10'b0110000110*D_yI;
wire [9:0] mumya2 = mumyb2[17:8];
wire [29:0] mumyb3 = ma2xy*19'b1111111111110001000;
wire [9:0] mumya3 = mumyb3[17:8];
wire [9:0] mumy = mumyb1+mumya2+mumya3;
wire [9:0] mumz = 9'b100000000-mumx-mumy;
最後利用將校正後的xyY色彩空間轉換至RGB色彩空間，其Verilog程式碼如下：
wire [19:0] sum_z = mumz*D_YI;
wire [19:0] sum_x = mumx*D_YI;
wire [9:0] D_ZO = sum_z/mumy;
wire [9:0] D_XO = sum_x/mumy;
wire [21:0] muO11 = D_XO*12'b001100111110;
wire [32:0] muO12 = D_YI*23'b11111111111111001110110;
wire [32:0] muO13 = D_ZO*23'b11111111111111110000000;
wire [11:0] muOC11=muO11[19:8];
wire [11:0] muOC12=muO12[19:8];
wire [11:0] muOC13=muO13[19:8];
wire [13:0] RBO1 = muOC11+muOC12+muOC13;
wire [9:0] RBO2 = RBO1[9:0];
wire [32:0] muO21 = D_XO*23'b11111111111111100001000;
wire [21:0] muO22 = D_YI*12'b000111100000;
wire [21:0] muO23 = D_ZO*12'b000000001011;
wire [11:0] muOC21=muO21[19:8];
wire [11:0] muOC22=muO22[19:8];
wire [11:0] muOC23=muO23[19:8];
wire [13:0] GBO1 = muOC21+muOC22+muOC23;
wire [9:0] GBO2 = GBO1[9:0];
wire [21:0] muO31 = D_XO*12'b000000001110;
wire [32:0] muO32 = D_YI*23'b11111111111111111001100;
wire [21:0] muO33 = D_ZO*12'b000100001111;
wire [11:0] muOC31=muO31[19:8];
wire [11:0] muOC32=muO32[19:8];
wire [11:0] muOC33=muO33[19:8];
wire [13:0] BBO1 = muOC31+muOC32+muOC33;
wire [9:0] BBO2 = BBO1[9:0];
表6.1為經由運算後新RGB值，利用ModelSim軟體模擬與Matlab軟體所運算做比 較，Modeslsim模擬圖如圖6.6所示。
表6.1 模擬結果表
Item Software
Item 1 Item 2 Item 3
Original color (128,128,128) (180,128,134) (250,240,180) Matlab (105,136,98) (167,135,105) (206,254,132) ModelSim (102,133,98) (162,135,108) (202,254,141)
圖6.6 (a) (128,128,128), (b) (180,128,134), (c) (250,240,180)
數位運算與類比運算計算方式並不一樣，數位運算並沒有浮點數運算，所以數位 運算需將數值乘上有效位元數後，才可呈現浮點數運算結果，當小數有效位數越大 時，代表著精準度也相對提升，然而運算時間也將會提升，反之有效位元數越小，精 準度也降低，運算時間也跟著下降，代表著運算時間與有效位元數有相對的關係。目 前利用八位元的有效位元數，數位運算與類比運算結果的色差為0.9725。
6.3 即時色彩校正硬體架構
本論文的硬體架構如圖6.7所示，用CMOS影像感測器拍攝影像，將影像經由S-Video傳輸到FPGA，再經由FPGA運算完後，再經由DVI傳送到螢幕，實際架構圖如圖 6.8。
圖6.7 FPGA硬體架構圖
圖6.8 FPGA實際架構圖
第 七 章
結 論 與 未 來 展 望
7.1 結論
本論文為內視鏡之色彩影像校正，利用環場式膠囊內視鏡進行腸道假體拍攝，將 腸道假體影像進行重建，但是受到環場式膠囊內視鏡的錐狀鏡機構影響，造成影像接 合時產生不連續問題，本論文採用平均加權平滑法與最佳化縫隙法減少縫隙的產生，
由未改善的峰值訊號雜訊比17.56改善至35.82。
內視鏡與環場式膠囊內視鏡進行色票拍攝，將拍攝到的色票儲存於電腦中，利用 Matlab軟體計算出色度圖與色票所定義的色度圖比較，可以發現到色票所定義的資訊 與所拍攝到的色票影像有所不同，代表著內視鏡受到影像感測器、光源與機構而造成 影像色偏。色票所定義的D65燈源下拍攝色票，由色度圖可以察覺白色色點位置並不相 同，是因受到影像感測器的色彩濾光片影響，造成所拍攝到色彩資訊不相同，接著利 用將燈源更換為LED燈源進行拍攝，由色度圖上可發現並不相同，由此可以推估色彩 資訊也會受到燈源不同所影響，故需將所拍攝的色彩資訊校正至正確位置；再者環場 式膠囊內視鏡因受到膠囊殼影響造成影像偏黃，造成環場式膠囊內視鏡所拍攝影像與 原始色票所定義色彩色差為21.448，利用係數法與複數映射轉換多項式法，分別可以將 色差值降為1.539與1.324，最後將演算法利用Verilog語法撰寫完成，利用ModelSim模擬 FPGA結果與Matlab模擬結果比較，兩者之間的色差為0.9725。以上的色差值低於美國 國家標準與技術局所定義的色差在3以下人眼所可容忍色差之內。
7.2 未來展望
環場式膠囊內視鏡擁有錐狀鏡光學元件的關係而產生雜散光，而造成投光不平均 使得越靠近中心影像過曝，未來可以將環場式膠囊內視鏡的LED燈源照射於腸道壁
上，減少雜散光的產生。目前腸道影像接合時，所使用平均加權平滑法與最佳化縫隙 法為將影像模糊化，這樣會造成整體影像銳利度降低，造成影像品質只有小幅度的上 升。環場式膠囊內視鏡產生縫隙的問題在於投光不平均，所以可以由色彩空間的方式 將亮度拉為一致再進行接合影像減少縫隙產生。
本論文所提出演算法並非只侷限於內視鏡與環場式膠囊內視鏡，更適用於不同用 途之影像感測器，可以利用不同用途的影像感測器使用此演算法實現色彩校正，提升 此演算法價值並且由實驗中改善演算法的缺失。
影像感測器的暗雜訊較大，可以重新校正影像感測器，將暗雜訊影像降為最低。
FPGA實現色彩校正時因為雜訊的關係，將原本的雜訊放大，使得畫面不清楚，可以加 入數位影像處理的技術，將擷取到的影像先利用影像處理的技術將影像雜訊部分濾 除，再利用色彩校正演算法實現即時色彩校正。目前FPGA演算法利用三階層去實現即 時色彩校正，但是三階所能呈現的精準度並非最高，可以利用數位訊號處理將其運算 速度提升將演算法階數提升至八階，此階數可將色差降至1.324，提升影像色彩精確 度。現在已經完成FPGA即時色彩校正硬體實現，未來可以利用Design compiler 跟 IC compiler 將其演算法以IC形式呈現。
由於目前微創手術的盛行，內視鏡所利用的範圍將會越來的寬廣，目前的內視鏡 因為使用單一鏡頭，無法呈現出3D立體效果，造成在手術過程中因為景深的誤判，造 成傷害到其他的組織。傳統的3D攝影技術利用兩顆鏡頭去產生立體效果，但是內視鏡 會因為旋轉造成視平面改變，而無法產生全視角立體影像，故可以利用三顆鏡頭進行 產生3D立體影像，三顆鏡頭擁有著全視場的優勢，可以隨著內視鏡的旋轉改變視角產 生3D立體效果。
參 考 文 獻
[1] M. E. Riccioni, R. Urgesi, R. Cianci, C. Spada, E. C. Nista, and G. Costamagna, “Single-balloon push-and-pull enteroscopy system: does it work? A single-center, 3-year experience,”
Surgical Endoscopy and Other Interventional Techniques, vol. 25, pp. 3050-3056, Sep 2011.
[2] G. Iddan, G. Meron, A. Glukhovsky, and P. Swain, “Wireless capsule endoscopy,” Nature, vol. 405, pp. 417-417, May 2000.
[3] N. Almeida, P. Figueiredo, P. Freire, S. Lopes, F. Portela, M. Ferreira, H. Gouveia, and M. C.
Leitao, “Simultaneous failure of Pillcam Colon (TM) and Pillcam SB (TM),” Revista Espanola De Enfermedades Digestivas, vol. 100, pp. 731-733, Nov 2008.
[4] I. Fernandez-Urien, C. Carretero, R. Armendariz, and M. Munoz-Navas, “New applications of capsule endoscopy: PILLCAM (TM) ESO,” Anales Del Sistema Sanitario De Navarra, vol.
30, pp. 331-342, Sep-Dec 2007.
[5] A. Uehara and K. Hoshina, “Capsule endoscope NORIKA system,” Minimally Invasive Therapy & Allied Technologies, vol. 12, pp. 227-234, Sep 2003.
[6] RF Lab: Syaka System, from http://www.givenimaging.com/.
[7] C. Gheorghe, R. Iacob, and I. Bancila, “Olympus capsule endoscopy for small bowel
examination,” Journal of Gastrointestinal and Liver Diseases, vol. 16, pp. 309-313, Sep 2007.
[8] K. Gono, “Recent development in multifunctional endoscope,” in Design and Quality for Biomedical Technologies. vol. 6849 , pp. U3-U13, May 2008.
[9] H. Ogata, K. Kumai, H. Imaeda, K. Aiura, T. Hisamatsu, S. Okamoto, Y. Iwao, Y. Sugino, M.
Kitajima, and T. Hibi, “Clinical impact of a newly developed capsule endoscope: usefulness of a real-time image viewer for gastric transit abnormality,” Journal of Gastroenterology, vol.
43, pp. 186-192, Mar 2008.
[10] 鄭偉德，「環場式膠囊內視鏡之影像處理」，國立中央大學光電科學所碩士論文，民國
99年。
[11] D. W. Rees and M. Lisic, “PANORAMIC VIEWING UTILIZING HYPERBOLIC
ELLIPSOIDAL REFLECTING OPTICS,” Photographic Science and Engineering, vol. 6, pp.
113-113, May 1962.
[12] M. Ou-Yang and W. D. Jeng, “Design and analysis of radial imaging capsule endoscope (RICE) system,” Optics Express, vol. 19, pp. 4369-4383,Feb 2011.
[13] 薛博文，程啓正，周家至，張津魁，「全方位視覺感測系統之介紹與建置」，工程科技
與教育學刊，第三卷，264~283頁，民國95年。
[14] M. Zampoglou, M. Szenher, and B. Webb, “Adaptation of controllers for image-based homing,” Adaptive Behavior, vol. 14, pp. 381-399, May 2006.
[15] T. K. Dang, M. Worring, and T. D. Bui, “A semi-interactive panorama based 3D reconstruction framework for indoor scenes,” Computer Vision and Image Understanding, vol. 115, pp.
[15] T. K. Dang, M. Worring, and T. D. Bui, “A semi-interactive panorama based 3D reconstruction framework for indoor scenes,” Computer Vision and Image Understanding, vol. 115, pp.