QL演算法與複迴歸分析在影像壓縮上之應用
123
0
0
全文
(2) 摘. 要. 本研究主要目的在於提出適用於靜態影像壓縮之失真壓縮技術，並以數學理 論為基礎，進而從事理論的落實工作。為驗證理論之可行性，以Visual C++作為 撰寫程式的工具，加上MATLAB的數據驗證，最後以不同類型的靜態影像進行壓 縮，藉此探究本壓縮技術與現今壓縮技術的優劣，以及未來進一步發展的可行性。 本研究所提出的適用於靜態影像壓縮之失真壓縮技術，延續了最佳化轉換的 優點，利用靜態影像上的明顯特徵進行壓縮，與現今壓縮技術採用方塊分割後才 來壓縮不同，在失真率很高的時候，就可以看出彼此的差異，採用本研究的壓縮 技術可以得到最佳化的還原影像，並且在面對專業級的靜態影像時，壓縮與解壓 縮效果比一般的影像還要好，對目前不管是網路上、相機上、影像辨識及動態影 像上，均可以作進一步的發展與應用。 本研究建置的軟體結合了QL algorithm、主成分分析、multiple regression 的數學理論，主要是以主成分分析和QL algorithm進行擷取特徵並壓縮，而利用 multiple regression來預測還原影像，這樣的設計不僅掌握了影像大部份的特 徵，而流失的資訊對於影像大多不具代表性，也因此產生壓縮效果，而解壓縮時， 採用multiple regression進行最佳化的預測，所以即使在失真率很高的情況 下，也可以掌握影像的大部分特徵。在主成分分析方面，主要是用來分析整張影 像的特性，進而分辨出特徵所在，而QL algorithm則是計算特徵值及特徵向量的 最佳演算法，這些最佳化的理論也成為為整個最佳轉換背後的主要架構。 各種不同類型的靜態影像經過本研究研發的失真壓縮軟體壓縮過後，在失真 率很高的情況下，運作十分順暢而且均得到很好的還原影像，在不同影像上也會 有不同的表現，證明本軟體可以落實在各種靜態影像壓縮作廣泛之應用。 關鍵詞：QL algorithm、主成分分析、multiple regression、影像壓縮. I.
(3) ABSTRACT This main purpose of research was proposed the suitable for the loss data compression technology of the still image compression, and is based on mathematics theory, and then is engaged in implementation of the theory. In order to verify the feasibility of the theory, regard Visual C ++ as the tool which writes the procedure , in addition, the data of MATLAB are verified, compress with different kinds of still images finally, probe this compress technology and the compression technology nowadays by this, and the feasibility developed further in the future. What this research put forward the suitable for the loss data compression technology of the still image compression, extend the advantage. that. the. optimization. changes,. utilize. the. obvious. characteristic on the still image to compress, different from the compression technology just compressing after square cutting nowadays, when the distorted rate is very high, can find out the mutual difference ,adopting the compression technology of this research can get the optimization of reductive image , and in the face of the still image of the specialty grade ,the result of compress and decompress is better than the general image . Regarding no matter on the network, camera at present, recognize on the image and on the dynamic image, can do further development and application. The software of this research construction has combined QL algorithm , principle component analysis and mathematics theory of multiple regression, mainly pick the characteristics and compress with principle component analysis and QL algorithm, and make use of multiple regression. II.
(4) to predict the image of reducing , not only having the most characteristics of the image in such a design, and the information of the loss is scarcely representative to the image ,but also produce the effect of compressing, and while decompressing, adopt multiple regression to carry on the prediction of the optimization, so even can master most characteristics of the image in the distorted rate is very high cases. In the main composition analysis, it is mainly to analysis the characteristic of the whole image, and then tell characteristic, but QL algorithm is the perfect algorithm to calculate characteristic value and characteristic vector, the theory of the optimization becomes the main structure of the whole optimal change. After the distorted compressed software that the still images of different types research and develop through this research is compressed, in the distorted rate is very high cases, the reduction is very nice, there is different behavior on different images ,too, prove that this software can be implemented and. application in various kinds of still images. compression. Keyword: QL algorithm、principle component analysis、multiple regression、image compression.. III.
(5) 目 第一章. 錄. 緒論 ................................................... 1. 第一節 研究動機 第二節 研究目的 第三節 研究問題 第四節 名詞釋義 第二章. 文獻探討 ............................................... 7. 第一節 失真理論與失真資料壓縮 第二節 非累贅取樣編碼 第三節 轉換編碼與JPEG系統 第四節 小波轉換編碼 第五節 最佳轉換 第三章. 研究方法 .............................................. 27. 第一節. 研究步驟. 第二節 理論架構 第三節 研究流程 第四節 程式試用及評估 第五節 研究工具 第四章 研究結果與討論 ........................................ 66 第一節 系統問題改善 第二節 影像壓縮結果 第三節 壓縮效能比較 第五章 結論與建議 ........................................... 101 第一節 結論 第二節 建議. IV.
(6) 參考文獻 .....................................................105 附錄一 圖 3-4-1的R值（解析度為40×30） ........................108 附錄二 圖 3-4-1還原後的B矩陣（經由MATLAB算出） ...............110 附錄三 圖 3-4-1還原後的B矩陣（經由C++.NET算出） ..............112. V.
(7) 表目錄 表 2-4-1 平均值、差值轉換表（一） ............................... 21 表 2-4-2 平均值、差值轉換表（二） ............................... 22 表 3-2-1 A矩陣 .................................................. 38 (1). 表 3-2-2 AK 矩陣 ................................................ 40 表 3-2-3 QR法PK+1矩陣 ............................................ 40 (1). 表 3-2-4 AK+1 矩陣 ............................................... 41 (1). 表 3-2-5 R 矩陣 ................................................ 41 表 3-2-6 QL法PK+1矩陣 ............................................ 45 表 3-3-1 R矩陣 .................................................. 51 表 3-3-2 R的離均差矩陣 .......................................... 51 表 3-3-3 X的SSCP矩陣 ............................................ 52 表 3-3-4 Household三對角矩陣 .................................... 53 表 3-3-5 壓縮後的矩陣Y .......................................... 54 表 3-3-6 離均差矩陣y ............................................ 54 表 3-3-7 投影矩陣P .............................................. 56 表 4-2-1 不規則影像壓縮結果表 ................................... 70 表 4-2-2 風景影像壓縮結果表 ..................................... 72 表 4-2-3 人物影像壓縮結果表 ..................................... 73 表 4-2-4 建築影像壓縮結果表 ..................................... 75 表 4-2-5 夜景影像壓縮結果表 ..................................... 76 表 4-3-1 誤差比較表 ............................................. 100. VI.
(8) 圖目錄 圖 2-1-1 資料率-失真函數 ........................................ 8 圖 2-2-1 非累贅取樣編碼 ......................................... 10 圖 2-3-1 座標轉換圖 ............................................. 14 圖 2-3-2 JPEG編碼系統架構圖 ..................................... 18 圖 2-4-1 小波轉換編碼圖 ......................................... 23 圖 3-1-1 研究架構圖 ............................................. 27 圖 3-4-1 初步測試樣本照片 ....................................... 59 圖 3-4-2 初步測試視窗（一） ..................................... 60 圖 3-4-3 初步測試視窗（二） ..................................... 61 圖 3-4-4 初步測試視窗（三） ..................................... 62 圖 3-4-5 詳細系統流程圖 ......................................... 63 圖 4-2-1 視窗介面圖 ............................................. 68 圖 4-2-2 不規則影像 ............................................. 69 圖 4-2-3 100%不規則影像jip轉換圖 ................................ 70 圖 4-2-4 風景影像 ............................................... 71 圖 4-2-5 100%風景影像jip轉換圖 .................................. 71 圖 4-2-6 人物影像 ............................................... 72 圖 4-2-7 100%人物影像jip轉換圖 .................................. 73 圖 4-2-8 建築影像 ............................................... 74 圖 4-2-9 100%建築影像jip轉換圖 .................................. 74 圖 4-2-10 夜景影像 .............................................. 75 圖 4-2-11 100%夜景影像jip轉換圖 ................................. 76. VII.
(9) 圖 4-3-1 不規則影像BMP原圖 ...................................... 79 圖 4-3-2 不規則影像jip格式Fine .................................. 80 圖 4-3-3 不規則影像jpg品質60 .................................... 80 圖 4-3-4 不規則影像jip格式Normal ................................ 81 圖 4-3-5 不規則影像jpg品質40 .................................... 81 圖 4-3-6 不規則影像jip格式Basic ................................. 82 圖 4-3-7 不規則影像jpg品質20 .................................... 82 圖 4-3-8 風景影像BMP原圖 ........................................ 83 圖 4-3-9 風景影像jip格式Fine .................................... 84 圖 4-3-10 風景影像jpg品質60 ..................................... 84 圖 4-3-11 風景影像jip格式Normal ................................. 85 圖 4-3-12 風景影像jpg品質40 ..................................... 85 圖 4-3-13 風景影像jip格式Basic .................................. 86 圖 4-3-14 風景影像jpg品質20 ..................................... 86 圖 4-3-15 人物影像BMP原圖 ....................................... 87 圖 4-3-16 人物影像jip格式Fine ................................... 88 圖 4-3-17 人物影像jpg品質60 ..................................... 88 圖 4-3-18 人物影像jip格式Normal ................................. 89 圖 4-3-19 人物影像jpg品質40 ..................................... 89 圖 4-3-20 人物影像jip格式Basic .................................. 90 圖 4-3-21 人物影像jpg品質20 ..................................... 90 圖 4-3-22 建築影像BMP原圖 ....................................... 91 圖 4-3-23 建築影像jip格式Fine ................................... 92 圖 4-3-24 建築影像jpg品質60 ..................................... 92 圖 4-3-25 建築影像jip格式Normal ................................. 93. VIII.
(10) 圖 4-3-26 建築影像jpg品質40 ..................................... 93 圖 4-3-27 建築影像jip格式Basic .................................. 94 圖 4-3-28 建築影像jpg品質20 ..................................... 94 圖 4-3-29 夜景影像BMP原圖 ....................................... 95 圖 4-3-30 夜景影像jip格式Fine ................................... 96 圖 4-3-31 夜景影像jpg品質60 ..................................... 96 圖 4-3-32 夜景影像jip格式Normal ................................. 97 圖 4-3-33 夜景影像jpg品質40 ..................................... 97 圖 4-3-34 夜景影像jip格式Basic .................................. 98 圖 4-3-35 夜景影像jpg品質20 ..................................... 98. IX.
(11) 第一章. 緒論. 從古至今，我們賴以生存的要素大致上可以分為三類，(1)物質，(2)能量， (3)信息，近幾年來，由於科技的日新月異，使信息慢慢的嶄露頭角，並趨於數 位化。信息不僅是包括我們所學的知識，還包括周遭感官所接觸到的一切。 信息產生後，必須藉由傳遞與貯存讓前後的信息產生連貫，因此人們開始構 思傳遞與貯存的方法。從最古早的圖騰到今日的數位影音光碟，其目的都是於傳 遞並貯存信息。 在文字尚未被發明之前，人們利用雕刻出的圖騰來記載他們所想要流傳下去 的信息，有文字以後，進而紀錄在竹簡、紙上，到了今天，需要紀錄的信息越來 越多，導致數位訊息的發達，如何有效的紀錄龐大的數位訊息就變成現今重要的 課題。. 第一節. 研究動機. 壓縮技術對於資訊科技一直有著直接且深遠的影響。近年來，許多壓縮技術 被大量的應用在各類型的數位產品之中，不少壓縮法也被國際組織給予認可與標 準化。而隨著各種新的數學理論與統計模式的發展，促使了壓縮技術的不斷翻 新、演進，至今不衰。 基本上可以壓縮的資料主要有下列幾種(戴顯權，民90)： 一、文書資料 二、語音、音訊與心電圖 三、影像資料. 1.
(12) 四、視訊會議及高品質電視. 如果上述的多種資料沒有使用壓縮的技術，那麼一定得使用非常大的記憶體 空間來存放。雖然現在的硬體設備非常的先進，記憶體容量也愈來愈大及便宜， 然而卻也無法完全儲存上述資料。例如一片光碟可以儲存六百萬個以上的英文字 母，足夠儲存一部內容相當完整的百科全書，但在某些地方的應用仍嫌不足，像 是學術性論文的儲存。還有大家去醫院常看到的電子心電圖的資料也是需要大量 的儲存空間來存放(Tai，1993)。或者，現在的多媒體可以藉由壓縮技術把體積 縮小到大概十分之一左右，大大節省許多光碟和硬碟的記憶體空間；倘若不使用 壓縮，多媒體檔案便會迅速的用盡光碟和硬碟，在網路傳輸的方面也會因容量太 大而浪費許多寶貴的時間和佔據大量的頻寬。(郭育杰，民92) 近年來，vcd光碟片已經面臨淘汰邊緣，由此可見，人類對資料壓縮的倚重， 資料壓縮一般分為無失真壓縮與失真壓縮，失真壓縮比起無失真壓縮，更多了幾 項難處，它不僅要求更高的壓縮比，在還原時，更要接受人類自然感官的挑戰， 再加上網路日益發達，失真壓縮的技術也必須不斷的改進，其中影像資料的壓縮 更是與我們生活息息相關，不管是電影、相機、網路照片……等，都是屬於影像 資料，這也就是為什麼我們選擇失真壓縮中的影像壓縮來研究，其中以靜態影像 為主，進而推廣到動態影像，期望可以逼近甚至超前現今靜態影像壓縮的標準 JPEG。. 2.
(13) 第二節. 研究目的. 本研究的主要目的在於研究發展適用於影像壓縮之失真壓縮技術，並且以深 厚的數學理論作為架構，加上Visual C++的程式落實。最後以各種不同的照片進 行壓縮與還原，同時與市面上的壓縮方法做比較。本研究預期達成以下目的： 一、以QL algorithm配合主成分分析，使靜態影像達到較高的壓縮比。 二、採用multiple regression讓壓縮後的靜態影像還原後，失真的程度是可以 控制的。 三、從事數學理論與實際程式落實之建置工作。. 3.
(14) 第三節. 研究問題. 根據前述研究目的，本研究的待答問題臚列如下： 一、探討QL algorithm在靜態影像上的應用。 二、探討主成分分析對靜態影像壓縮的影響。 三、探討multiple regression如何讓靜態壓縮影像還原。 四、分析如何從QL algorithm決定最後的失真程度。 五、使用Visual C++從事數學理論的落實同時以MATLAB做數值上的驗證。 六、評估失真與壓縮比在整個壓縮流程的關係。 七、比較各種類型的照片壓縮後，所產生的壓縮與失真效果。 八、與市面上的壓縮技術做優劣的比較。. 4.
(15) 第四節. 名詞釋義. 壹、資料壓縮 資料壓縮是一個用來減少表示一個訊息(資訊)所需要之訊號空間量 (signal space)的程序。這裡的訊號空間指的可能是實際上的空間(例如記 憶體的大小)；或是一段時間(例如，傳送該訊息所須之時間)；或者是傳送 該訊息所需之頻寬(bandwidth)(戴顯權，民90)。. 貳、壓縮比 資料壓縮比的定義如下：. Cr =. 原訊號所需之位元數 ，其中Cr 為資料壓縮比。 壓縮訊號所需之位元數. 由以上的定義可知， 資料壓縮比若等於1， 表示沒有壓縮效果； 若大 於1，表示有壓縮效果；若小於1，表示資料不但沒有被壓縮，反而還膨脹。 而且壓縮比愈大，表示壓縮效果愈好(王炳義，民92)。. 參、編碼 將一組訊號以特定方式及符號編排之，通常即時碼一定具有唯一的解碼 性，常見的編碼有霍夫曼編碼（Huffman coding）、小波編碼（wavelet coding）……等。. 肆、資料率 資料率（data rate）為平均編碼的長度，又稱位元率（bit rate）。. 5.
(16) 伍、熵 Shannon在1948年所發表以相當嚴謹的理論證明0與1的資料壓縮與傳 輸，實際上存在壓縮的極限與傳輸的極限，前者為資料的熵 (Entropy)，後 者他取名為傳輸通道容量 (Channel Capacity)。我們把整個符號源平均可 以得到的資訊量也就是最小的資料率稱為符號源的熵。. 陸、QL algorithm 算高維矩陣的特徵向量與特徵值所採用的一種複雜演算法。. 柒、multiple regression 採用兩個以上的自變數來預測依變數的方法。. 捌、主成分分析 將相關存在的多變項用較少的互相獨立的線性組合取代的統計方法。. 玖、BMP點陣圖(Bitmap) BMP：這是微軟公司所提出的點陣圖格式，原本是專門用在Windows作業 系統上，讓各軟體的圖形能彼此相容，像簡報、介面設計以及Windows桌面 的底圖。（曹健平，民94）. 壹拾、jip檔 jip檔為本研究最後開發的圖檔新格式，記為.jip。. 6.
(17) 第二章 文獻探討 由於本研究的主要目的在建構一個適用於影像上嶄新的壓縮方法，並與現今 一般的壓縮方法互相比較，因此在文獻探討的部份，擬先從各種資料壓縮方法現 況談起，接著逐一探討資料壓縮相關研究，包括了失真理論與失真資料壓縮、非 累贅取樣編碼、轉換編碼與JPEG系統、小波編碼及最佳轉換等概念。透過這些 不同壓縮方法的探討，期能發現「適用於影像上的壓縮方法」的學理依據。文獻 探討部份敘述如下：. 第一節. 失真理論與失真資料壓縮. 由於資訊科技的日新月異，資訊的傳遞已可透過網路及多媒體技術突破時空 的限制，也因為這樣，人類已經進入數位化的時代，所以資料壓縮就顯得格外重 要，而新的壓縮技巧也如雨後春筍般的被發掘出來， 在短短的幾十年間， 相關 的論文如過之江鯽， 難以細數， 利用不同數學模式， 應用在不同的需求上。. 大 致上， 資料壓縮可分為無失真壓縮（lossless data compression）與失真壓縮（lossy data compression）兩大方向（連國珍，民90），兩者最大的差別在於還原時資料 的準確度，無失真壓縮在還原過後，與原資料可以說是絲毫不差，而失真資料往 往只是做到肉眼難以分辨，私底下卻悄悄地讓一些資料流失了。 失真資料壓縮 法可以舉一個簡單的例子，譬如我們使用一個監測系統，如果取樣值大於某一個 臨界值（threshold）則送出該取樣值，否則不送。如果取樣值大於該臨界值的機 率很小的話，那我們可以得到很可觀的失真資料壓縮，因為原來的取樣值已無法 完全恢復，有些資訊已經永久失去。 我們把資料化身為資訊與累贅（information and redundancy）的組合，而失真 資料壓縮法不僅要去除累贅，還要同時減少一些資訊量，為的是要達到更高的資 料壓縮比（compression ratio），也因為它的高資料壓縮比，成為今日資料壓縮的. 7.
(18) 主流，吸引了不少人員投入其中。現今的失真資料壓縮法大致分為以下幾類，預 測編碼、非累贅取樣編碼、方塊截短編碼、轉換編碼、向量量化編碼、分頻編碼 法、小波編碼、影像碎形壓縮、階級式編碼法以及視訊編碼，在後面的章節中， 我們將挑幾個經典的方法出來與大家共同研究一番，使大家對失真資料壓縮有個 初步的概念。 在許多實際的情況下，某種程度的訊號失真是可以容忍的，資訊內容會再可 以接受的範圍流失一些，得到的好處就是高度的資料壓縮效能，而失真的程度通 常是由使用者藉由控制一些參數來約束失真使其能保持在能容忍的範圍之內，所 以資料壓縮的效能和失真的程度就必須取得一個平衡點。資料率－失真理論 （Berger 1971）為失真資料壓縮的效能建立了一個理論上的限制（bound），這 個理論提供了一個資料率－失真函數（rate-distortion function），R(D)。. 資料率-失真曲線. R(D) 資 料 率. 失真D. 圖 2-1-1 資料率－失真函數. 8.
(19) R(D)具有一些性質，對於任何一個失真程度D，我們可以找到一個編碼方法 讓其資料率逼近R(D)，平均失真則可以逼近D，而不可能找到一個編碼方法，當 資料率低於R(D)時，失真為D或者比D還小。依圖所示，R(D)是一個D的連續而且 嚴格遞減函數，當D=0時，我們所做的編碼為無失真資料壓縮，其所需要之最小 資料率為R(0)，即熵，途中也顯示了不同複雜度的編碼方法所產生的效能與R(D) 之間的關係，當我們使用比較精密的編碼方法時，便可以得到越接近R(D)的效 率。R(D)函數提供了失真與編碼間的關係，而在常用的失真資料壓縮應用上，包 括了影像、語音和音樂方面，到底怎樣來估算失真才是最符合人眼、人耳的實際 情況呢？至今還沒有一定的答案。. 9.
(20) 第二節. 非累贅取樣編碼. 當我們對於編碼做出預測時，我們可以傳送出每一個誤差值，也可以當這個 誤差值大於某一個臨界值時，傳送它的原取樣值，我們把那個讓預測誤差大於臨 界值的取樣點稱為非累贅取樣（non-redundant sample），而那些讓預測誤差小 於臨界值的取樣，我們稱為累贅取樣（redundant sample）。非累贅取樣編碼 （non-redundant sample coding），又名適應性取樣編碼（adaptive sampling coding），這是一種非常廣義的編碼法，主要是利用波形變化的快速與緩慢來調 整取樣率。如圖所示，每當波形變換緩慢時，我們的取樣率也會跟著降低，反之， 在波形變化很劇烈的地方，我們大大地提高它的取樣率。. 圖 2-2-1. 非累贅取樣編碼. 我們將在這一節介紹傳統的非累贅取樣編碼，但是有許多的壓縮方法其實都 是非累贅取樣編碼的特例，包括下一節介紹的小波編碼（wavelet coding）。非 累贅取樣編碼大致有兩類，多項式預測器及多項式內插法（polynomial interpolator）。. 10.
(21) 壹、多項式預測器 多項式預測器是測試下一個取樣值，並且看它是否落入一個n次多項式所展 開的範圍內，一般都採用0次及1次預測器。 0次預測器的數學式為： Xˆ t = X t −1. 由上列式子可知我們預測的取樣值是和前一個相同，但在實際上，我們得考 慮誤差值，所以我們在預測值的上下加一個λ值，也就是說 Xˆ t 這個預測值是介 於 X t −1 -λ到 X t −1 +λ的範圍裡，而λ值是依照自己對誤差的容忍度及壓縮比來設 定的，只要 X t 是落在 X t −1 -λ到 X t −1 +λ的範圍內，我們就把 X t 當作是累贅取樣。 1次預測器的數學式為： Xˆ t = X t −1 + ∆X t −1. 其中 ∆X t −1 = X t −1 − X t −2 ，我們把它解釋成 X t −1 與 X t − 2 所構成線段之斜率，因為 取樣間格為1，所以分母可以省略，也因此，1次預測器也可以解釋為“假設斜率 固定”。在實際的演算中我們一樣要加上一個誤差值λ，當 X t 是落在 X t −1 + ∆X t −1 − λ到 X t −1 + ∆X t −1 + λ的範圍內，我們就把 X t 當作是累贅取樣。. 1次預測器比起0次預測器，我們可以得到比較高的壓縮比，而且重建訊號的 品質也比較好，但魚與熊掌不可兼得，所換來的是比較複雜的演算法。. 11.
(22) 貳、多項式內插法 多項式內插法與多項式預測器類似，不同的是它允許機動地改變其所展開的 範圍，也就是我們可以隨時調整λ值，會讓我們得到更多的累贅取樣。在0次方 面，除了λ值可以隨時改變，其餘的都與0次預測器相同。1次內插法又稱為扇形 演算法（fan algorithm），在實際的應用上，有許多成功的例子，它的λ值是 根據取樣的情況而改變，在演算方面，是採取很多線段來取代原波形的方式來增 加累贅取樣，過程中λ值雖然不會隨著扇形的延伸而改變，但扇形的展角卻會越 來越小，扇形演算法的應用很廣，心電圖適應性取樣法中的SAPA2就是一個例子。. 參、非累贅取樣編碼的應用 非累贅取樣編碼是非常一般性的編碼方法，所以在失真壓縮上被廣泛的應 用，比較著名的有心電圖適應性取樣法、小波編碼、動畫編碼等。在心電圖方面， 它記錄了所有心臟科醫師想知道的資訊，所以它在壓縮過後必須保留住重要資訊 的波形，再者，壓縮心電圖可以增加資料庫容量以便日後評估比較，也能透過電 話線傳送即時心電圖，用電腦直接分析資訊，非累贅取樣法在這方面都有不錯的 表現。 小波編碼是一個著名的壓縮法，我們留到下一節再介紹，而動畫編碼方面， 由電腦合成動畫的過程，運用了一些資料壓縮的技術，例如選取網絡圖（wire frame，又名mesh）之關鍵性節點，這些節點就是非累贅取樣點，關鍵性節點取 得越多，合成影像就越逼真，在著名的壓縮法，MPEG-4在人臉方面，就定了84 個關鍵性的節點，以眼睛、鼻子、嘴巴、眉毛最多，只要改變這些節點，我們就 能創造出各種不同的表情了。. 12.
(23) 第三節. 轉換編碼與JPEG系統. 轉換編碼（transform coding）是資料壓縮技術中非常重要的一種方法，它 將原訊號經過轉換後，以另外一種方式呈現，這種方式也可以經由逆轉換回復到 原來的訊號，而且它的能量比起原訊號也比較集中，所以方便用在資料壓縮上， 也因為能量更集中，我們送出的取樣值就可以減少了。JPEG系統就是轉換編碼中 最成功的例子。. 壹、轉換 轉換編碼應用在影像方面，可以用一維或二維的方式來做，以目前來說，大 部分的轉換編碼都是採用二維的方式，我們先將N×N的影像，分割成不重疊的n×n 方塊，然後再對每個n×n方塊做單位轉換，所有的轉換都可以分解成兩個一維的 轉換，舉例來說，我們可以先對n×n方塊中的列做轉換，再把得到的結果對行做 轉換，最後得到的結果是與直接對n×n方塊做二維的轉換是一樣的。我們把n點的 單位轉換分為兩種來討論，一種是當成n×n維的座標轉換，另一種是分解成一組 n×n個相互正交的基底函數線性和。 我們假設對一個1×2的方塊做二維的轉換，在x1y1-座標系統上的每一個向量 V1代表一對相鄰的像素值，而這些相鄰的像素值相關性非常地高，所以大都沿著 45度線（即x1=y1）分佈，如果我們選擇直接計算MSE值（利用平均值即離均差計 算變異量）來重建影像，因為MSE太大，會得到很大的誤差，所以用座標旋轉是 最好的方法，我們使用一個單位轉換（unitary transform）將向量V1 旋轉45度 成為V2=(x2,y2)，我們可以用數學式來表示： x 2 1 1 1 x1 y = 2 − 1 1 y1 2. 13.
(24) 或者， V2 = AV1 A為旋轉矩陣，這樣就產生了一個全新的座標，我們稱做單位轉換裡的正轉 換，如下圖所示：. 圖 2-3-1 座標轉換圖 在轉換的過程中歐基里得距離（Euclidean distance）保持不變，這代表了 資料在轉換前後變異數是不變的，也就是能量不滅，即： S x21 + S y21 = S x22 + S y22. 在轉換前原影像在X1和Y1所分佈的能量是差不多的，亦可說成X1與Y1具有相似 的變異量，但在座標旋轉後，X2的能量分佈就遠大於Y2，這便是前面所提到的， 我們希望在轉換後有能量集中的現象，這時我們就能進一步以平均值代替取樣點 算出MSE，比直接計算原圖的MSE更有利於我們的重建。我們在進行轉換的過程. 14.
(25) 中，並不能達到資料壓縮的效果，只是將大部分的能量集中到少部分的轉換項而 已，而接下來的量化及編碼才是促成資料壓縮的原因，之前我們用平均值取代取 樣點就是一種量化的動作，適當的轉換會有利於我們的量化動作，比較粗糙的量 化動作，通常可以得到較高的壓縮比，但也降低了重建品質，所以我們常藉由量 化器的調整，來在壓縮比與重建品值之間取得平衡點。在做轉換時，角度會依當 時情況而改變，因此我們把二維的轉換用數學式子來代表： x 2 cosθ y = − sin θ 2 . sin θ x1 cosθ y1 . 或者， V2 = BV1 B為旋轉矩陣，而V2為轉換係數，每一個轉換係數可以把它視為某一特定頻 率波型上的能量值。只要在編碼過程中沒有產生誤差，那麼單位轉換是可逆的， 我們可以利用上述式子做一個逆轉換，就可以恢復原訊號了，在實際編碼時，因 為轉換係數會經過量化，一定會產生誤差，因此將量化完的數值逆轉換後，所得 到的就只能與原訊號近似了。 在之前我們介紹了二維的轉換，那如果是高維度的轉換呢？也是一樣的，只 是旋轉的方式不同罷了。在二維的旋轉裡，我們利用了B矩陣來進行座標轉換， 在B裡的每一個行向量，可以將它們視為一組數位正交的基底函數，那我們就可 以得到，不同的轉換只是在於所用的基底函數不同，也因此有許多人自行研發新 的基底函數，設計出其他的轉換，我們在這裡介紹一個應用在影像上最有名的轉 換，數位餘弦轉換（DCT），我們常用的JPEG系統就是採用這種轉換。. 15.
(26) 我們對一個n×n的方塊進行二維DCT的正轉換，其在數學上的定義如下：. F (u , v) =. 4C (u )C (v) n −1 n −1 (2 j + 1)uπ (2k + 1)vπ f ( j , k ) cos cos ∑∑ 2 2n 2n n j =0 k =0. 二維DCT的逆轉換定義為： n −1 n −1 (2 j + 1)uπ (2k + 1)vπ f ( j , k ) = ∑∑ c(u )c(v) F (u , v) cos cos 2n 2n u =0 v =0. 其中 1 c( w) = 2 1. 若 若. w=0 w = 1,2, KK , n - 1. 二維DCT轉換中的基底函數是由兩個一維數位餘弦基底函數所組成的，其中 之一的頻率與u成正比，另一個和v成正比。DCT之所以成為影像壓縮上應用最廣 的一種轉換，主要是它的影像方塊隱含了對稱的週期性不會像其他轉換（DFT） 因為不對稱而產生了一些額外的高頻項，這些高頻項在做低位元率編碼時會發生 嚴重的方塊效應（blocking effect），也就是當我們組成方塊時，方塊之間有 明顯的不連續區塊，DCT沒了這些多餘的高頻項，就能保持高編碼效能，降低方 塊效應，提高壓縮效能，再者只要用實數運算，不像DFT使用複數計算，所以連 JPEG系統也採用DCT轉換。. 貳、轉換編碼之方法 介紹完轉換之後，我們知道如何得到轉化係數，使其比較方便做量化及編碼 的動作，接下來我們就來討論幾種常用的量化及編碼方法。 區域取樣法是一個最簡單的方法，假如轉換係數落在某一個特定的區域內， 就把它保留，否則將它設為零，接著將這些保留的係數作量化及編碼的動作，量. 16.
(27) 化與編碼的過程中，我們可以把每一個保留係數用固定的位元數，也可以依照頻 率的不同給定位元數，一旦區域與量化編碼之位元數確定了，編碼端與接收端可 以一起使用，額外的資訊就不用傳送了。另一個方法比較精密，我們將區域內的 係數使用不同的位元數，但是固定區域的總位元數，而且所給的位元數要與該係 數的方差值呈正比，這樣可以使整個量化誤差降到最低。使用這種方法編碼一張 影像，需要兩個步驟，第一步要將所有方塊同一位置的係數能量求出，接著取平 均值當作該係數的方差，這時要決定量化器的位元分配，以便量化器將每個係數 所得到的位元數傳送給接收端，第二步才是幫每一個方塊做編碼的工作。我們也 可以在計算方差時，藉由方差值來將方塊分類，之後再來分配量化位元數，這個 動作可以避免重建誤差，假設每一個方塊都使用同一種分配辦法，會使那些在方 塊中的離群值被忽略而產生很大的誤差。 區域取樣法最大缺點是在於只要是落在非選擇區內的係數，我們一概忽略， 這樣很容易會產生重建誤差，臨界值取樣法可以解決這個問題，我們事先設一個 臨界值，假如轉換係數高於此臨界值，則將予量化、編碼，反之便全部省略，因 為我們不知道那些大於臨界值的係數在哪個位置，所以我們必須將這些係數的位 置資訊連帶送出。為了方便控制係數所產生的誤差值，我們可以隨係數改變來調 整量化器架構，例如我們可以固定量化器，但每個係數都有所屬的放大縮小倍 數，在量化之前，所有的係數先乘以自己的放大縮小倍數來配合量化器的範圍， 如此，每個係數就可以使用相同的量化器了。 JPEG所提出之DCT演算法(Wallace 1991)，基本上就是臨界取樣法DCT，它運 用了正常化矩陣的程序，雖然不是使用臨界值，但也能達到臨界取樣的效果。. 17.
(28) 參、JPEG系統 JPEG是Joint Photographic Experts Group的縮寫，是近年來彩色影像最 有名的壓縮標準，一個軟體系統能成為市場的主流，是很不容易的，它裡面的系 統架構是很值得我們去了解的。它的編碼（Encoding）系統架構圖如下：（鍾國 亮，民91）. 輸入一張完整RGB彩色影像. 將RGB彩色轉成YCbCr彩色. 取樣得到8×8區塊. DCT轉換. 量化. 預測編碼. 霍夫曼編碼. 壓縮後字串. 圖 2-3-2 JPEG編碼系統架構圖. 18.
(29) 整個系統的第一步為輸入RGB的全彩影像，RGB就是紅綠藍三原色，第二步 為將像素中的RGB彩色轉成YCbCr彩色，YCbCr是另一種知名的彩色系統，Y代表 灰階亮度，Cb與Cr代表彩度（Chrominance），RGB與YCbCr存在以下的關係式： （鍾國亮，民91） Y = 0.3R + 0.6G +0.1B Cb = -0.168R – 0.331G + 0.499B Cr = 0.5R – 0.419G – 0.081B 第三步為取樣得到8×8的區塊，第四步為進行DCT（Discrete Cosine Transform）轉換，第五步為透過量化表（Quantization Table）將DCT係數矩 陣表給予量化，第六步利用預測編碼再進一步壓縮，第七步為霍夫曼編碼 （Huffman Coding），第八步為輸出壓縮後的二元字串。 在JPEG的系統架構中，取樣和量化是達到壓縮的主因，因此我們在此提出 來討論。我們取樣時，8×8是最小的解碼單位（Minimum Coded Unit），簡稱MCU， 把轉好的Y、Cb、Cr三個子影像分成以MCU為單位的區塊，然後再對彩度區塊進 行取樣，在這會造成JPEG壓縮標準第一個失真的原因，不過人眼對亮度的敏感 度高於彩度，所以我們只對彩度抽樣，接著進行DCT轉換及量化的動作，JPEG 所用的DCT轉換定義如下：. F(u, v) =. C(u)C(v) 7 7 (2j + 1)uπ (2k + 1)vπ f(j, k)cos ∑∑ cos 4 16 16 j= 0 k = 0. 這個式子與之前所述的DCT轉換有些許的不同，差了一個常數，主要是在轉 換中具有保距（distance preserving）的功能，再來就是量化的工作了，量化 是造成JPEG失真的第二個原因。對Y來說，我們對DCT係數矩陣進行量化時，需 要一個量化表，而係數矩陣可量化的層級範圍介於0到100，Cb及Cr自然也都需. 19.
(30) 要量化表，不同的量化層級對應不同的量化表，我們利用Zig-Zag（鋸齒型掃瞄） 的方式，將係數矩陣輸出，因為人類對於較大的係數值比較敏感，也就是低頻 率的部份，對於係數值較小的高頻部份較不敏感，所以DCT係數矩陣輸出後形成 類似遞減的數列，而量化表的係數矩陣則形成類似遞增的數列，最後把DCT的係 數除以所對應的量化值後，再將之四捨五入，得到一個量化後的DCT矩陣，我們 把左上角的值稱為DC（Direct Current）值，其餘稱為AC（Alternate Current）， 我們可以預見，在高頻的部份，大都等於零了，這時已經達到壓縮的效果。有 時我們會將量化表內的數乘上一個數，就可以得到不同的壓縮比了。. 20.
(31) 第四節. 小波轉換編碼. 小波轉換（Wavelet Transform）又簡稱WT，在最近幾年， 一直受到資料壓 縮的重視，也由於在固定的壓縮率下，它的品質甚至優於DCT，所以JPEG2000也 已經採用WT，在小波編碼（wavelet coding）方面，它來自數學研究領域的理論 發展不僅為數位訊號的分析與處理提供了一套新的架構，在影像處理方面也有相 當成功的應用。 我們在前面介紹了非累贅取樣法，它主要應用於一維波形，心電圖波型就是 一個例子，小波轉換就是另一個適應性取樣法，應用於ㄧ維與高維波型上，假設 我們從一個一維訊號中取樣一列： y = x(n) = {63,47,15,31,55,55,47,23}. 我們將這個取樣做平均值、差值轉換，經過四次轉換，得到最後的 （42,-3,16,10,8,-8,0,12）： 63. 47. 15. 31. 55. 55. 47. 23. 55. 23. 55. 35. 8. -8. 0. 12. 39. 45. 16. 10. 8. -8. 0. 12. 42. -3. 16. 10. 8. -8. 0. 12. 表 2-4-1 平均值、差值轉換表（一）. 21.
(32) 第一列為八個原取樣，我們將其分為四對：（63,47）、（15,31）、（55,55）、 （47,23），第二列的前四個數值分別為這四對的平均值，第三列的前兩個數值 為第二列前兩對的平均值，第三列前兩個數值的平均值又造就了第四列的第一個 數值，而粗體字的數值，代表了每一對數值與平均值的偏離度，我們把它稱為詳 細係數（detail coefficients），最後所得的平均值42為原取樣的平均值，我 們稱為直流係數，它對原波形的形狀是沒有影響力的，真正影響的是後面的詳細 係數，我們可以藉由這些詳細係數，來判斷波形的活動度，並依據這些數值決定 取樣率的高低，然後做一個逆轉換，我們把最小的詳細係數-3設為零，得到一個 與原取樣接近的重建取樣： 66. 50. 18. 34. 52. 52. 44. 20. 58. 26. 52. 32. 8. -8. 0. 12. 42. 42. 16. 10. 8. -8. 0. 12. 42. 0. 16. 10. 8. -8. 0. 12. 表 2-4-2 平均值、差值轉換表（二） 如果我們再把詳細係數-8和8也設為零，做逆轉換後得到 （58,58,26,26,52,52,44,20），我們把這些原取樣與重建取樣同時畫在圖上， 以波形方式表示：. 22.
(33) 80 70 60 50 40 30 20 10 0 0. 0.1. 0.2. 0.3. 0.4. 原波形. 0.5. 0.6. 重建波形1. 0.7. 0.8. 0.9. 1. 重建波形2. 圖 2-4-1 小波轉換編碼圖 重建波形1，因為我們把-3設為零，所以我們採用了一個直流係數及五個詳 細係數，而重建波形2，我們只用了四個係數（8及-8設為零），就得到相當接近 的波形，表示我們的轉換是成功的。 我們把比較小的詳細係數設為零後，也意味著取樣的減少，而減少的取樣就 由前一個來填補空缺，如果原取樣不是偶數時，我們只需要補零來加長取樣長 度，而在設定詳細係數時，我們可以先設一個正數為臨界值，只要絕對值小於臨 界值的話便予以刪除接著以零取代之，最後再將唯一的直流係數與其他詳細係數 做編碼的動作就可以還原了。 我們也可以將此方法推廣到二維影像，只要先對列做轉換，接著再對行做轉 換後，得到一個轉換後的矩陣，而左上角的數值為所有取樣的平均值，也就是直 流係數，其餘的轉換值皆為詳細係數，影像中變化較小的部分，其詳細係數一般. 23.
(34) 都很小，我們可以設一個臨界值將其變為零，同時讓影像達到壓縮的功效，也就 是失真壓縮。 事實上我們只要對轉換方式稍作修改，我們就可以對重建影像做很好的改 善，使其更為人眼所接受，例如，我們只要在算平均值時，原本除以2改為除以 2 ，就是一個新的轉換了，而怎麼改才比較好呢？就要視當時情況而定了，而. 在做轉換的動作時，一般我們會加上正常化（normalization）的考慮，讓基底 函數正交（orthogonal），使其彼此正交，內積等於零。 以上是對小波轉換編碼做一個最初步的介紹，利用一些簡單的數學基礎，就 可以了解小波的原理，相對地，我們也可以以數學理論來設計一些不同的小波， 在資料壓縮的殿堂裡，就有很多種小波，每個小波都有特定的情況（Akansu 1992），對我們而言設計一個新的小波不是最重要的，最重要的是如何設計一個 好的小波編碼程式（戴顯權，民90）。 小波編碼中最成功的應用便是JPEG2000了，並且有取代JPEG的趨勢，連在動 態影像MPEG-4中，也有小波編碼的影子，這都是因為小波編碼可以滿足下列的需 求：（戴顯權，民90） 具有超低位元的壓縮，在位原率低於0.25位元／像素時，JPEG的失真太大。 同時可以做灰階影像和二階影像的壓縮。 單一的無失真與失真壓縮法，JPEG的無失真壓縮是採用Huffman編碼及算數 編碼，失真壓縮是採用DCT，非單一演算法。 比較能容忍網路上傳送時所面對的雜訊。 可以壓縮電腦合成影像，JPEG在自然影像方面，有很好的表現，但在電腦合 成方面，表現不盡理想。. 24.
(35) 我們可以對小區域特別感興趣（Region of Interest，簡稱ROI），只對一 小部份要求以高解析度表示，其餘以低解析度表示，JPEG則不行。 可以依照解析度的高低做漸進式的傳送。. 25.
(36) 第五節. 最佳轉換. 在介紹了那麼多種轉換後，到底有沒有一種是最佳的轉換方法呢？其實是有 的，Karhunen-Loeve（KL）轉換又稱Hotelling 轉換，它是利用數學及統計模式 所推斷出來的轉換方式，也因為這樣，KL轉換也被譽為所有轉換中的最佳轉換， 為什麼可以說它是最佳轉換呢？因為它是採取能量集中的方式，將大部分的能量 集中到少部分的基底函數上，而如何得知能量的分布情況呢？我們可以利用數學 上的特徵值與特徵向量了解能量的分布情形，接著再運用統計上的主值成分分 析，就可以達到理想中的最佳轉換。 可惜的是大部分的人認為計算特徵值與特徵向量既複雜又費時，所以很少有 人將其理論真正運用到影像壓縮上面，但既然是最佳轉換，必定有其過人之處， 本研究正是採用最佳轉換的觀點，在計算特徵值及特徵向量方面採用最有效率且 精準的QL algorithm，將Hotelling轉換加以改進，並加上multiple regression 進一步預測還原影像，延續Hotelling轉換，以期能將最佳轉化運用到實作上， 而產生很好的壓縮效果。. 26.
(37) 第三章 研究方法 本章旨在說明研究步驟、理論架構、研究流程、程式試用及評估、研究工具 等，共分為五節，說明如下：. 第一節. 研究步驟. 本研究是以QL演算法為核心，設計一個全新的壓縮方法，壓縮對象主要設定 為靜態影像並探討本系統壓縮各種影像及還原後的效果。本研究之架構如圖 3-1-1所示。. 將一張照片轉成 RGB 三個n×m資料矩陣，m≧n. 把其中的 R 矩陣取出，並算出每一個行向量的平均 值 µR 1 , µR 2 ,LL, µR m. 把每一行的元素與該行的平均值相減，得一離均差 矩陣 X. 將 X 的轉置矩陣 X t 與 X 相乘為 X t X ，成為一個m×m 的SSCP矩陣Sx. 利用Householder method將SSCP矩陣轉成m×m的對 稱三對角線矩陣. 27.
(38) 用 QL 法 算 出 此 三 對 角 線 矩 陣 的 特 徵 值 λ 1 ≧ λ 2 ≧……≧λm及其對應特徵向量ν1、ν2……νm. 刪除較小的特徵值，保留λ1≧λ2≧……≧λp，p＜ m，及其對應的特徵向量ν1、ν2……νp. 將這些特徵向量集合起來成為一個m×p的矩陣V. 將原矩陣 R (n×m)與特徵向量矩陣V(m×p)相乘，得 到ㄧ個n×p的新矩陣 Y ， Y 為經過壓縮後的矩陣. 算出 Y 矩陣每一行向量的平均值 µY1 , µY2 , LL, µYp. 把每一行的元素與該行的平均值相減，得一離均差 矩陣 y （n×p）. 將 y 的轉置矩陣 y t 與 y 相乘為 y t y ，成為一個p×p的 SSCP矩陣Sy. 28.
(39) 算出Sy的反矩陣Sy-1(p×p). 算出離均差矩陣 X 在離均差矩陣 y 上的投影， X t (m ×n)與 y (n×p)內積，得到ㄧ個m×p的投影矩陣 P. 將矩陣Sy-1(p×p)與 P 的轉置矩陣 P ′ (p×m)做內積，得 到一個新矩陣Z(p×m). 藉由Z矩陣來還原壓縮後的矩陣 Y ， Y (n×p)與Z(p× m)相乘，得到ㄧ個n×m的解壓縮後的矩陣A. 利用 Ci = µR i - Z1i µY1 - Z 2i µY2 - LL - Z pi µYp 算出常數 項Ci，i=1到m. 最後把解壓縮矩陣A裡的每一元素，加上該行之常數 項，得到最終還原矩陣B. 做完 R 後再依序將 G 與 B 照以上步驟做一次，總共 可以得到三個還原矩陣. 29.
(40) 將三個還原矩陣轉成照片，得到還原照片. 圖3-1-1 研究架構圖. 30.
(41) 第二節. 理論架構. 本節針對並針對研究之理論架構分別對SSCP、特徵值與特徵向量、豪斯候德 法、QR與QL演算法、複迴歸、反矩陣等部份加以描述。. 壹、SSCP SSCP全名為Sums of Squares and Cross Products，是代表一個對稱n×n的 矩陣，也就是說在n維的空間裡有n維個子空間(n個向量)，矩陣裡的對角線元素 代表了向量的長度，非對角線元素代表了兩向量之間夾角的sin值，算法如下： 假設有一4×3矩陣X. 將X的轉置矩陣X'和原矩陣X相乘為X'X. 31.
(42) 結果為一個新的對稱方陣. 這就是SSCP matrix(What is an SSCP Matrix?，from http://www.gseis.ucla. edu/ courses/ed231a1/notes/sscp2.html)。. 貳、反矩陣 假設A為一個方陣，若我們可以找到一個矩陣B，使AB = BA = I，則A為可 逆的（invertible），B為A的反矩陣（inverse）。 我們可以利用基本列運算來算出逆矩陣：. [ A|I ]. 經過列運算後可得到 [ I | A -1 ]， A -1 為A的inverse。. 例：(吳嘉祥，民84) 1 2 3 A = 2 5 3 1 0 8. [ A|I ]. 1 2 3 = 2 5 3 1 0 8. 32. 1 0 0 0 1 0 0 0 1 .
(43) 將第一列乘(-2)加至第二列級第一列乘(-1)加至第三列得： 3 1 2 0 1 -3 0 - 2 5. 1. 0 0 - 2 1 0 - 1 0 1 . 1 2 3 0 1 -3 0 0 - 1. 1. 第二列乘(-2)加至第三列 0 0 - 2 1 0 - 5 2 1 . 第三列乘(-1) 1 2 3 0 1 -3 0 0 1. 1. 0. 0 - 2 1 0 5 - 2 - 1 . 第三列乘(3)加至第二列，第三列乘(-3)加至第一列 1 2 0 0 1 0 0 0 1. - 14 13 5. 6. 3 - 5 - 3 - 2 - 1 . 第二列乘(-2)加至第一列 1 0 0 1 0 0. 0. - 40 16. 0 1. 13 5. A. -1. 9 - 5 - 3 = - 2 - 1 . - 40 16 9 = 13 - 5 - 3 5 - 2 - 1. 33. [I |A ] -1.
(44) 參、特徵值與特微向量 假設 A為一個 n × n 階矩陣，若Ax為x的純量倍數，則 ℜ n 中之非零向量x即 稱為A的特徵向量(eigenvector)；考慮下列式子 Ax = λx. λ 為一純量，而x為一個有n列的行向量，這些純量 λ 稱為A的特徵值. (eigenvalue)，特徵向量代表一個正規正交 (orthogonal) 的向量組，所謂的正 規正交向量，是指這向量與自身做內積的值為一單位向量；在幾何關係上是指二 向量相互垂直且將此內積值再做正規化 (normalization)。 上式也可改寫為 ( A − λI) x = 0. 其中 I 為 n × n 單位矩陣。 det (A − λI) x = 0 上式稱為A的特徵方程式(characteristic equation)；滿足此方式的純量即 為 A的 特 徵值，而x為A的特徵向量，特徵向量間是彼此線性獨立(linearly independent) 的。 例:(特徵值與特徵向量，from http://webclass.ncu.edu.tw/~junwu/ ch5_3_2.htm) 0.5 0.25 A= 0.25 0.5 . 34.
(45) 則eigenvalue可以用特徵方程式計算. | A − λI |=. 0.5 − λ 0.25 = λ2 − λ + 0.1875 = 0 0.25 0.5 − λ. 上述的二次方程式可求解二個根分別為 λ = 0 . 25 , 0 . 75 ，這兩個值即為A的特徵 值。而A的特徵向量求法如下，分別將任一特徵值代入 ( A − λI ) X = 0。例如 λ = 0 . 25 0.25 0.5 − 0.25 0.25 0.5 − 0.25 . x 1 0 0.25 0.25 x = 0⇒ 0.25 0.25 2 . x 1 0 x = 0 ⇒ x 1 = − x 2 2 . 另一個特徵值 λ = 0 . 75 代入，可以得到另一個特徵向量為 x 1 = x 2 。我們可找 到無限多個向量，滿足上述的特徵向量，例如 1 3 0.1 2 − 1 − 0.4 − 1 − 3 − 0.1L,2 − 1 − 0.4L . 因此要得到唯一的特徵向量，即是正交 (orthogonal)特徵向量組Q，利用其 特性 QQ T = I c QQ T = 1 − c1. c2 c2 . c1 c 2. − c1 c12 + c22 = c2 − c12 + c22. − c12 + c22 1 0 = c12 + c22 0 1. 求解上式可得 c 1 = c 2 = ±1 / 2 。所以對應的正交特徵向量組Q為 1/ 2 1/ 2 Q= - 1/ 2 1/ 2 . 此矩陣因為為2×2矩陣，所以可以用解特徵方程式的方法去計算，如果矩陣 很大的話，就要用逼近法(approximation method)去計算了。而我們在此只針對 對稱矩陣來討論，假設A是一個n×n的對稱矩陣，D是一個對角矩陣，且對角元素 是A的特徵值，則存在一個正交矩陣 P ，使得 D = P -1AP = P t AP ，存在A的n個特徵. 35.
(46) 向量所形成的一組正交集合，而這些向量就是 P 矩陣中的行向量，接下來為您介 紹現今計算對稱矩陣近似特徵值及所對應的特徵向量最有效且精確的方法之一 （徐樹方，民84）。. 肆、豪斯侯德法（Household Method） 豪斯侯德法(Household Method)為一種將對稱矩陣轉換為三對角線矩陣的 方法，再藉此三對角線矩陣，利用QR法簡化為另一個幾乎為對角線的相似矩陣， 簡 化 後 的 矩 陣 ， 其 對 角 線 元 素 為 轉 換 前 後 兩 矩 陣 的 特 徵 近 似 值 (FAIRES & BURDEN，2001)。 修爾定理保證一個對稱矩陣A必定找得到一個相似於A的對角矩陣B，因為存 在正交矩陣Q使得B=Q-1AQ=QtAQ，但因為Q較難計算，故豪斯侯德法提出了豪斯侯 w ∈ Rn 且. 德轉換(Household Transformation):令. wtw=1,. 個n×n的矩陣，P為對稱且正交，所以P-1≡P。 以下舉例說明豪斯侯德法求得矩陣A的相似三對角線矩陣: 1 3 − 4 A= 3 2 1 − 4 1 3 . 因為. A(k+1)=P(k)A(k)P(k) P(k)=I-2w(k)(w(k))t w1(k)=w2(k)=…=wk(k)=0. wk+1(k)=. a. k +1, k. (k ). 2r. 36. −α. 則P=I-2wwt 為一.
(47) wj=. a jk. (k ). , ∀j = k + 2, k + 3,....., n. 2r. 1 2. 1 2. r= ( α 2 − αa k +1,k ( k ) ). α = −( signa k +1,k. (k ). n. )( ∑ (a jk. 1. 2. (k ) 2. ) ). 1. 2. j = k +1. 所以，計算此題的第一次迭代結果為 3. α = −(1)(∑ (a j1 ) 2 ). 1. 2. = -5. j =2. 1 2. 1 2. r= ( (−5) 2 − (−5)(3)). w=(w1,w2,w3)=(0,. 1. 2. = 20. 20 20 ) ,− 5 10. 1 0 0 0 20 2 P = 0 1 0 − 2( ) 2 [0 2 − 1] 10 0 0 1 − 1 (1). 1 0 0 0 = 0 1 0 - 0 0 0 1 0 . 1 = 0 0 . 0 −3 5 4 5. 37. 0 8 5 −4 5. 0 4 5 3 5 . 0 − 4 5 2 5 .
(48) 1 A(2)= 0 0 . 0 4 5 3 5 . 0 −3 5 4 5. 1 3 − 4 3 2 1 − 4 1 3 . 1 0 0 . 0 −3 5 4 5. 0 4 5 3 5 . −5 0 1 = − 5 1.68 0.76 0 0.76 3.32. A(2)即為一個三對角線矩陣，若原矩陣A為4×4以上的矩陣時，繼續迭帶即可獲得 其相似的三對角線矩陣。. 伍、ＱＲ與ＱＬ演算法 QR法為一種求取近似特徵值的方法，將一對稱矩陣利用豪斯侯德法轉換為相 似三對角線矩陣後，再利用QR法求取其原矩陣的近似特徵值。如果A是對稱三對 角線矩陣： a1 b 2 0 A= M M 0. 0 M b3 a3 O O M O O O O 0 O O O bn L L 0 bn a n b2 a2. 0 b3. L L O. 表 3-2-1 A矩陣 若b2=0或bn=0，則1×1矩陣 [a1 ] 或 [a n ]即為A的一個特徵值 a1 或 a n 。 QR法建造矩陣序列A=A(1)，A(2)，A(3)…，進行如下: 1. A=A(1)=Q(1)R(1)，其中 R(1)為上三角矩陣，且 Q(1)為正交。. 38.
(49) 2. A(2)=R(1)Q(1)。 因為Q為正交且A(i)=Q(i)R(i)，因此 A(i+1)=R(i)Q(i)=(Q(i)tA(i))Q(i)=Q(i)tA(i)Q(i) 並且保證A(i+1)與A(i)具有相同的特徵值，且A(i+1)為對稱的三對角矩陣。以歸納法持 續下去，A(i+1)會趨近於一個對角矩陣，而且對角線元素為A的特徵值，而特徵向 量為正交矩陣Q中的行向量。 另外，在QR法中利用到旋轉矩陣(rotation matrix)P，P為一個正交矩陣， 且與單位矩陣最多差四個元素，此四個元素為對應於某一個θ及i≠j pii = p jj = cos θ , pij = − p ji = sin θ. 因為PPt=I，所以P為正交。在分解A(1)=Q(1)R(1)中會用到(n-1)個旋轉矩陣 R(1)= Pn Pn −1 L P2 A(1) 首先選定旋轉矩陣P2使得. p11=p22=cos θ 2 =. a1 2. b2 + a1. p12=(-p21)=sin θ 2 =. 2. b2 2. b2 + a1. 因此得到A2(1)=P2A(1). 39. 2.
(50) 矩陣Ak(1)之形式為 z1 0 0 M (1) (1) Ak =PkAk-1 = M M M M 0 . r1. 0. L. O O. O. O. O O. O. O. O. 0. z k −1. q k −1. rk −1. O. O. 0. xk. yk. 0. O. O. bk +1 O. a k +1 O. bk + 2 O. O O. O. O. O. L. 0. bn. q1. O. L L. L. L. L. L. 表 3-2-2 Ak(1)矩陣 且Pk+1的形式為 I k −1 O Pk+1= O. O O I n − k −1 . O C k +1. S k +1. − S k +1. C k +1. 表 3-2-3 QR法Pk+1矩陣 其中 o 代表適當維度的零矩陣。 選擇Pk+1中的常數. ck+1= cos θ k +1 =. xk 2. bk +1 + x k. sk+1=sin θ k +1 =. bk +1 2. bk +1 + x k. 40. 2. 2. L. 0 M M M M 0 0 bn a n .
(51) 而Ak+1(1)之形式為 z1 0 0 M (1) Ak+1 = M M M M 0 . 0. L. O O O. O. O O O. O. O. 0. zk. qk. rk. O. O. 0. x k +1. y k +1. 0. O. O bk + 2 O. ak +2 O. bk +3 O. O O. O. O. O. L. 0. bn. q1. r1. O. L L L. L. L. L. L. 0 M M M M 0 0 bn a n . 表 3-2-4 Ak+1(1)矩陣 依序造出P2，P3，…，Pn ，產生出上三角矩陣(主對角線以下元素皆為零). R (1) ≡ An. (1). z1 q1 r1 0 L 0 O O O O M O O O O = O O O M M O z n −1 0 L L L 0. 0 M 0 rn − 2 q n −1 x n . 表 3-2-5 R(1)矩陣 Q(1)≡ P2 t P3 t L Pn t 因此， A(2) = R(1)Q(1) = Pn Pn −1 L P2 A (1) P2 t P3 t L Pn t 重覆此過程產生Ａ(3)，Ａ(4)，…等。. 41.
(52) 若A具有絕對值不同的特徵值，且 λ1 < λ 2 < L < λ n ，則bj+1(i+1)收斂到零的速 率決定於 λ j +1 / λ j 。而其會影響aj(j+1) 收斂到第j個特徵值λ j 的速率。因此，若 (j+1). λ j +1 / λ j 愈接近1，則aj. 收斂到第j個特徵值λj的速率就愈慢。. 為了使收斂速度加快，在使用QR法可運用逆乘冪法中所使用的移位技巧。選 擇一個接近矩陣A之特徵值的常數s，將分解改成 A(i)-sI=Q(i)R(i) A(i)=Q(i)R(i) +sI 藉此修正過後，bj+1(i+1)收斂到零的速度決定於 (λ j +1 − s) /(λ j − s ) ，故此方法可 加速aj(j+1)收斂到第j個特徵值λj的速率。 QR法舉例說明如下:(數值方法，楊志田譯，2001) a (1) 1 A= b2 (1) 0 a 2 (1). 算出矩陣 . b3. (1). b2. (1) (1). a2 (1) b3. 0 3 1 0 (1) b 3 = 1 3 1 (1) a3 0 1 3. (1) b3 3 1 (1) = 的特徵值μ1=4與μ2=2，選出與 a 3 =3最接近的特徵 (1) 1 3 a2 . 值，我們取μ2=2，s1=2，平移後的矩陣為 1 1 0 A = 1 1 1 0 1 1 (1). p11=p22=cos θ 2 =. a1 2. b2 + a1. 42. = 2. 1 1+1. =. 1 2.
(53) b2. p12=(-p21)=sin θ 2 =. =. 2. b2 + a1 1 2 −1 P2= 2 0 1 2 −1 A2(1)=P2A(1)= 2 0 . 1 2 1 2 0. 2. 1. 1+1. 1. =. 2. 0 0 1 . 2 1 2 0. 0 0 1 . 1. 2 1 1 0 1 1 1 = 0 0 1 1 0 . 2 2 2 2 1 . 2 0 1. 再做第二次迭代. p11=p22=cos θ 3 =. 0 1+ 0. =0. 1. p12=(-p21)=sin θ 3 =. 1+ 0. =1. 1 0 0 P3= 0 0 − 1 0 1 0 . 1 0 0 (1) (1) (1) R =A3 =P3A2 = 0 0 1 0 − 1 0. 2 0 0 . 43. 2 0 1. 2 2 2 2 = 0 2 1 0 . 2 1 0. 2 2 1 − 2 2 .
(54) (1) t t Q =P2 P3 == . 2 A(2)=R(1)Q(1)= 0 0 . 1. −1. 2 1. 2 1. 2 0. 2 0. 2 1 0. 0 0 1 . 2 2 1 − 2 2 . 1 0 0 0 0 − 1 = 0 1 0 . . 1 2 1 2 0. 0 0 1. 1. 0. 2 1. 0. 2 0. 1 2 −1 = 2 0 . 1. 2 1 2 0. 1 2 −1 2 0 . 1 2 1 −1 2. 0 −1 2 0 . 再重覆迭帶一次可得到 0 2.6720277 0.37597448 A =R Q = 0.37597448 1.4736080 0.030396964 0 0.030396964 − 0.047559530 (3). (2). (2). 若繼續迭帶直到bj，j=2…n，趨近於0時，主對角線的元素再加上位移參數s， 即為原矩陣A的近似特徵值，而特徵向量為Q矩陣的行向量。 類似於QR法，我們可以將分解的R(上三角矩陣)，轉換分解成L(下三角矩 陣)，稱為QL法: As=QsLs As+1=LsQs. 44.
(55) 因為QL法的收斂速度會比QR法來的快，因此在此研究中我們使用QL法來求取 特徵值，而其計算差異在於計算 I n − k −1 O Pk+1= O. O O I k −1 . O C k +1. S k +1. − S k +1. C k +1. 表 3-2-6 QL法Pk+1矩陣 L(1)= Pn Pn −1 L P2 A (1). pnn=p(n-1)(n-1)=cos θ 2 =. an 2. bn + a n. -p(n-1)n=pn(n-1)=sin θ 2 =. 2. bn 2. bn + a n. 2. 同理可求出 L(1) ≡ An. (1). 同樣的，以下舉跟上述QR法相同的例子來說明QL法 a (1) 1 A= b2 (1) 0 . (1). b2 (1) a2 (1) b3. 0 3 1 0 (1) b 3 = 1 3 1 (1) a3 0 1 3. s1=2 1 1 0 A = 1 1 1 0 1 1 (1). 45.
(56) a3. P22=p33=cos θ 2 =. 2. b3 + a3. = 2. b3. -p23=p32=sin θ 2 =. 2. =. b3 + a3 1 P2= 0 0 1 (1) (1) A2 =P2A = 0 0 . 0 1 2 1 2. 0 1 2 1 2. 0 −1 2 1 2. 2. 1 1+1. 1. 2. 2. 0 −1 2 1 2. 0 1+ 0 1 1+ 0. 0 − 1 0 P3= 1 0 0 0 0 1. 46. =. 1+1. 再做第二次迭代. -p12=p21=sin θ 3 =. 1. 1. 1 1 0 1 1 1 = 0 1 1 . p11=p22=cos θ 3 =. =. =0. =1. 1 1 2 1 2. 1 0 2. 0 0 2 .
(57) 0 − 1 0 (1) (1) (1) L =A3 =P3A2 = 1 0 0 0 0 1. 1 (1) t t Q =P2 P3 == 0 0 . 1 − 2 A(2)=L(1)Q(1)= 1 1 2. 0 1 2 −1 2. 0 1 2. . 0 1 2 1 2. 0 0 2 . . 1 1. 1. 2 1 2. 0 2. 1 0 − 2 0 = 1 1 2 2 . 0 1 0 - 1 0 0 = 0 0 1 . 0 1 1. 2. 2. 1 0 0. 0 1 1. 2. 2. 1 2. 0 1 2 1 2. 1 0 0. 0 0 1 1 = − 2 2 1 0 2 . 0 0 2 . 0. −. 1 2 0 1 2. 0 1 2 2 . 繼續迭代即可求算出矩陣A的特徵值的近似值。 就時間複雜度而言，若是一般的矩陣，用QL法求算得特徵值時，其時間複雜 度為Ο(n3)，但若將原矩陣轉換為三對角線矩陣後，再利用QL法求算特徵值，其 時間複雜度就會變為Ο(n)，因此，此法可說是相當具有效率的。. 陸、複迴歸(Multiple Regression) 當我們用P個不同的自變項(Independent Variable)X1、X2、……、Xp來預測 依變項(Dependent Variable)Y，迴歸模式變為 ∧. Y = a + b1 X 1 + b2 X 2 + L + b p X p. 其中a、b1、b2、…bp皆為常數。. 47.
(58) 因此二次誤差 Q = ∑ ei2 ∧. = ∑ (Y − Yi ) 2 = ∑ (a + b1 X 1i + b2 X 2i + L + b p X pi − Yi ) 2. 利用最小平方法求算常數a、b1、b2、…bp Q分別對a、b1、b2、…bp作偏微分並令其為0 ∂Q = 2∑ (a + b1 X 1i + b2 X 2i + L + b p X pi − Yi ) = 0 ∂a ∂Q = 2∑ (a + b1 X 1i + b2 X 2i + L + b p X pi − Yi )( X 1i ) = 0 ∂b1 M ∂Q = 2∑ (a + b1 X 1i + b2 X 2i + L + b p X pi − Yi )( X pi ) = 0 ∂b p. 簡化上述式子，設N為樣本個數，得到一個常態列分數方程式（raw-score normal equations） Na + (∑ X 1i )b1 + (∑ X 2i )b2 + L + (∑ X pi )b p = ∑ Yi …(＊) (∑ X 1i )a + (∑ X 12i )b1 + (∑ X 1i X 2i )b2 + L + (∑ X 1i X pi )b p = ∑ X 1i Yi. M (∑ X pi )a + (∑ X pi X 1i )b1 + (∑ X pi X 2i )b2 + L + (∑ X pi2 )b p = ∑ X pi Yi. 48.
(59) 將式子(＊)轉為 a = Y − b1 X 1 − b2 X 2 Lb p X p …(＊＊). 故 上 述 式 子 可 再 簡 化 為 常 態 離 均 分 數 方 程 式 （ deviation-score normal equations） (∑ x 12i )b1 + (∑ x 1i x 2i )b2 + L + (∑ x 1i x pi )b p = ∑ x 1i y i (∑ x 2i x 1i )b1 + (∑ x 22i )b2 + L + (∑ x 2i x pi )b p = ∑ x 2i y i. M (∑ x pi x 1i )b1 + (∑ x pi x 2i )b2 + L + (∑ x 2pi )b p = ∑ x pi y i. 接著再轉換為矩陣模式 ∑ x 12i ∑ x 2i x 1i M ∑ x pi x 1i. ∑ x 12i x x 此處的矩陣 ∑ 2i 1i M ∑ x pi x 1i. ∑x x ∑x 1i. 2i. 2 2i. M ∑ x pi x 2i. ∑x x ∑x 1i. 2i. 2 2i. M ∑ x pi x 2i. L L O L. L L O L. ∑x ∑x. x pi 2 i x pi M ∑ x 2pi . ∑x ∑x. 1i. b1 ∑ x 1i y i b 2 = ∑ x 2i y i M M b p ∑ x pi y i . x pi 2 i x pi 即為SSCP矩陣將其標示為Spp，且 M ∑ x 2pi 1i. ∑ x 1i y i b1 b 2 =b、 ∑ x 2i y i =Spc M M b p ∑ x pi y i . 49.
(60) 即 Spp b = Spc 假設矩陣為nonsingular, 故Spp-1存在使得 b = Spp-1 Spc 再將b代入(＊＊)式即可求得a。. 50.
(61) 第三節. 研究流程. 將一張照片轉成 RPG 三個n×m資料矩陣，m≧n，R矩陣如下： R 11 R 21 R = M M R n1. R 12 R 22. L L R 1m L L R 2 m O M O M L L R nm . M M R n2. 表 3-3-1 R矩陣 算出 R 矩陣內，每一行元素的平均值：. µR 1 =. R 11 + R 21 + LL + R n1 n. µR m =. R 1m + R 2 m + LL + R nm n. ，. µR 2 =. R12 + R 22 + LL + R n2 n. ，. …. ，. 為了將資料集中到平均數附近所以我們將每一行的元素與該行平均值相減，得到 矩陣X： R 11 − µR 1 R − µR 1 21 X = M M R n1 − µR 1. R 12 − µR 2 R 22 − µR 2 M M. R n 2 − µR 2. L L R 1m − µR m X 11 X L L R 2m − R m 21 = M O M O M M X n1 L L R nm − µR m . 表 3-3-2 R的離均差矩陣. 51. X 12 X 22 M M. X n2. L L X 1m L L X 2 m O M O M L L X nm .
(62) 為了算出矩陣的特徵值與特徵向量，我們把 X 轉化成一個SSCP matrix（m×m）， 利用 X 的轉置矩陣 X ′ 與 X 相乘： X 11 X 12 X′ X = M M X 1m. X 21 X 22 M M X 2m. n 2 ∑ X i1 n i =1 X 2X 2 ∑ i 2 i1 = i =1 M M n 2 2 ∑ X im X i1 i =1. L L X n1 L L X n 2 O M O M L L X nm n. ∑X i =1. 2 i1. Xi2. n. ∑X i =1. i =1. 2 i2. M M. n. ∑X. 2. 2 im. Xi2. 2. X 11 X 21 M M X n1. X 12 X 22 M M X n2. L L X 1m L L X 2 m O M O M L L X nm . 2 X im i =1 n 2 2 L L ∑ X i 2 X im i =1 (由此可知SSCP為一對稱 O M O M n 2 L L X im ∑ i =1 n. L L. ∑X. 2. i1. 矩陣) 表 3-3-3 X的SSCP矩陣 Sx 11 Sx 12 Sx 21 Sx 22 = M M M M Sx m1 Sx m 2. L L Sx 1m L L Sx 2 m O M = O M L L Sx mm . Sx. 52.
(63) 利用Householder method將Sx矩陣迭代m-1次後轉成m×m的對稱三對角線矩陣H：. H. 0 H 11 H 11 sym H H 11 11 0 sym O = O O M M O L L 0. L O O O O 0. 0 M O M O 0 H 11 H 11 sym H 11 L. 表 3-3-4 Household三對角矩陣 利用QL法算出此三對角線矩陣的特徵值λ1≧λ2≧……≧λp≧……≧λm及其對 應特徵向量ν1、ν2……、νp、……νm，接著將較小的特徵值刪除，只留下λ1、 λ2、……、λp及其對應特徵向量ν1、ν2……、νp： ν 1i ν 2i v Q νi = M M ν mi . r r r ∴ V = ν1 L ν i L ν p. [. ]. ν 11 L ν 1i ν ν 2i 21 M = M M M ν m1 L ν mi . L ν 1p ν 2 p M M L ν mp . 將原矩陣 R 與特徵向量矩陣 V 相乘，以達到壓縮效果，得到壓縮後的矩陣 Y ： R 11 R 21 RV = M M R n1. R 12 R 22 M M R n2. L L R 1m L L R 2 m O M O M L L R nm . ν 11 L ν 1i ν ν 2i 21 M M M M ν m1 L ν mi . 53. L ν 1p ν 2 p M M L ν mp .
(64) Y11 L Y1i Y Y2i 21 M = M M M Yn1 L Yni . L Y1 p Y2 p M = Y M L Ynp . 表 3-3-5 壓縮後的矩陣Y 算出 Y 矩陣內，每一行元素的平均值： µY1 =. µYp =. Y11 + Y21 + LL + Yn1 n. ，. µY2 =. Y12 + Y 22 + LL + Yn2 n. ，. …. ，. Y1p + Y2 p + LL + Ynp. n. 將 Y 矩陣的資料集中到平均數附近，將每一行的元素與該行平均值相減，得到離 均差矩陣 y ： Y11 − µY1 Y − µY 1 21 M y = M Yn1 − µY1 . Y12 − µY2 Y22 − µY2 M M Yn 2 − µY2. L L Y1p − µYp y11 y L L Y2 p − Yp 21 = M O M O M M y n1 L L Ynp − µYp . y12 y 22 M M y n2. L L y1p L L y 2 p O M O M L L y np . 表 3-3-6 離均差矩陣y 將 y 的轉置矩陣 y t 與 y 相乘為 y t y ，成為一個p×p的SSCP矩陣Sy y11 y 12 t y y = M M y1p . y 21 L L y n1 y11 y 22 L L y n 2 y 21 M O M M M O M M y 2 p L L y np y n1. y12 y 22 M M. y n2. 54. L L y1p L L y 2 p O M O M L L y np .
(65) n 2 ∑ y i1 n i =1 y 2y 2 ∑ i 2 i1 = i =1 M M n 2 2 ∑ y ip y i1 i =1 Sy 11 Sy 12 Sy 21 Sy 22 M = M M M Sy p1 Sy p 2 . n. ∑y i =1. 2 i1. yi2. n. ∑y i =1. i =1. 2 i2. M M. n. ∑y. 2. 2 ip. yi2. 2. 2 y ip i =1 n 2 2 L L ∑ y i 2 y ip i =1 O M O M n 2 L L y ip ∑ i =1 n. L L. L L Sy 1p L L Sy 2 p O M = O M L L Sy pp . ∑y. 2. i1. Sy. 利用列運算來算出Sy的反矩陣Sy-1，Sy-1Sy= I p Sy -111 Sy -112 -1 -1 Sy 21 Sy 22 M M M M Sy -1 p1 Sy -1 p 2 . L L Sy -11p L L Sy -1 2 p O M O M L L Sy -1 pp . Sy 11 Sy 12 Sy 21 Sy 22 M M M M Sy p1 Sy p 2 . L L Sy 1p 1 0 L L Sy 2 p O M = M O M M 0 L L Sy pp . 0 1 0 M 0. L 0 O O L. L L O O 0. 0 0 M 0 1. 算出離均差矩陣 X 在離均差矩陣 y 上的投影， X t (m×n)與 y (n×p)內積，得到ㄧ 個m×p的投影矩陣 P X 11 X 12 t X y = M M X 1m. X 21 X 22 M M. X 2m. L L X n1 L L X n 2 O M O M L L X nm . y11 y 21 M M y n1 . y12 y 22 M M y n2. 55. L L y1p L L y 2 p O M O M L L y np .
(66) P11 P 21 = M M Pm1 . P12 P22. L L P1p L L P2 p O M = P O M L L Pmp . M M. Pm 2. 表 3-3-7 投影矩陣P 將矩陣Sy-1(p×p)與 P 的轉置矩陣 P ′ (p×m)做內積，得到一個新矩陣Z(p×m) Sy -111 Sy -112 -1 -1 Sy 21 Sy 22 Sy-1 P ′ = M M M M Sy -1 p1 Sy -1 p 2 Z11 Z 12 = M M Z1p . L L Sy -11p L L Sy -1 2 p O M O M L L Sy -1 pp . P11 P 12 M M P1p . P21 L L Pm1 P22 L L Pm2 M O M M O M P2p L L Pmp . Z 21 L L Z m1 Z 22 L L Z m2 M O M = Z M O M Z 2p L L Z mp . 將 Y (n×p)與Z(p×m)相乘，得到ㄧ個n×m的解壓縮後的矩陣A Y11 L Y1i Y Y2i 21 M YZ = M M M Yn1 L Yni A 11 A 21 = M M A n1. A 12 A 22 M M. A n2. L Y1 p Y2 p M M L Ynp . Z11 Z 12 M M Z1p . Z 21 L L Z m1 Z 22 L L Z m2 M O M M O M Z 2p L L Z mp . L L A 1m L L A 2 m O M = A O M L L A nm . 56.
(67) 利用 Ci = µR i - Z1i µY1 - Z 2i µY2 - LL - Z pi µYp 算出常數項Ci，i=1到m C1 = µR 1 - Z11 µY1 - Z 21 µY2 - LL - Z p1 µYp C2 = µR 2 - Z12 µY1 - Z 22 µY2 - LL - Z p2 µYp M M. Cm = µR m - Z1m µY1 - Z 2m µY2 - LL - Z pm µYp B11 C1 C2 L L Cm B C1 C2 L L Cm 21 A + M M O M = M M O M M M B n1 C1 C2 L L Cm . B12 B 22 M M. Bn2. L L B1m L L B 2 m O M = B O M L L B nm . 最後把解壓縮矩陣A裡的每一元素，加上該行之常數項，得到最終還原矩陣B。 做完 R 後再依序將 G 與 B 照以上步驟做一次，總共可以得到三個還原矩陣， 這三個矩陣是我們還原後的 R G B 值，用來轉換成還原照片。 經過了上面的解說，我相信讀者對我們的研究有了初步的了解，最後我再做 一個整理，使大家更明瞭一些數學理論的應用，一開始我們以照片中的紅色光為 例，也就是R矩陣，其矩陣的元素全部會介於0至255之間，所以我們算出離均差 矩陣，使之資料集中且平均數變零，讓矩陣的變異量縮小，但不改變其意義，接 著我們算出其SSCP矩陣，這時，我們不僅將矩陣縮小而且把它變成一個對稱矩 陣，讓我們利用對稱QL法算出矩陣的特徵值以及特徵向量，也就是整個研究的重 要部分，在此牽涉到了多變量分析中的主成分分析，我們把最大特徵值所對應的 特徵向量放到第一行，而原矩陣R與最大特徵值所對應特徵向量的線性組合，我. 57.
相關文件
Promote project learning, mathematical modeling, and problem-based learning to strengthen the ability to integrate and apply knowledge and skills, and make. calculated
If the students are very bright and if the teachers want to help prepare these students for the English medium in 81, teachers can find out from the 81 curriculum
Courtesy: Ned Wright’s Cosmology Page Burles, Nolette & Turner, 1999?. Total Mass Density
(It is also acceptable to have either just an image region or just a text region.) The layout and ordering of the slides is specified in a language called SMIL.. SMIL is covered in
Teacher then briefly explains the answers on Teachers’ Reference: Appendix 1 [Suggested Answers for Worksheet 1 (Understanding of Happy Life among Different Jewish Sects in
• When the coherence bandwidth is low, but we need to use high data rate (high signal bandwidth). • Channel is unknown
• When the coherence bandwidth is low, but we need to use high data rate (high signal bandwidth). • Channel is unknown
contributions to the nearby pixels and writes the final floating point image to a file on disk the final floating-point image to a file on disk. • Tone mapping operations can be
