行政院國家科學委員會專題研究計畫 期中進度報告
高性能矽視網膜感測器及具學習能力之細胞非線性網路晶
片系統設計研究(2/3)
計畫類別： 個別型計畫 計畫編號： NSC92-2215-E-009-038- 執行期間： 92 年 08 月 01 日至 93 年 07 月 31 日 執行單位： 國立交通大學電子工程學系 計畫主持人： 吳重雨 計畫參與人員： 鄭秋宏、施育全、林俐如、黃冠勳、江政達、陳勝豪、楊文嘉、 鄭淑珍、謝文芩、吳諭 報告類型： 精簡報告 報告附件： 出席國際會議研究心得報告及發表論文 國際合作計畫研究心得報告 處理方式： 本計畫可公開查詢中 華 民 國 93 年 5 月 28 日
行政院國家科學委員會補助專題研究計畫
□ 成 果 報 告
■期中進度報告
（計畫名稱）
高性能矽視網膜感測器及具學習能力之細胞非線性網路晶片系
統設計研究（2/3）
計畫類別：■ 個別型計畫 □ 整合型計畫
計畫編號：NSC －92 －2215 － E － 009 －038
執行期間： 92 年 08 月 01 日至 93 年 07 月 31 日
計畫主持人：吳重雨
共同主持人：
計畫參與人員：
鄭秋宏、施育全、林俐如、黃冠勳、江政達、陳勝豪、楊文嘉、鄭 淑珍、謝文芩、吳諭成果報告類型(依經費核定清單規定繳交)：■精簡報告 □完整報告
本成果報告包括以下應繳交之附件：
□赴國外出差或研習心得報告一份
□赴大陸地區出差或研習心得報告一份
□出席國際學術會議心得報告及發表之論文各一份
□國際合作研究計畫國外研究報告書一份
處理方式：除產學合作研究計畫、提升產業技術及人才培育研究計
畫、列管計畫及下列情形者外，得立即公開查詢
□涉及專利或其他智慧財產權，□一年□二年後可公開查詢
執行單位：國立交通大學電子工程系
中 華 民 國 93 年 05 月 28 日
高性能矽視網膜感測器及具學習能力之細胞非線性網路晶片系
統設計研究（2/3）
The Researches on High-Performance Silicon Retina Multi-Sensor
and Learnable CNN Chips (2/3)
計畫編號：NSC 92-2215-E-009-038
執行期限：92 年 8 月 1 日至 93 年 7 月 31 日
主持人：吳重雨 國立交通大學電子工程系所
E-mail : [email protected]
計劃參與人員: 鄭秋宏、施育全、林俐如、黃冠勳、江政達、陳勝豪、楊文嘉、鄭淑珍、 謝文芩、吳諭 一、中文摘要 本計劃旨在建立一個生物式的影像 處理系統，此系統包含前端的矽視網膜感 測器以及後端的具學習能力及相對記憶體 之細胞元化類神經晶片，加上必要之介面 電路及處理控制電路，此系統可形成影像 分類，辨識等處理系統雛型，並運用於電 腦智慧型 I/O 或多媒體資訊處理系統等。 本年度計劃的期末研究成果主要包 含幾個方面。首先，在具學習能力及相對 記憶體之細胞元化類神經晶片方面，藉著 加入神經電路的自我迴授後，我們成功的 將可被學習、記憶的樣本大幅提高。在矽 視網膜感測器方面，我們成功地推廣視網 膜晶片於實際地應用上，掃瞄器之應用。 並且在大鄰近層細胞非線性網路方面，我 們也建立了新的架構，並且也在 MATLAB 軟體上驗證，成功的實現許多功能。在互 補式金氧半影像感測器方面，根據吾人提 出的虛擬主動式像素感測器的像素架構， 一應用於互補式金氧半影像感測器的像素 架構稱為『最佳化虛擬主動式像素感測器』 (Optimal Pseudo Active Pixel Sensor)亦被提 出、分析和設計。在像素中被共享的零偏 壓緩衝器可保持光二極體和位於像素匯流 排的雜散 pn 接面偏壓於 0 V 或接近 0 V 來 減少光二極體的暗電流和像素開關的漏電 流。每單位像素面積的光電流與暗電流比 例(PDRPA)這個係數可以定義用來描述最 佳化虛擬主動式像素感測器的性能特徵。 利用這個像素架構製作的實驗晶片也被成 功的驗證。 關鍵詞：矽視網膜、影像處理、運動感測、 細胞化類神經網路、學習式類神經網路、 細胞非線性網、大鄰近層細胞非線性網 路、光二極體 AbstractThis project is aimed to develop a bio-inspired image processing system. This system includes the front-end silicon retina, and back-end cellular neural network (CNN) structure with adjustable layer chips for learning and ratio memory. This bio-inspired image processing system together with the necessary interface control chips will be integrated to form a prototyping system for image pattern classification and recognition. It is expected that the system can be applied to the intelligent computer I/O or multi-media systems.
There are some main research achievements. (1) As to the learnable CNN chips, we proposed a new leaning scheme. In this new scheme, the self-feedback is included so that the learnable patterns are greatly increased. (2) As to the silicon retina, we successfully developed a new silicon retina chip applied in scanner applications. (3) As to the large-neighborhood cellular nonlinear networks, the new structure is proposed. Meanwhile, this structure is also verified with MATLAB and many functions are successfully realized.
(4) As to the CMOS imager, based on the proposed PAPS pixel structure, a pixel structure called the optimal pseudo active pixel sensor (OPAPS) is proposed, analyzed, and designed for the applications of CMOS imagers. The shared zero-biased-buffer in the pixel is used to suppress both dark current of photodiode and leakage current of pixel switches by keeping both biases of photodiode and parasitic pn junctions in the pixel bus at zero voltage or near zero voltage. The factor of photocurrent-to-dark-current ratio per pixel area (PDRPA) is defined to characterize the performance of the OPAPS structure. The function of the experimental CMOS imager chip with the proposed OPAPS pixel structure has been successfully verified.
Keywords: silicon retina、
pre-image-processing chip、motion detecting sensor、RMCNN、νBJT、 cellular nonlinear network、
large-neighborhood cellular nonlinear network、photodiode 二、計畫緣由與目的 類神經網路係近年重要研究課程。我 們在過去的研究計劃中，以載子在雙載子 電晶體基極區域的傳輸現象，成功研發神 經元雙載子電晶體(neuron-BJT)，並運用 neuron-BJT 實現矽視網膜及及大鄰近層連 接 細 胞 非 線 性 網 路 (Large Neighborhood Cellular Nonlinear Network, LNCNN)，並且 提出新的大鄰近層架構，可以使得有更佳 的解析度，以及更容易控制，而有更多的 功能。而在學習能力方面，我們亦已發展 出利用比例式記憶體來記憶所習得之細胞 非線性網路的鍵值。 在我們過去的研究成果中，我們已提 出將細胞非線性網路當成聯想記憶體以用 於學習、辨認及聯想樣本的觀念。圖一應 用比例式記憶體之細胞元神經網路之方塊 圖，各個細胞元之相互關係經由學習之後 便儲存於比例式記憶體之中。在聯想時， 若我們從中輸入一含雜訊之樣本，則其他 的神經元便會經由類神經網路之聯想而輸 出其正確之樣本。然而，現有的版本僅能 記憶 3-5 個樣本，因此本計畫的目的在改 良學習的法則，使其能夠記憶更多之樣本。 在以往的研究中，我們的矽視網膜晶 片，乃在模仿此視網膜的 Photoreceptor、 Horizontal、及 Bipolar 這三種細胞三種細胞 的反應。今年度的計畫上，成功地推廣視 網膜晶片於實際地應用上，掃瞄器之應 用。利用矽視網膜電路架構高動態範圍的 特性，使光學感測器將可操作於環境照明 下，而不需額外光源。此外，矽視網膜電 路處理具有對比增強特性，輸入灰階影像 的對比將被增強成黑白影像輸出，此舉將 有效降低影像的資料量，使此光學感測器 適用於需要即時影像處理之應用。本計畫 在矽視網膜的研究目的，在發展是網膜晶 片上之應用，並利用電路的方法將其實現。 隨著半導體製程技術的快速進步，高 解析度的互補式金氧半影像感測器也隨之 廣泛的應用，小的像素面積，低漏電流和 高填充系數是這些高解析度的影像偵測器 所不可或缺的，為了達到我們所要求的這 些性能，將尋求以電路技巧的方法來實 現。此外也將改善後段的讀取電路來降低 雜訊。 三、結果與討論 比 例 式 記 憶 體 類 神 經 網 路 持 續 用 Matlab 模擬其演算法的正確性，目前模擬 的重點在如果依據模版 A 之自我迴授之鍵 值後的模組，並加大每個細胞和鄰近細胞 關係的範圍，亦即，本來的比例式記憶體 每個細胞只和上下左右之細胞有所關連， 但新的嘗試為結合了大鄰近層非線性網路 的菱形架構，每個細胞和較遠的細胞亦有 所關連。我們並加重所參雜的雜訊量，圖 一，是一樣本經過參雜雜訊後的情形。經 過 Matlab 的驗證，當改變為『和最接近的 兩個細胞』有關連的架構時，比例式記憶 體類神經網路的辨識效果比以前的效果要 來的好。
以往每個細胞只和自己上下左右四個 細胞有所關連時，在加入極重雜訊的情況 下，15 個『簡單圖形樣本』中只能辨認出 11 個，但結合了大鄰近層非線性網路的菱 形架構之後，辨識能力有稍微提升，此 15 個『簡單圖形樣本』能辨認出 13 個，下面 圖二(a)為用來測試的 15 個簡單圖形樣 本。我們另外拿了 15 個較複雜的圖形樣 本，如圖二(b) ，測試新模組的辨識效果， 在此 15 個『複雜圖形樣本』中，以往的模 組只能辨識出 8 個，但新的模組則能 15 個 都辨認出來，表示加大關連範圍在辨識效 果上確實有改進。 在矽視網膜晶片方面，根據最新視網 膜細胞反應的發現，視網膜的 Photoreceptor 及 Horizontal 及 Bipolar 三種細胞之功能， 應用於條碼或字元讀出器之光學感測器， 如圖三與圖四。利用矽視網膜電路架構高 動態範圍的特性，使光學感測器將可操作 於環境照明下，而不需額外光源。此外， 矽視網膜電路處理具有對比增強特性，輸 入灰階影像的對比將被增強成黑白影像輸 出，此舉將有效降低影像的資料量，使此 光學感測器適用於需要即時影像處理之應 用。因此，此光學感測器將適用於條碼或 字元讀出器，如圖五。在量測上，成功地 去除字元雜訊與還原模糊字元，如圖六與 圖七。結果顯示此設計之矽視網膜晶片成 功地運用於字元讀出掃瞄器上。 在大鄰近層非線性網路方面，根據過 去提出的架構如圖八(a)(b)，由於此架構的 使用，將細胞模板 A 與細胞模板 B 分開來 設計，而目前所改進的電路為圖八(c)，所 需要的電路區塊，會比過去的架構少而且 也比較簡單，同時每個區塊中所使用的電 路可以更加簡單，而都可以實現大鄰近層 非線性網路如圖九(a)(b)；並且在電路待 命的時候，此單一細胞元不需要功率消 耗，而大鄰近層非線性網路的最主要目 標，就是在於降低功率消耗以及電路面 積，因此新的架構可以有更佳的效能且簡 單，更能夠實現一個大型陣列的大鄰近層 非線性網路通用機器。 在提出的最佳化虛擬主動式像素感測 器中，像素架構如圖十所示，像素連接如 圖十一所示，當零偏壓緩衝器被四個像素 共用時被發現具有最大的 PDRPA 如圖十二 所示。此外、行取樣電路和輸出相關雙重 取樣電路也被用來減少固定樣式雜訊、時 脈 回 饋 雜 訊 和 通 道 電 荷 注 入 。 352 x 288(CIF)格式的互補式金氧半最佳化虛擬 主動式像素影像感測器實驗晶片是經由 0.25 µm 1P5M N-well 互補式金氧半技術 設計和製造。在這個製造的互補式金氧半 影像感測器當中，每四個像素共用一個零 偏壓緩衝器下的 PDRPA 值等於 37.7 µm-2 。 它也具有 8.2 µm x 8.2 µm 的像素大小、 42%的填充係數和 3630 µm x 3390 µm 的晶 片 面 積 。 量 測 到 的 最 大 畫 面 速 率 是 30 frames/sec、暗電流為 82 pA/cm2。量測到 的光動態範圍是 65dB。與主動式像素感測 器架構和傳統的被動式像素感測器架構相 比較時，吾人所提出的最佳化虛擬主動式 像素感測器架構具有較小的暗電流、較高 的填充係數和較高的光動態範圍。 四、計畫成果自評 在比例式記憶體方面，發現加入自我 回授之模板 A 之比例式記憶體細胞非線性 網路可記憶超過 98 個樣本，但其可辨識樣 本之時間則較短；若是只學 5 個樣本，則 其可辨識樣本之時間則與無自我回授者一 樣長。若在加入含臨界值之模組 Z，發現 不論是學習 5 個或 98 個樣本，其可辨識之 時間均同僅含自我回授模板者。其詳細比 較數據見表一。 比較其可還原樣本之程度，加入自我 回授之模板 A 之比例式記憶體細胞非線性 網路其在記憶 98 個樣本後對雜訊為標準差 0.35 的測試樣本之還原能力僅較只記憶 5 個樣本之無自我回授者稍差。若再加入含 臨界值之模板 Z，則即使記憶 98 個樣本， 其還原能力仍較記憶 5 個樣本之原始比例 式記憶體細胞非線性網路稍佳。其詳細比 較數據見表二。
並由於取自我回授鍵值為比例式記 憶之分母，無須將各鍵值相加當分母的電 路，進一步簡化了電路設計，並加快辨識 速度。 在矽視網膜方面，我們實現了一個新 型的矽視網膜晶片運作在掃描器的應用 上。此晶片根據生物視網膜細胞反應的原 理而設計，其具有高動態範圍的特性，使 光學感測器將可操作於環境照明下，而不 需額外光源。此外，矽視網膜電路處理具 有對比增強特性，輸入灰階影像的對比將 被增強成黑白影像輸出，此舉將有效降低 影像的資料量，使此光學感測器適用於需 要即時影像處理之應用。在量測上，能成 功地去除字元雜訊與還原模糊字元，因此 是一成功的設計。 在大鄰近層細胞非線性網路方面，從 大架構的考量，有效的減少整個網路所需 要的面積，並且進入內部電路的實現，也 以朝向低功率消耗的電路設計方向進行， 目標仍為了實現大鄰近層細胞非線性網路 通用機器，而且在架構與電路的雙向進行 下，更能夠達到更大的網路陣列。 在互補式金氧半影像感測器方面，吾 人所提出之互補式金氧半最佳化虛擬主動 式像素影像感測器和主動式像素感測器、 被動式像素感測器等互補式金氧半影像感 測器相比較下有較低的暗電流，同時也比 互補式金氧半主動式像素影像感測器有較 高的填充係數。因此，吾人深信所提出之 最佳化虛擬主動式像素感測器架構應用在 高品質的互補式金氧半影像感測器時會具 有較高的潛力。 本年度計畫到目前為止執行成果極 為豐碩，總計發表國際期刊論文七篇，國 際學術會議論文八篇，並列舉如下： 國際期刊論文
[1] Yu-Chuan Shih and Chung-Yu Wu, “Optimal design of CMOS pseudo-active-pixel-sensor (PAPS) structure for low-dark-current and
large-array-size imager applications,” accepted by IEEE Sensors Journal.
[2] Jui-Lin Lai and Chung-Yu Wu, “Architectural Design and Analysis of Learnable Self-Feedback Ratio-Memory Cellular Nonlinear Network (SRMCNN) for Nanoelectronic Systems,” accepted by IEEE Transactions on Vary Large Scale Integration.
[3] Yu-Chuan Shih and Chung-Yu Wu, “A New CMOS Pixel Structure for Low-Dark-Current and Large-Array -Size Still Imager Applications,” accepted by IEEE Trans. Circuits and
Systems I: Regular Papers.
[4] Chung-Yu. Wu and Cheng-Ta Chiang, "A Low-photocurrent CMOS Retinal Focal-plane Sensor with Pseudo-BJT Smoothing Network and Adaptive Current Schmitt Trigger for Scanner Applications," IEEE Sensors Journal, vol. 4, no. 4, Aug. 2004.
[5] Chung-Yu Wu, Yu-Chuan Shih,
Jeng-Feng Lan, Chih-Cheng Hsieh, Chien-Chang Huang, and Jr-Houng Lu, “Design, optimization, and performance analysis of new photodiode structures for CMOS active-pixel-sensor (APS) imager applications,” IEEE Sensors
Journal, vol. 4, pp. 135-144, Feb. 2004.
[6] C.Y. Wu and K.H. Huang, “A CMOS focal-plane motion sensor with BJT-based retinal smoothing network and modified correlation-based algorithm,” IEEE Sensors Journal, vol. 2, no. 6, pp. 549-558, December 2002. [7] C.Y. Wu and C.H. Cheng, “A learnable
cellular neural network structure with ratio memory for image processing,” IEEE Transaction on Circuits and Systems I: Fundamental Theory and Applications, vol. 49, no. 12, pp. 1713-1723, December 2002.
國際學術會議論文
[1] C. Y. Wu, Felice Cheng, C. T. Chiang, and P. K. Lin, "A Low-Power Implantable Pseudo-BJT-based Silicon
Retina with Solar Cells for Artificial Retinal Prostheses," accepted by IEEE
International Symposium on Circuits and Systems, ISCAS'04, May 2004.
[2] Chung-Yu. Wu and Cheng-Ta Chiang, “A Low-photocurrent CMOS Retinal Focal-plane Sensor with Pseudo- BJT Smoothing Network and Adaptive Current Schmitt Trigger for Scanner Applications,” Proc. of the Second IEEE
International Conference on Sensors,
vol. 2, pp. 1147-1152, Oct. 2003.
[3] Chung-Yu Wu, Yaw-Kuen Lee,
Chang-Ching Tu, “A New Photo-Sensing Nano-Device Structure with CdSe and Au Nanoparticles on Silicon Substrate,” Proc. of the Third
IEEE Conference on Nanotechnology,
vol. 2, pp. 763-765, Aug. 2003.
[4] Chung-Yu Wu, Chi-Hau Sue, Pei-Chan
Chiang, “Self-Organized Supramolecular Wires,” Proc. of the
Third IEEE Conference on Nanotechnology, vol. 2, pp. 510-511,
Aug. 2003.
[5] T.C. Tsai, M. Sun, L.J. Lin, K.H. Huang, C.H. Cheng, and C.Y. Wu, “A new two-layer quantum-dot large neighborhood cellular nonlinear network (QLN-CNN) using quantum-dot cellular automata”, in Proc.
of the 2002 2nd IEEE Conference on Nanotechnology, IEEE-NANO 2002, pp.
355-357, Washington D.C., August 2002.
[6] W.C. Yang, L.J. Lin, and C.Y. Wu, “The design of a bionic sensory chip based on the CNN model derived from the mammalian retina,” accepted by
International Joint Conference on Neural Networks (IJCNN 2003).
[7] C.H. Cheng, S.H. Chen, L.J. Lin, K.H. Huang, and C.Y. Wu, “A New Structure of Large-Neighborhood Cellular Nonlinear Network (LN-CNN),” in Proc.
of International Joint Conference on Neural Networks, pp. 1497-1501, 2003.
[8] K.H. Huang, L.J. Lin, and C.Y. Wu, “A CMOS Focal-Plane Rotation Sensor
with Retinal Processing Circuit,” accepted by European Solid-State
Circuits Conference (ESSCIRC 2003).
圖一、樣本經過參雜雜訊後的情形 (a) (b) 圖二、(a) 測試的 15 個簡單圖形樣本 (b) 測試的 15 個複雜的圖形樣本 圖三、視網膜晶片架構
圖四、矽視網膜電路 圖五、(a) 晶片照像圖 (b)單一像素照像圖 圖六、去除字元雜訊之量測結果 圖七、還原模糊字元之量測結果 PAR PAL To Neuron C(0,1) and C(0,2) To Neuron C(0,-1) abd C(0,-2) To Neuron C(1,0) and C(2,0) To Neuron C(-1,0) and C(-2,0) PAIR PAIL PA3 PA1 Neuron C(0,0) PA D PA U PA 2 PA ID PA IU PAUL Neuron C(1,-1) PADL Neuron C(1,1) PADR Neuron C(-1,1) PAUR Neuron C(-1,-1) Output state voltageof C(0,0) Output of C(1,-1) Output of C(1,1) Output of C(-1,1) Output of C(-1,1) (a) IN PBL PBR PBIL PBIR PB3 PB1 PB 2 PB IU PB ID PB U PB D PBDR Neuron C(-1,1) PB0 PBDL PBUL PBUR Neuron C(1,1) To Neuron C(1,0) and C(2,0) To Neuron C(-1,0) and C(-2,0) To Neuron C(0,1) and C(0,2) To Neuron C(0,-1) and C(0,-2) Neuron C(-1,-1) Neuron C(0,0) Neuron C(1,-1) Input of C(0,0) Input of C(-1,1) Input ofC(1,1) Input of C(1,-1) Input of C(-1,-1) (b) PR1 PL 2 PU1 PD2 PR2 PU2 PL 1 PD1 PL U PL D PRD PRU 圖八、(a)神經元單一細胞模板 A 架構 (b) 神經元單一細胞模板 B 架構 (c) 神經元單 一細胞模板 A 與細胞模板 B 結合之架構
Neuron C(-1,1) Neuron C(0,1) Neuron C(1,1) Neuron C(-1,0) Neuron C(0,0) Neuron C(1,0) Neuron C(-1,-1) Neuron C(0,-1) Neuron C(1,-1) Direct connection Neuron C(0,-2) Neuron C(0,2) Neuron C(2,0) Neuron C(-2,0) r = 1 r = 2 (a) Neuron C(-1,1) Neuron C(0,1) Neuron C(1,1) Neuron C(-1,0) Neuron C(0,0) Neuron C(1,0) Neuron C(-1,-1) Neuron C(0,-1) Neuron C(1,-1) Diffusive connection Direct connection Neuron C(0,-2) Neuron C(0,2) Neuron C(2,0) Neuron C(-2,0) r = 1 r = 2 (b) 圖九、(a)舊架構實現大鄰近層 (b)新架構所 實現的大鄰近層 圖十、像素架構 圖十一、像素連接圖 圖(三) 圖十二、PDRPA 結果 Learned Patterns Test Patterns Recognizable Time TElallmin - TELallmax (sec) Original 5 5 1500-2500 S-RMCNN 5 87 31 93 98 5 87 87 93 98 1000-2500 2450-2500 2350-2500 2450-2500 2450-2500 SZ-RMCNN 5 87 31 93 98 5 87 87 93 98 1150-2500 2450-2500 2350-2500 2450-2500 2450-2500 表一、可學習樣本個數之比較。 _ + R1 1.8 V 1.8 V 1.8 V 1.8 V pixel pixel pixel pixel Vcom (≈1.8 V) Reset D 1.8 V Rselj Vb1 Vdd (3.3 V) Mrst Min Mp1 Mrsel Mp2 To column sampling stage
Optimal PAPS (OPAPS) Structure
C R2 R3 R4 Mr1 Mr2 Mr3 Mr4 pixel 1.8 V MrN RN Shared Zero-biased-buffer Cp G1 Rsel1 Rsel2 RselK N pixels : Column sampling stage : OPAPS : Pixel : Shared zero-biased-buffer Sensor Array RselK RN-1 RN R2 R1 pixel bus
Number of pixels connected with the shared zero-biased-buffer
0 1 2 3 4 5 6 7 8 9 10 11 Fac tor o f PD R PA ( 1 / µ m 2) 30.0 32.5 35.0 37.5 40.0 42.5 45.0 47.5 50.0
Learned patterns Test patterns Variance = 0.3 Variance = 0.35 Variance = 0.5 Original 5 5 86 53 S-RMCNN 5 87 31 93 98 5 87 87 93 98 100 89.8 89.8 88.9 86.9 100 59.6 59.6 54.1 52.5 97.4 SZ-RMCNN 5 87 31 93 98 5 87 87 93 98 100 89.8 89.8 88.9 86.9 100 59.6 59.6 54.1 52.5 98.4 表二、 可還原測試樣本之雜訊程度之比 較。
