神经形态视觉传感器的研究进展及应用综述

(1)

书书书

第４４卷　第６期

２０２１年６月计　　算　　机　　学　　报

ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ ^Ｖ ^ｏ ^ｌ ^． ^４ ^Ｊ ^４Ｎ ^ｕ ^ｎ ^ｅ ^２ ^ｏ ^０ ^． ^２ ^６ ^１　

收稿日期：２０１９１１２５^；在线发布日期：２０２００５１３．本课题得到国家自然科学基金（６２０２７８０４^，６１８２５１０１^）^、^“中国人工智能２．０发展战略研究”重大咨询研究项目中课题“跨媒体智能及其类脑计算融合”资助．李家宁，博士研究生，主要研究方向为时空点过程学习、机器学习与神经形态视觉．Ｅｍａｉｌ^：ｌｉｊｉａｎｉｎｇ＠ｐｋｕ．ｅｄｕ．ｃｎ．^田永鸿（通信作者），博士，教授，中国计算机学会（ＣＣＦ^）高级会员，国家杰出青年科学基金入选者，国家重点研发计划项目负责人，主要研究领域为多媒体大数据、机器学习与类脑计算．Ｅｍａｉｌ^：ｙｈｔｉａｎ＠ｐｋｕ．ｅｄｕ．ｃｎ．

神经形态视觉传感器的研究进展及应用综述

李家宁

^１^）

　　 ^田永鸿

^１^）^，^２^）

１^）（北京大学计算机科学技术系　北京　１００８７１^）

２）（鹏城实验室　广东深圳　５１８０５５^）

摘

　

^要

　神经形态视觉传感器具有高时域分辨率

^、

高动态范围

、

低数据冗余和低功耗等优势

，

近年来在自动驾驶

、

无人机视觉导航

、

工业检测及视觉监控等领域

（

尤其在涉及高速运动和极端光照等条件下

）

产生了巨大的应用前景．神经形态视觉是一个包含硬件

、

软件

、

生物神经模型等的视觉感知系统

，

终极目标是模拟生物视觉感知结构与机理

，

以硅视网膜达到

、

扩展或超越人类智能．作为神经形态工程的重要分支

，

神经形态视觉是计算神经科学与计算机视觉领域的交叉学科与研究热点．本文从生物视觉采样模型

、

神经形态视觉传感器的采样模型及类型

、

视觉信号处理与特征表达

、

视觉任务应用等视角进行了系统性地回顾与综述

，

展望了该领域未来研究的技术挑战与可能发展方向

，

同时探讨了其对未来机器视觉和人工智能领域的潜在影响．

关键词

　类脑智能

^；

人工智能

；

硅视网膜

；

仿生视觉

；

神经形态工程

中图法分类号

ＴＰ１８　　　犇犗犐

号

１０．１１８９７

／

ＳＰ．Ｊ．１０１６．２０２１．０１２５８

犚犲犮犲狀狋犃犱狏犪狀犮犲狊犻狀犖犲狌狉狅犿狅狉狆犺犻犮犞犻狊犻狅狀犛犲狀狊狅狉狊 ^：犃犛狌狉狏犲狔

ＬＩＪｉａ  Ｎｉｎｇ

^１^）

　ＴＩＡＮＹｏｎｇ  Ｈｏｎｇ

^１^）^，^２^）

１^）（犇犲狆犪狉狋犿犲狀狋狅犳犆狅犿狆狌狋犲狉犛犮犻犲狀犮犲犪狀犱犜犲犮犺狀狅犾狅犵狔^，犘犲犽犻狀犵犝狀犻狏犲狉狊犻狋狔^，犅犲犻犼犻狀犵　１００８７１^）

２^）（犘犲狀犵犆犺犲狀犵犔犪犫狅狉犪狋狅狉狔^，犛犺犲狀狕犺犲狀^，犌狌犪狀犵犱狅狀犵　５１８０５５^）

犃犫狊狋狉犪犮狋　Ｒｅｃｅｎｔｌｙ ^，ｎｅｕｒｏｍｏｒｐｈｉｃｖｉｓｉｏｎｓｅｎｓｏｒｓａｒｅｇａｉｎｉｎｇｍｏｒｅａｎｄｍｏｒｅａｔｔｅｎｔｉｏｎｉｎｃｏｍｐｕｔｅｒｖｉｓｉｏｎｏｗｎｉｎｇｔｏｔｈｅａｄｖａｎｔａｇｅｓｏｖｅｒｃｏｎｖｅｎｔｉｏｎａｌｃａｍｅｒａｓ ^：ｈｉｇｈｔｅｍｐｏｒａｌｒｅｓｏｌｕｔｉｏｎ ^，ｈｉｇｈｄｙｎａｍｉｃｒａｎｇｅ ^（ＨＤＲ ^） ^，ｌｏｗｒｅｄｕｎｄａｎｃｙａｎｄｌｏｗｐｏｗｅｒｃｏｎｓｕｍｐｔｉｏｎ．Ｔｈｅａｐｐｌｉｃａｔｉｏｎｓｏｆｗｈｉｃｈｉｎｃｌｕｄｅａｕｔｏｎｏｍｏｕｓｄｒｉｖｉｎｇ ^，ｄｒｏｎｅｖｉｓｕａｌｎａｖｉｇａｔｉｏｎ ^，ｉｎｄｕｓｔｒｉａｌｉｎｓｐｅｃｔｉｏｎ ^，ｖｉｄｅｏｓｕｒｖｅｉｌｌａｎｃｅ ^，ａｎｄｔｈｅｉｎｔｅｒｎｅｔｏｆｔｈｉｎｇｓ ^（ＩｏＴ ^） ^，ｅｓｐｅｃｉａｌｌｙｉｎｆａｓｔｍｏｔｉｏｎａｎｄｃｈａｌｌｅｎｇｉｎｇｉｌｌｕｍｉｎａｔｉｏｎｃｏｎｄｉ  ｔｉｏｎｓ．Ｎｅｕｒｏｍｏｒｐｈｉｃｖｉｓｉｏｎｉｓａｎｉｍｐｏｒｔａｎｔｂｒａｎｃｈｏｆｎｅｕｒｏｍｏｒｐｈｉｃｅｎｇｉｎｅｅｒｉｎｇ ^，ｗｈｉｃｈｕｓｅｓｔｈｅｓｉｌｉｃｏｎｒｅｔｉｎａｔｏｍｉｍｉｃｔｈｅｓｔｒｕｃｔｕｒｅａｎｄｍｅｃｈａｎｉｓｍｏｆｔｈｅｂｉｏｌｏｇｉｃａｌｖｉｓｕａｌｓｅｎｓｉｎｇｓｙｓｔｅｍａｎｄａｉｍｓｔｏａｄｄｒｅｓｓｔｈｅｓｈｏｒｔａｇｅｓｏｆｔｒａｄｉｔｉｏｎａｌｆｒａｍｅ  ｂａｓｅｄｃａｍｅｒａｓ ^，ａｎｄｉｔｉｓａｌｓｏａｒｅｓｅａｒｃｈｈｏｔｓｐｏｔｉｎｔｈｅｆｉｅｌｄｏｆｎｅｕｒｏｓｃｉｅｎｃｅａｎｄｃｏｍｐｕｔｅｒｖｉｓｉｏｎ．Ｉｎｄｅｅｄ ^，ｎｅｕｒｏｍｏｒｐｈｉｃｖｉｓｉｏｎｓｅｎｓｏｒｓｗｏｒｋｉｎａｃｏｍ  ｐｌｅｔｅｌｙｄｉｆｆｅｒｅｎｔｗａｙａｎｄｕｓｅｗｈａｔｉｔｃａｌｌｅｄ ^“ ｓｐｉｋｅｓ ^” ｔｏｃｏｍｐｕｔｅｉｎｓｔｅａｄｏｆｆｒａｍｅ  ｂｙ  ｆｒａｍｅｂａｓｉｓ ^，ｉｎｗｈｉｃｈａｓｙｎｃｈｒｏｎｏｕｓｓｐａｔｉａｌ  ｔｅｍｐｏｒａｌｓｐｉｋｅｓａｒｅｃｏｎｔｉｎｕｏｕｓ  ｔｉｍｅａｎｄｓｐａｒｓｅｐｏｉｎｔ  ｓｅｔｓｉｎｔｈｒｅｅ 

ｄｉｍｅｎｓｉｏｎａｌｓｐａｃｅ．Ｔｈｉｓｎｏｖｅｌｔｅｃｈｎｏｌｏｇｙｆｕｎｄａｍｅｎｔａｌｌｙｃｈａｎｇｅｓｔｈｅｓｅｎｓｉｎｇａｎｄｃｏｍｐｕｔｉｎｇｗａｙｓｉｎｖｉｓｉｏｎｉｎｆｏｒｍａｔｉｏｎ ^，ｓｏｔｈａｔｅｘｉｓｔｉｎｇｃｏｍｐｕｔｅｒｖｉｓｉｏｎｔｅｃｈｎｉｑｕｅｓｃａｎｎｏｔｂｅｄｉｒｅｃｔｌｙａｐｐｌｉｅｄｔｏａｓｙｎｃｈｒｏｎｏｕｓｓｐｉｋｅｓｆｒｏｍｎｅｕｒｏｍｏｒｐｈｉｃｃａｍｅｒａｓ．Ｎｅｖｅｒｔｈｅｌｅｓｓ ^，ｎｅｕｒｏｍｏｒｐｈｉｃｖｉｓｉｏｎｒｅｍａｉｎｓａｎａｃｔｉｖｅａｒｅａｏｆｒｅｓｅａｒｃｈｉｎａｃａｄｅｍｉａａｎｄｅｆｆｏｒｔｓａｒｅｏｎｇｏｉｎｇｔｏｏｖｅｒｃｏｍｅｓｏｍｅｓｉｇｎｉｆｉｃａｎｔｃｈａｌｌｅｎｇｅｓ．Ｉｎｔｈｉｓｐａｐｅｒ ^，ｔｈｅｆｉｒｓｔｐａｒｔｐｒｅｓｅｎｔｓａｃｏｍｐｒｅｈｅｎｓｉｖｅｏｖｅｒｖｉｅｗｏｆｔｈｅｅｍｅｒｇｉｎｇｆｉｅｌｄｏｆｎｅｕｒｏｍｏｒ  ｐｈｉｃｖｉｓｉｏｎｃｏｎｓｉｓｔｉｎｇｏｆｔｈｅｍｉｌｌｓｔｏｎｅｓ ^，ｔｗｏｂｉｏ  ｉｎｓｐｉｒｅｄｖｉｓｉｏｎｓａｍｐｌｉｎｇｍｏｄｅｌｓ ^（ｉ．ｅ． ^，ｄｙｎａｍｉｃｖｉｓｉｏｎｓａｍｐｌｉｎｇｍｏｄｅｌａｎｄｉｎｔｅｇｒａｔｉｎｇｖｉｓｉｏｎｓａｍｐｌｉｎｇｍｏｄｅｌ ^） ^，ｔｈｅｔｙｐｅｓｏｆｒｅｐｒｅｓｅｎｔａｔｉｖｅｎｅｕｒｏ 

《计

算

机

学

报

》

(2)

ｍｏｒｐｈｉｃｓｅｎｓｏｒｓ ^（ｅ．ｇ． ^，ＤＶＳ ^，ＡＴＩＳ ^，ＤＡＶＩＳ ^，ＣｅｌｅＸ ^，ａｎｄＶｉｄａｒ ^） ^，ａｓｙｎｃｈｒｏｎｏｕｓｅｖｅｎｔ  ｂａｓｅｄｓｉｇｎａｌｐｒｏｃｅｓｓｉｎｇ ^，ｅｖｅｎｔ  ｂａｓｅｄｆｅａｔｕｒｅｒｅｐｒｅｓｅｎｔａｔｉｏｎａｎｄｔｈｅｔｙｐｉｃａｌｖｉｓｉｏｎａｐｐｌｉｃａｔｉｏｎｓ．Ｓｐｅｃｉａｌｌｙ ^，ｗｅｉｎｔｒｏｄｕｃｅｔｈｅｆｕｎｄａｍｅｎｔａｌｓｏｆｎｅｕｒｏｍｏｒｐｈｉｃｓｉｇｎａｌｐｒｏｃｅｓｓｉｎｇｍｅｔｈｏｄｓ ^，ｓｕｃｈａｓａｓｙｎｃｈｒｏｎｏｕｓｓｐａｔｉａｌ  ｔｅｍｐｏｒａｌｆｉｌｔｅｒｉｎｇ ^，ｓｐｉｋｅｍｅｔｒｉｃ ^，ａｎｄｓｐｉｋｅｃｏｄｉｎｇ．Ａｃｃｏｒｄｉｎｇｔｏｔｈｅｌｉｔｅｒａｔｕｒｅ ^，ｗｅｓｕｍｍａｒｉｚｅａｎｄｒｅｐｏｒｔｅｘｐｅｒｉｍｅｎｔａｌｒｅｓｕｌｔｓｏｎｔｈｅｋｅｙｉｓｓｕｅ ^，ｎａｍｅｌｙｅｖｅｎｔ  ｂａｓｅｄｆｅａｔｕｒｅｒｅｐｒｅｓｅｎ  ｔａｔｉｏｎ ^，ｆｒｏｍｆｏｕｒｐｅｒｓｐｅｃｔｉｖｅｓｃｏｎｓｉｓｔｉｎｇｏｆｒａｔｅ  ｂａｓｅｄｉｍａｇｅｓ ^，ｈａｎｄ  ｃｒａｆｔｅｄｆｅａｔｕｒｅｓ ^，ｓｐｉｋｉｎｇｎｅｕｒａｌｎｅｔｗｏｒｋｓ ^（ＳＮＮｓ ^） ^，ａｎｄｄｅｅｐｎｅｕｒａｌｎｅｔｗｏｒｋｓ ^（ＤＮＮｓ ^）．Ｔｈｅｓｅｃｏｎｄｐａｒｔｎｅｘｔｈｉｇｈｌｉｇｈｔｓｔｈｅｆｏｌｌｏｗｉｎｇｃｈａｌｌｅｎｇｅｓ ^： ^（１ ^）Ｂｕｉｌｄｉｎｇｓｏｍｅｌａｒｇｅ  ｓｃａｌｅｎｅｕｒｏｍｏｒｐｈｉｃｖｉｓｉｏｎｄａｔａｓｅｔｓｆｏｒｓｕｐｅｒｖｉｓｅｄｌｅａｒｎｉｎｇａｐｐｒｏａｃｈｅｓ ^； ^（２ ^）Ｄｅｆｉｎｉｎｇａｎｅｆｆｅｃｔｉｖｅｓｐｉｋｅｍｅｔｒｉｃｆｏｒｎｅｕｒｏｍｏｒｐｈｉｃｓｉｇｎａｌｐｒｏｃｅｓｓｉｎｇ ^； ^（３ ^）Ｌｅａｒｎｉｎｇａｂｅｔｔｅｒｓｐａｔｉａｌ  ｔｅｍｐｏｒａｌｒｅｐｒｅｓｅｎｔａｔｉｏｎｆｒｏｍａｓｙｎｃｈｒｏｎｏｕｓｓｐｉｋｅｓ ^； ^（４ ^）Ｅｘｐｌｏｒｉｎｇｈｉｇｈ  ｓｐｅｅｄｃｏｍｐｕｔｉｎｇｐａｒａｄｉｇｍｖｉａｎｅｕｒｏｍｏｒｐｈｉｃｃｈｉｐｓ ^（ｅ．ｇ． ^，ＴｒｕｅＮｏｒｔｈ ^，Ｌｏｉｈｉ ^，ａｎｄＳｐｉＮＮａｋｅｒ ^） ^；

（５ ^）Ｄｅｖｅｌｏｐｉｎｇｔｈｅｏｐｅｎ  ｓｏｕｒｃｅｆｒａｍｅｗｏｒｋａｐｐｌｉｅｄｔｏａｓｙｎｃｈｒｏｎｏｕｓｓｐａｔｉａｌ  ｔｅｍｐｏｒａｌｓｐｉｋｅｓ．Ｔｈｅｌａｓｔｐａｒｔｆｕｒｔｈｅｒｄｉｓｃｕｓｓｅｓｔｈｅｍｅａｎｉｎｇｆｕｌｆｕｔｕｒｅｒｅｓｅａｒｃｈｄｉｒｅｃｔｉｏｎｓｏｎｎｅｕｒｏｍｏｒｐｈｉｃｖｉｓｉｏｎｓｅｎｓｏｒｓ．Ｍｏｒｅｐｒｅｃｉｓｅｌｙ ^，ｗｅｌｏｏｋｆｏｒｗａｒｄｔｏｎｅｗｍａｔｅｒｉａｌｓｔｏｅｎｈａｎｃｅｔｈｅｓｅｎｓｉｎｇａｂｉｌｉｔｉｅｓｉｎｃｏｍｐｕｔａｔｉｏｎａｌｓｐｅｅｄ ^，ｍｅｍｏｒｙ ^，ｃｏｍｍｕｎｉｃａｔｉｏｎｏｖｅｒｈｅａｄ ^，ａｎｄｐｏｗｅｒｃｏｎｓｕｍｐｔｉｏｎ．Ｔｈｅｎ ^，ｗｅａｎａｌｙｚｅｔｈｅｐｏｔｅｎｔｉａｌｐｒｏｆｏｕｎｄｉｎｆｌｕｅｎｃｅｔｈａｔｃａｎｂｅｅｘｔｅｎｄｅｄｔｏｍｕｌｔｉ  ｂａｎｄｓａｍｐｌｉｎｇｒａｔｈｅｒｔｈａｎｏｎｌｙｖｉｓｉｂｌｅｓｐｅｃｔｒｕｍ ^，ｍｕｌｔｉ  ｔａｓｋｌｅａｒｎｉｎｇｊｕｓｔｌｉｋｅｈｕｍａｎｖｉｓｉｏｎｓｙｓｔｅｍｓａｎｄｍｕｌｔｉ  ｓｅｎｓｏｒｆｕｓｉｏｎ．Ｆｉｎａｌｌｙ ^，ｗｅａｎｔｉｃｉｐａｔｅａｎｅｕｒｏｍｏｒｐｈｉｃｃｏｍｍｕｎｉｔｙｃｏｍｂｉｎｇｎｅｕｒｏｓｃｉｅｎｃｅａｎｄｃｏｍｐｕｔｅｒｖｉｓｉｏｎ ^，ｗｈｉｃｈｂｅｎｅｆｉｔｓｆｒｏｍｅａｃｈｏｔｈｅｒ．Ｗｅｂｅｌｉｅｖｅｔｈａｔｔｈｅｍｏｓｔａｌｌｕｒｉｎｇｃｈａｒａｃｔｅｒｉｓｔｉｃｏｆｔｈｅｃｏｍｐｒｅｈｅｎｓｉｖｅｓｕｒｖｅｙｐａｐｅｒｉｓｔｈａｔｉｔａｃｔｓａｓａｂｒｉｄｇｅｂｅｔｗｅｅｎｎｅｕｒｏｍｏｒｐｈｉｃｃａｍｅｒａｓａｎｄｍａｎｙｃｏｍｐｕｔｅｒｖｉｓｉｏｎｔａｓｋｓ ^，ｔｈｕｓｂｒｉｎｉｎｇｔｈｅｍａｉｎｓｔｒｅａｍｏｆｃｏｍｐｕｔｅｒｖｉｓｉｏｎｒｅｓｅａｒｃｈｔｏｌｅｖｅｒａｇｅｔｈｅｂｅｎｅｆｉｔｓｏｆｔｈｅｓｅｎｏｖｅｌｓｅｎｓｏｒｓａｎｄｅｎｌａｒｇｉｎｇｔｈｅｆｏｏｔｐｒｉｎｔｏｆｎｅｕｒｏｍｏｒｐｈｉｃｖｉｓｉｏｎｔｏｗａｒｄｓａｂｒｏａｄｅｒａｒｒａｙｏｆａｐｐｌｉｃａｔｉｏｎｓ．

犓犲狔狑狅狉犱狊　ｂｒａｉｎ  ｉｎｓｐｉｒｅｄｉｎｔｅｌｌｉｇｅｎｃｅ ^；ａｒｔｉｆｉｃｉａｌｉｎｔｅｌｌｉｇｅｎｃｅ ^；ｓｉｌｉｃｏｎｒｅｔｉｎａ ^；ｂｉｏ  ｉｎｓｐｉｒｅｄｖｉｓｉｏｎ ^；ｎｅｕｒｏｍｏｒｐｈｉｃｅｎｇｉｎｅｅｒｉｎｇ

１　 ^引　 ^言

视觉是智慧生物和智能体的基本功能 ^，负责理解与感知外部世界．人类感知系统有超过８０％的信息量来自视觉系统 ^，远远超过听觉系统 ^、触觉系统以及其他感知系统之和

^［^１^］

．如何设计强大的视觉感知系统 ^，以应用于计算机视觉技术和人工智能技术 ^，一直是科学界和工业界的研究热点

^［^２^］

．

视频即静止图像序列，是随着电影电视技术发展起来的一个人造概念，利用了人类视觉系统的视觉暂留现象

^［^３^］

，将两帧图像刷新的时间间隔小于５０ｍｓ ^，会产生连续的视觉感受．近年来，传统视频在视觉观赏角度取得了重大进展

^［^４^］

，但存在数据采样冗余大 ^、感光动态范围小和时域采集低分辨率 ^，在高速运动场景易产生运动模糊等缺点

^［^５^］

．此外 ^，计算机视觉一直朝着 ^“ 视频摄像头＋计算机＋算法＝机器视觉 ^” 的主流方向

^［^６^^７^］

^，却很少人质疑用图像序列 ^（视频 ^）表达视觉信息的合理性 ^，更少人质疑是否凭借该

计算机视觉算法就能实现真正机器视觉．

人类视觉系统具有低冗余 ^、低功耗 ^、高动态及鲁棒性强等优势 ^，可以高效地自适应处理动态与静态信息 ^，且具有极强的小样本泛化能力和全面的复杂场景感知能力

^［^８^］

．探索人类视觉系统的奥秘 ^，并借鉴人类视觉系统的神经网络结构和视觉信息采样加工处理机理

^［^９^］

，建立起一套新的视觉信息感知与处理理论 ^、技术标准 ^、芯片和应用工程系统 ^，从而更好模拟 ^、扩展或超越人类视觉感知系统的能力．这是神经科学与信息科学的交叉学科 ^，称之为神经形态视觉

^［^１^０^^１^２^］

．

神经形态视觉是一个包含硬件开发 ^，软件支撑 ^，生物神经模型 ^，三者不可缺一的视觉感知系统 ^，其终极目标之一是模拟生物视觉感知结构与机理，以硅视网膜（ＳｉｌｉｃｏｎＲｅｔｉｎａ ^）

^［^１^３^］

来以期达到真正的机器视觉．

神经形态视觉传感器的研制是建立在神经科学 ^、生理学等领域对生物视网膜结构与功能机理的研究基础上的．１９４３年ＭｃＣｕｌｌｏｃｈ和Ｐｉｔｔｓ

^［^１^４^］

提出

９５２６期李家宁等

：

神经形态视觉传感器的研究进展及应用综述１

《计

算

机

学

报

》

(3)

一种具有计算能力的神经元模型．１９５２年Ｈｏｄｇｋｉｎ和Ｈｕｘｌｅｙ

^［^１^５^］

对神经元建立动力学微分方程描述神经元动作电位的产生与传递过程，该动作电位称为脉冲（Ｓｐｉｋｅ ^）．１９８６年加州理工学院的博士研究生Ｍａｈｏｗａｌｄ所想： “ 大脑是想象力的发源地，这让我很兴奋 ^，我希望可以创造一个想象事物的芯片 ^” ^，那时与导师ＣａｒｖｅｒＭｅａｄ教授开始萌发从生物神经科学和工程学角度研究立体视觉的问题．１９９０年Ｍｅａｄ首次在 ^《ＰｒｏｃｅｅｄｉｎｇｓｏｆｔｈｅＩＥＥＥ ^》上提出神经形态（Ｎｅｕｒｏｍｏｒｐｈｉｃ ^）的概念

^［^１^６^］

，利用大规模集成电路来模拟生物神经系统．１９９１年Ｍａｈｏｗａｌｄ和Ｍｅａｄ

^［^１^３^］

在《ＳｃｉｅｎｔｉｆｉｃＡｍｅｒｉｃａｎ ^》的封面刊登了一只运动的猫，标志了第一款硅视网膜的诞生，其模拟了视网膜上视锥细胞 ^、水平细胞以及双极细胞的生物功能 ^，正式点燃了神经形态视觉传感器这一新兴领域．１９９３年Ｍａｈｏｗａｌｄ

^［^１^７^］

团队为了解决集成电路的稠密三维连线的问题 ^，提出了一种新型的集成电路通信协议，即地址事件协议（Ａｄｄｒｅｓｓ  ＥｖｅｎｔＲｅｐｒｅｓｅｎｔａｔｉｏｎ ^，ＡＥＲ ^） ^，实现了事件的异步读出．２００３年Ｃｕｌｕｒｃｉｅｌｌｏ等人

^［^１^８^］

设计了一种ＡＥＲ方式的

积分发放的脉冲模型 ^，将像素光强编码为频率或脉冲间隔 ^，称为章鱼视网膜 ^（ＯｃｔｏｐｕｓＲｅｔｉｎａ ^）．２００５年Ｄｅｌｂｒｕｃｋ团队

^［^１^９^］

研制出动态视觉传感器 ^（ＤｙｎａｍｉｃＶｉｓｉｏｎＳｅｎｓｏｒ ^，ＤＶＳ ^） ^，以时空异步稀疏的事件

（Ｅｖｅｎｔ ^）表示像素光强变化 ^，其商业化具有里程牌的意义．然而，ＤＶＳ无法捕捉自然场景的精细纹理图像．２００８年Ｐｏｓｈ等人

^［^２^０^］

提出了一种基于异步视觉

的图像传感器 ^（ＡｓｙｎｃｈｒｏｎｏｕｓＴｉｍｅ  ｂａｓｅｄＩｍａｇｅＳｅｎｓｏｒ ^，ＡＴＩＳ ^） ^，引入了基于事件触发的光强测量

电路来重构变化处的像素灰度．２０１３年Ｄｅｌｂｒｕｃｋ团队

^［^２^１^］

开发了动态有源像素视觉传感器（ＤｙｎａｍｉｃａｎｄＡｃｔｉｖｅｐｉｘｅｌＶｉｓｉｏｎＳｅｎｓｏｒ ^，ＤＡＶＩＳ ^） ^，即一种双

模的技术路线 ^，增加额外独立的传统图像采样电路弥补ＤＶＳ纹理成像的缺陷 ^，随后在２０１７年又将其扩展为彩色ＤＡＶＩＳ３４６

^［^２^２^］

．２０１６年陈守顺教授团队

^［^２^３^］

采用了增加事件的位宽 ^，让事件携带像素光强信息输出以恢复场景纹理．２０１８年黄铁军教授团队

^［^２^４^］

采用了章鱼视网膜

^［^１^８^］

的光强积分发放采样原理，将脉冲平面传输替换ＡＥＲ方式以节约传输带宽，验证了积分型采样原理可高速重构场景纹理细节 ^，即仿视网膜中央凹采样模型 ^（Ｆｏｖｅａ  ｌｉｋｅＳａｍｐｌｉｎｇＭｏｄｅｌ ^，ＦＳＭ ^） ^，也称Ｖｉｄａｒ ^，如图１所示．

神经形态视觉传感器

^［^１^９^^２^３^］

模拟生物视觉感知系统 ^，其具有高的时域分辨率 ^、数据冗余少 ^、低功耗和高动态范围的优势，在自动驾驶

^［^２^５^^２^６^］

、无人机视觉导航

^［^２^７^^２^８^］

、工业检测

^［^２^９^］

及视频监控

^［^３^０^］

等机器视觉领域，尤其在涉及高速运动和极端光照场景下有着巨大的市场潜力．此外 ^，神经形态视觉采样 ^、处理及应用是神经形态工程的重要分支

^［^３^１^］

^，为计算神经科学的脑启发视觉模型提供了验证

^［^３^２^］

^，也是探索人类智能的有效途径之一．目前神经形态视觉传感器的研究与应用尚处于初期阶段 ^，达到或超越人类视觉系统在复杂交互环境下的感知能力还需要大量的探索研究．

图１　神经形态视觉传感器的发展历程

（

蓝色框为里程碑事件

）

本文从神经形态视觉的发展历程 ^、生物视觉神经采样模型到神经形态视觉传感器的采样机理及类型、神经视觉信号处理与特征表达及视觉应用的视

角进行系统性回顾与综述 ^，并展望了该领域未来研究的重大挑战与可能发展方向，同时探讨了其对未来机器视觉和人工智能领域的潜在影响．

０６２ １计　　算　　机　　学　　报２０２１年

《计

算

机

学

报

》

(4)

２　神经形态视觉模型与采样机理

神经形态视觉的技术路线总体上分为三个层次 ^：结构层次模仿视网膜 ^，器件功能层次逼近视网膜 ^，智能层次超越视网膜．如果说传统相机是对人类视觉系统的模拟，那么这种仿生物视网膜只是器件功能层次的初级模拟．实际上 ^，传统相机无论是在结构层次、功能层次，甚至智能层次都远不及人类视网膜在各种复杂环境的感知能力．

近年来，各国 “ 脑计划 ”

^［^３^３^］

相继布局与展开，将从结构层次解析类脑视觉列为重要内容之一支持 ^，主要通过神经科学家采用精细解析与先进探测技术，获取视网膜基本单元的结构、功能及其网络连接 ^，为器件功能层次逼近生物视觉感知系统提供理论支撑．神经形态视觉传感器正是从器件功能层次仿真入手 ^，即采用光电纳米器件模拟生物视觉采样模型与信息处理功能，在有限的物理空间和功耗条件下构造出具有或超越生物视觉能力的感知系统．简而言之 ^，神经形态视觉传感器不用等完全理解视网膜的解析结构与机理再进行模拟，而是借鉴结构层次研究机理并绕过这个更为困难的问题 ^，通过器件功能层次逼近等仿真工程技术手段达到、扩展或超越人类视觉感知系统的能力．

目前 ^，神经形态视觉传感器已经取得了阶段性成果，有模拟视网膜外周感知运动功能的差分型视觉采样模型 ^，如ＤＶＳ

^［^１^９^］

^、ＡＴＩＳ

^［^２^０^］

^、ＤＡＶＩＳ

^［^２^１^^２^２^］

^、ＣｅｌｅＸ

^［^２^３^］

^；也有模拟视网膜中央凹感知精细纹理功能的积分型视觉采样模型 ^，如章鱼视网膜

^［^１^８^］

^、Ｖｉｄａｒ

^［^２^４^］

．２  １　 ^{生物视网膜视觉模型}

脊椎动物的视网膜是在６亿年前由光感受神经细胞演变而成 ^，位于后半眼球的多层复杂神经网状结构，如图２所示．灵长类生物视网膜大致可以分为三层结构 ^：光感受器层 ^、内丛状层和外丛状层 ^，其包括光感受器细胞、双极细胞、水平细胞、神经节细胞等主要构成

^［^３^４^］

^，如图３所示．光感受器细胞分为视杆细胞和视锥细胞两类，负责将进入眼球的光信号转化为电信号，并传导至双极细胞和水平细胞．视锥细胞对颜色敏感 ^，主要负责颜色的识别 ^，通常在场景光照较强条件下工作；视杆细胞对光线敏感，能够感受弱光 ^，主要提供夜晚场景下工作 ^，但其没有颜色辨别能力．双极细胞接受光感受器的信号输入，其根据感受野的区域不同分为ＯＮ型和ＯＦＦ型两类细胞 ^，分别感知光强增加和光强减弱．水平细胞与光感受

器 ^、双极细胞横向互连 ^，对光感受器输出的信号进行亮度调节，同时也负责增强视觉对象边缘凸显轮廓．神经节细胞负责接受双极细胞的视觉信号输入 ^，并以时空脉冲信号 ^（Ｓｐａｔｉａｌ  ＴｅｍｐｏｒａｌＳｐｉｋｅ ^）的形式做出响应，再经视觉纤维传递至视觉皮层

^［^１^１^］

．此外，视网膜细胞有多条并行通路传递和处理视觉信号，有极大的带宽传输与速度优势 ^，其中Ｍａｇｎｏｃｅｌｌｕｌａｒ和Ｐａｒｖｏｃｅｌｌｕｌａｒ通路是最主要的两条信号通路

^［^３^５^］

^，分别对场景的时域变化敏感和空间结构敏感．

图２　视觉通路模型

图３　灵长类生物视网膜横截面示意图

^［^３^４^］

灵长类生物视网膜具有以下优势

^［^１^１^］

^：

（１ ^）光感受器的局部自适应增益控制．以记录光强变化替代绝对光强来消除冗余，对光强感知有高动态范围 ^（ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ ^，ＨＤＲ ^） ^；

（２ ^）视杆细胞的空间带通滤波器．滤除低频信息的视觉信息冗余和高频信息的噪声；

（３ ^）ＯＮ和ＯＦＦ类型．神经节细胞及视网膜输出均为ＯＮ和ＯＦＦ脉冲信号编码 ^，降低了单通道的脉冲发放频率；

（４ ^）感光功能区．视网膜中央凹具有高的空间分辨率 ^，可捕捉精细纹理 ^；其外周的区域具有高的时间分辨率 ^，捕获快速运动信息．

此外，依据Ｎｙｑｕｉｓｔ采样定理传统相机需要传输超过２０Ｇｂ ^／ｓ的数据才能匹配人类视觉的动态范围与空间分辨率 ^，而生物视觉以二进制脉冲信息表

１６２６期李家宁等

：

神经形态视觉传感器的研究进展及应用综述１

《计

算

机

学

报

》

(5)

示与编码 ^，视觉神经仅需传输２０Ｍｂ ^／ｓ数据至视觉皮层 ^，数据量少将近１０００倍．因此 ^，视网膜通过神经节细胞将光强信息转换为时空脉冲阵列信号 ^，是一种高效的视觉信息表示与编码的方法

^［^１^１^，^３^６^］

^，为神经形态视觉传感器提供了理论支撑与功能层次的启发．

生物视觉系统的信息获取 ^、加工和处理主要发生在视网膜 ^、外膝体与视皮层等处

^［^９^］

^，如图２所示．

视网膜是接收视觉信息的第一站 ^；外膝体是将视网膜视觉信号传输到初级视皮层的信息中转站 ^；视皮层是视觉中央处理器 ^，在学习记忆 ^、思维语言以及知觉意识等高级视觉功能方面发挥至关重要的作用

^［^３^７^］

．视皮层信息处理的整个过程由两条并行通路完成 ^：Ｖ１ ^、Ｖ２和Ｖ４等组成腹侧通路主要处理物体形状 ^、颜色等信息识别

^［^３^８^］

^，也称ｗｈａｔ通路 ^；Ｖ１ ^、Ｖ２和ＭＴ等组成的背侧通路主要处理空间位置 ^、运动等信息

^［^３^９^］

^，也称ｗｈｅｒｅ通路．因此 ^，借鉴神经计算模型探索人类视觉系统信息处理与分析机制 ^，为计算机视觉与人工智能技术提供借鉴思路与指导方向 ^，进一步启发类脑视觉理论模型与计算方法 ^，从而更好地挖掘视觉特征信息 ^，以逼近生物视觉的高效自适应地处理动静信息 ^、极强的小样本泛化能力与全面视觉分析能力．

２  ２　 ^{差分型视觉采样及} 犃犈犚 ^传输协议

神经元之间的复杂连接 ^，脉冲信号在神经元之间的传递是异步的 ^，那么神经形态工程系统如何模拟这一特性呢？正是Ｍａｈｏｗａｌｄ团队

^［^１^７^］

提出新型的通信协议ＡＥＲ方式 ^，如图４所示 ^，用于脉冲信号多路异步传输 ^，也解决了大规模集成电路的三维稠密连线难题 ^，即 ^“ 连线问题 ^” ^（ＷｉｒｉｎｇＰｒｏｂｌｅｍ ^）．

图４　ＡＥＲ方式示意图

ＡＥＲ方式将传感器上每个像素视为独立的 ^，脉冲信号以事件 ^（Ｅｖｅｎｔ ^）的形式传输 ^，并按事件产生时间先后顺序异步传出 ^，而不是类似传统相机那样以固定频率的图像传出 ^，解码电路依据地址及时间解析事件属性．ＡＥＲ方式用于神经形态视觉传感器的主要特点

^［^４^０^］

在于：

（１ ^）硅视网膜像素输出事件模拟视网膜的神经元发放脉冲信号的功能；

（２ ^）硅视网膜像素之间光强感知、脉冲产生及

传输均异步 ^；

（３ ^）硅视网膜输出异步事件稀疏时 ^，事件表示及传输更高效．

差分型视觉采样是神经形态视觉传感器感知模型的主流，如ＤＶＳ

^［^１^９^］

^、ＡＴＩＳ

^［^２^０^］

^、ＤＡＶＩＳ

^［^２^１^^２^２^］

^、ＣｅｌｅＸ

^［^２^３^］

^，其对灵长类视网膜外周中光感受器 ^、双极

细胞、神经节细胞三层结构的抽象，从器件功能层次上逼近或超越视网膜外周的高时间分辨率感知的能力 ^，如图５ ^（ａ ^）．为了提高光强感知动态范围 ^，ＤＶＳ系列视觉传感器多采用对数差分模型，即光电流与电压采用对数映射关系 ^，如图５ ^（ｂ ^）．随着光强的相对变化引起电压变化超过设定阈值 θ ^，像素产生一个脉冲信号 ^，如图５ ^（ｃ ^）所示 ^，其原理如下 ^：

Δ 犔  ｌｎ犔 ^（狌 ^，狋 ^）－ｌｎ犔 ^（狌 ^，狋－ Δ 狋 ^）＝狆 θ ^（１ ^）

图５　差分型视觉采样

^［^１^１^］

差分型视觉传感器采用ＡＥＲ方式 ^，每个脉冲信号采用事件形式表示，包括像素位置狌＝ ^（狓 ^，狔 ^） ^、发放时间狋和事件极性狆 ^，即一个四元组表示 ^（狓 ^，狔 ^，狋 ^，狆 ^）．前三项唯一确定时空域的位置，最后一项极性

狆＝ ^｛－１ ^，１ ^｝分别表示光强的减弱ＯＦＦ和光强增强ＯＮ．差分型神经形态视觉传感器与传统相机相比，

其优势在于 ^：

（１ ^）输出异步稀疏脉冲也不存在 ^“ 帧 ^” 的概念 ^，不再受限于快门时间和帧率、感知光强的变化，可消除静态不变的视觉冗余 ^；

（２ ^）采样具有高时间分辨率，适用于高速运动视觉任务分析 ^；

（３ ^）光电流与电压的对数映射关系，增强了高低光照的感知能力进而提升动态范围．

２  ３　 ^{积分型视觉采样}

积分型视觉采样在功能上是对灵长类视网膜中央凹区域的光感受器 ^、双极细胞 ^、神经节细胞三层结构的抽象，如章鱼视网膜

^［^１^８^］

、Ｖｉｄａｒ

^［^２^４^］

．积分型视觉传感器模拟了神经元积分发放模型 ^，将像素光强编码为频率或脉冲间隔

^［^１^８^，^２^４^，^３^８^^４^５^］

^，具有对视觉场景的精细纹理高速重构的能力

^［^４^４^］

，如图６所示．光感受

２６２ １计　　算　　机　　学　　报２０２１年

《计

算

机

学

报

》

(6)

器将光信号转化为电信号 ^，积分器在光照条件犐 ^（狋 ^）条件下进行累计到达累计强度犃 ^（狋 ^） ^，当该强度值超过脉冲发放阈值 φ时 ^，则像素点输出一个脉冲信号 ^，同时积分器复位清空电荷

^［^４^５^］

，其原理如下：

犃 ^（狋 ^）＝ ∫

^狋^０

^犐 ^（ ^狋 ^） ^ｄ ^狋 ^ ^φ ^（ ^２ ^）

图６　积分型视觉采样

积分型视觉传感器的像素间彼此独立，章鱼视网膜

^［^１^８^］

采用ＡＥＲ方式将脉冲信号进行输出 ^，尤其在光强充足时积分型视觉传感器脉冲发放稠密，事件表示容易出现同一位置及相邻位置多次请求脉冲输出 ^，会出现数据传输的巨大压力 ^，不得不设计总线仲裁机制，为脉冲输出确定优先级，甚至会因带宽限制丢失脉冲信号．Ｖｉｄａｒ

^［^２^４^］

探索高速轮询的方式以脉冲矩阵的形式传输每个采样时刻的脉冲发放，此方式不需要输出脉冲的坐标与时间戳 ^，只需将像素是否发放标记为 ^“ １ ^” 和 ^“ ０ ^” ．将脉冲平面轮询的方式代替ＡＥＲ方式可以节约传输带宽．

３　神经形态视觉传感器类型

神经形态视觉传感器借鉴生物视觉系统的神经网络结构和视觉信息采样加工处理机理 ^，以器件功能层次模拟 ^、扩展或超越生物视觉感知系统．近年来，一大批代表性的神经形态视觉传感器涌现，是人类在探索仿生视觉技术的雏形 ^，有模拟视网膜外周感知运动功能的差分型视觉采样模型，如ＤＶＳ

^［^１^９^］

^、ＡＴＩＳ

^［^２^０^］

^、ＤＡＶＩＳ

^［^２^１^^２^２^］

^、ＣｅｌｅＸ

^［^２^３^］

^；也有模拟视网膜中央凹感知精细纹理功能的积分型视觉采样模型，如Ｖｉｄａｒ

^［^２^４^］

．

３  １　犇犞犛

ＤＶＳ

^［^１^９^］

对灵长类视网膜外周中的光感受器、双极细胞 ^、神经节细胞三层结构的功能抽象 ^，由光电转换电路、动态检测电路和比较器输出电路组成，如图５所示．光电转换电路采用对数光强感知模型 ^，提高了光强感知范围 ^，也更加接近生物视网膜的高动态适应的能力．动态检测电路采用差分型采样模型，

即对光强变化做出响应 ^，无光强变化则不响应．比较器依据光强的增加或减弱输出ＯＮ或ＯＦＦ事件．

传统相机以固定帧率的采样方式 ^，在高速场景易产生运动模糊．而ＤＶＳ采用ＡＥＲ异步传输方式的差分型视觉采样模型 ^，以异步时空脉冲信号表示场景光强变化 ^，对场景的变化十分敏感且高时间分辨率，尤其适用于高速运动的视觉任务分析，如图７所示．ＤＶＳ相比传统相机具有以下优势 ^：高时间分辨率 ^（１０

^６

Ｈｚ ^） ^、高动态范围 ^（１２０ｄＢ ^） ^、低功耗 ^、数据冗余少和时延低．

图７　ＤＶＳ时空脉冲信号示意图

Ｄｅｌｂｒｕｃｋ团队和ＩｎｉＶａｔｉｏｎ公司开发的第一款商用的ＤＶＳ１２８

^［^１^９^］

^，其空间分辨率为１２８ × １２８ ^，时域采样频率为１０

^６

Ｈｚ ^，动态范围为１２０ｄＢ ^，在高速运动对象识别、检测与跟踪广泛应用．此外，ＤＶＳ及其衍生的ＡＴＩＳ

^［^２^０^］

^、ＤＡＶＩＳ

^［^２^１^^２^２^］

和ＣｅｌｅＸ

^［^２^３^］

等神经形态视觉传感器的研究及产品也备受关注，并逐渐被应用于自动驾驶、无人机视觉导航和工业检测等涉及高速运动视觉任务．例如，Ｓａｍｓｕｎｇ公司开发了的空间分辨率为６４０ × ４８０的ＤＶＳ  Ｇ２

^［^４^６^］

^，且像素尺寸为９ μ ｍ × ９ μ ｍ．ＩＢＭ公司采用了ＤＶＳ１２８作为类脑芯片ＴｒｕｅＮｏｒｔｈ

^［^４^７^］

的视觉感知系统来进行快速手势识别

^［^４^８^］

．

ＤＶＳ利用差分视觉采样模型可以滤过静止不变或变化较弱的视觉信息以降低数据冗余，同时具有感知高速运动的优势．然而，这种优势带来了视觉重构的劣势，即ＯＮ或ＯＦＦ事件不携带绝对光强信号，且光强变化较弱时无脉冲信号发放，从而无法重构精细化纹理图像．为了解决ＤＶＳ面向视觉纹理可视化，便衍生出ＡＴＩＳ

^［^２^０^］

^、ＤＡＶＩＳ

^［^２^１^^２^２^］

和ＣｅｌｅＸ

^［^２^３^］

等神经形态视觉传感器．

３  ２　犃犜犐犛

ＡＴＩＳ

^［^２^０^］

在ＤＶＳ的基础上巧妙地引入了基于

３６２６期李家宁等

：

神经形态视觉传感器的研究进展及应用综述１

《计

算

机

学

报

》

(7)

时间间隔的光强测量电路来实现图像重构 ^，其思路是每次ＤＶＳ电路产生事件时 ^，触发光强测量电路进行工作 ^；光强测量设定了两个不同的参考电压 ^，通过对光强进行积分 ^，并记录达到两个电压发放的事件 ^；由于不同光强的条件下 ^，电压变化相同量所需的时间不同 ^，通过建立光强与时间的映射可以推断出光强大小 ^，从而输出光强变化像素处的光强信息 ^，也称为脉冲宽度调制 ^（ＰｕｌｓｅＷｉｄｔｈＭｏｄｕｌａｔｉｏｎ ^，ＰＷＭ ^）

^［^４^９^］

．此外 ^，为了解决静态区域没有ＤＶＳ脉冲信号发放依然无法获得静态区域的视觉纹理信息 ^，ＡＴＩＳ引入了一套全局发放机制 ^，即所有像素可被强制发放一次脉冲 ^，这样在ＡＴＩＳ初始工作时可获得一整幅图像作为背景 ^，然后运动区域不断产生脉冲进而不断地触发光强测量电路获得运动区域的灰度来更新背景．

Ｐｏｓｃｈ团队和Ｐｒｏｐｈｅｓｅｅ公司研制的商用ＡＴＩＳ

^［^４^９^］

^，其空间分辨率为３０４ × ２４０ ^，时域采样频率为１０

^６

Ｈｚ ^，动态范围为１４３ｄＢ ^，在涉及高速视觉任务存在着广泛应用．另外，Ｐｒｏｐｈｅｓｓｅｅ公司也受到了Ｉｎｔｅｌ公司１５００万美金的项目资助，将ＡＴＩＳ应用于自动驾驶汽车的视觉处理系统．随后，Ｂｅｎｏｓｍａｎ

^［^５^０^］

团队进一步验证了在ＲＧＢ三个通道的分别用ＡＴＩＳ采样脉冲信号再融合彩色的技术方案．

ＡＴＩＳ在面向高速运动时 ^，依然存在事件与灰度重构更新不匹配的情况 ^，其原因有以下两点 ^：脉冲发放后触发光强测量电路 ^，其测量结果是脉冲发放后一段时间的平均光强 ^，造成运动不匹配 ^；场景稍微变化未引起脉冲发放 ^，从而像素未及时更新 ^，随着时间推移会造成纹理差异明显．

３  ３　犇犃犞犐犛

ＤＡＶＩＳ

^［^２^１^^２^２^］

是一种最直观且有效的融合技术思路 ^，将ＤＶＳ和传统相机二者结合 ^，在ＤＶＳ基础上额外引入有源像素传感器 ^（ＡｃｔｉｖｅＰｉｘｅｌＳｅｎｓｏｒ ^，ＡＰＳ ^） ^，用于视觉场景纹理成像．

Ｄｅｌｂｒｕｃｋ团队和ＩｎｉＶａｔｉｏｎ公司在空间分辨率为２４０ × １８０的ＤＡＶＩＳ２４０

^［^２^１^］

的基础上进一步推出了彩色ＤＡＶＩＳ３４６

^［^２^２^］

^，其空间分辨率达到３４６ × ２６０ ^，时域采样频率为１０

^６

Ｈｚ ^，动态范围为１２０ｄＢ ^，并将ＤＶＳ所产生的事件坐标的空间位置（狓 ^，狔 ^）携带ＲＧＢ彩色信息 ^，但是ＡＰＳ电路采样速度远不如ＤＶＳ电路，ＡＰＳ模式的帧率为５０ＦＰＳ ^，动态范围为５６．７ｄＢ ^，两套采样电路产生的图像无法做到精准同步，尤其在高速运动场景，且ＡＰＳ图像在高速运动场景存在运动模糊．

当前，ＤＡＶＩＳ是神经形态视觉传感器商用产品、工

业应用及学术研究的主流 ^，源于ＤＶＳ系列性传感器

（ＤＶＳ１２８ ^、ＤＡＶＩＳ２４０ ^、ＤＡＶＩＳ３４６和彩色ＤＡＶＩＳ３４６ ^）的学术研究推广 ^，相关视觉任务数据集的公开 ^、代码及软件的开源等营造的良好生态环境．因此，在本文介绍脉冲信号处理与特征表达、视觉应用等均以差分型视觉采样模型的ＤＶＳ系列传感器为主．３  ４　犆犲犾犲犡

ＣｅｌｅＸ

^［^２^３^］

在考虑到ＡＴＩＳ的光强测量电路存在滞后，在ＤＶＳ电路输出脉冲事件的地址 ^（狓 ^，狔 ^）和发放时间狋的同时 ^，也及时地将该像素的光强信息犐输出 ^，即ＣｅｌｅＸ输出事件可用四元组 ^（狓 ^，狔 ^，狋 ^，犐 ^）表示．ＣｅｌｅＸ的设计思路主要包括三个部分

^［^５^１^］

^： ^（１ ^）引入缓冲和读出开关电路直接将对数光感受器的电路转换为光强信息输出 ^； ^（２ ^）采用全局控制信号输出一整帧图像 ^，便于初始工作时可获得整幅图像作为背景和及时全局更新；（３ ^）专门设计列模拟读出电路输出缓冲器的光强值．ＣｅｌｅＸ巧妙地将脉冲事件的位宽设计为９ｂｉｔ ^，既保证了脉冲本身的语义信息 ^，又携带了一定量的光强信息．

陈守顺教授团队和ＣｅｌｅＰｉｘｅｌ公司最新发布的第五代ＣｅｌｅＸ  Ｖ

^［^５^２^］

^，其空间分辨率达为１２８０ × ８００基本达到了传统相机的水平 ^，同时时域最大输出采样频率为１６０ＭＨｚ ^，动态范围为１２０ｄＢ ^，该产品的高空间分辨率、高时域分辨率及高动态范围的

“ 三高 ” 优势引起了当前神经形态工程领域的关注．此外 ^，ＣｅｌｅＰｉｘｅｌ公司也受到了Ｂａｉｄｕ公司４０００万的项目资助 ^，采用ＣｅｌｅＸ  Ｖ用于汽车自动驾驶辅助系统，利用其优势对驾驶异常行为进行实时监测．

ＣｅｌｅＸ的脉冲事件采用９ｂｉｔ信息输出，在剧烈运动场景或高速运动场景时，面临数据量大而无法及时传输 ^、甚至丢弃部分脉冲数据以致采样信号无法保真 ^、同时对轻微光照也无法做出响应及时更新等缺点．但是，ＣｅｌｅＸ的 ^“ 三高 ” 性能及其光流信息的输出等优势，在自动驾驶、无人机视觉导航、工业检测和视频监控等涉及高速运动视觉任务有着巨大的应用潜力．

３  ５　犞犻犱犪狉

Ｖｉｄａｒ

^［^２^４^］

对灵长类视网膜中央凹的光感受器、双极细胞、神经节细胞三层结构的功能抽象，采用了积分型视觉采样模型，将像素光强编码为频率或脉冲间隔

^［^１^８^，^２^４^，^３^８^^４^５^］

，具有对视觉场景的精细纹理高速重构的能力

^［^４^４^］

．Ｖｉｄａｒ由光电转换电路 ^、积分器电路和比较器输出电路组成 ^，如图６ ^（ａ ^）所示．光感受器将光信号转换为电信号，积分器将电信号进行积分

４６２ １计　　算　　机　　学　　报２０２１年

《计

算

机

学

报

》

(8)

累计 ^，比较器将该累计值与脉冲发放阈值比较判断输出脉冲信号，同时积分器被复位，也称为脉冲频率调制 ^（ＰｕｌｓｅＦｒｅｑｕｅｎｃｙＭｏｄｕｌａｔｉｏｎ ^，ＰＦＭ ^）

^［^１^８^］

．Ｖｉｄａｒ像素间的脉冲信号输出彼此独立，单个像素的脉冲信号按照时间先后顺序排成 ^“ 脉冲序列 ^” ^，所有像素按照空间位置相互关系构成 ^“ 脉冲阵列 ^” ^，脉冲阵列的每个时刻的截面称为 “ 脉冲平面 ” ，脉冲信号以 “ １ ^” 表示 ^，没有脉冲信号以 ^“ ０ ^” 表示 ^，如图８所示．

图８　Ｖｉｄａｒ时空脉冲信号示意图

黄铁军教授团队研制的第一款Ｖｉｄａｒ

^［^２^４^］

^，其空间分辨率为４００ × ２５０ ^，时域采样频率为４ × １０

^４

Ｈｚ ^，每秒输出４７６．３Ｍ的数据量 ^，并可依据脉冲发放的

时空特性来对静态场景或高速运动场景进行精细化纹理重构，如采用滑动窗口累计法或脉冲间隔映射的方法

^［^４^４^］

．此外 ^，Ｖｉｄａｒ可自由设定时长的脉冲信号进行影像重构，在成像的动态的动态范围上具有灵活性．该积分型视觉采样芯片能对高速运动进行精细化纹理重构 ^，可用于高速运动场景的物体检测 ^、跟踪和识别，在自动驾驶、无人机视觉导航、机器视觉等涉及高速视觉任务领域的应用潜力巨大．

Ｖｉｄａｒ采用积分型视觉采样模型，将光强信号进行频率或脉冲间隔编码 ^，本质是将光强信息变换为频率编码，相比面向运动感知的ＤＶＳ系列传感器 ^，更加友好地面向视觉精细重构的优势．然而 ^，Ｖｉｄａｒ无论在静态场景还是运动区域都会产生脉

冲，采样上存在巨大的数据冗余，以及如何控制脉冲发放阈值以便自适应感知不同光照场景和控制数据量是积分视觉采样需要亟待解决的问题．

３  ６　仿视网膜视觉传感器性能对比

近期，大量的神经形态视觉传感器涌现并商业化应用，有模拟视网膜外周感知运动功能的差分型视觉采样模型 ^，如ＤＶＳ１２８

^［^１^９^］

^、ＡＴＩＳ

^［^２^０^］

^、ＤＡＶＩＳ３４６

^［^２^１^^２^２^］

^、ＤＶＳ  Ｇ２

^［^４^６^］

^、ＣｅｌｅＸ  Ｖ

^［^２^３^］

^；也有模拟视网膜中央凹功

能的积分型视觉采样模型 ^，如Ｖｉｄａｒ

^［^２^４^］

^，具体的各性能参数的对比如表１所示．

表

１　

神经形态视觉传感器性能参数对比传感器类型时间空间分辨率最大

采样率／Ｈｚ动态

范围／ｄＢ功耗／

ｍＷ芯片

大小／ｍｍ^２像元

尺寸／μｍ^２填充

因子／％延迟^／μｓ电源电压／Ｖ纹理ＤＶＳ１２８^［^１^９^］２００８１２８×１２８１×１０^６１２０２３６．３×６４０×４０８．１１２３．３图像否ＡＴＩＳ^［^２^０^］２０１１３０４×２４０１×１０^６１４３５０～１７５９．９×８．２３０×３０２０３１．８＆３．３灰度ＤＡＶＩＳ３４６^［^２^２^］２０１７３４６×２６０１．２×１０^７１２０１０～１７０８×６１８．５×１８．５２２２０１．８＆３．３彩色ＤＶＳＧ２^［^４^３^］２０１７６４０×４８０３×１０^９９０２７～５０８×５．８９×９１００６５～４１０１．２＆２．８否ＣｅｌｅＸＶ^［^２^３^］２０１８１２８０×８００１．６×１０^８１２０３９０～４７０１４．３×１１．６９．８×９．８９１１．２＆３．３灰度Ｖｉｄａｒ^［^２^４^］２０１８４００×２５０４×１０^４－３７０１０×６２０×２０１３．７５２５１．５＆３．３灰度

神经形态视觉传感器具有两大优势 ^： ^（１ ^）高速视觉采样的能力 ^，在高速运动视觉任务有着巨大的应用潜力；（２ ^）低功耗，也是Ｍｅａｄ所提出的神经形态工程

^［^１^６^］

的本质优势和未来可能的终极形态．然而 ^，如何对神经形态视觉传感器输出的时空脉冲信号进行处理、特征表达及高速视觉任务分析是当前神经形态视觉的研究热点 ^；同时如何采样类脑芯片对脉冲信号进行高速处理 ^，应用于涉及高速视觉任务是神经形态工程产业界的关注重点，如ＩＢＭ公司的ＴｒｕｅＮｏｒｔｈ

^［^４^７^］

芯片、Ｉｎｔｅｌ公司的Ｌｏｉｈｉ

^［^５^３^］

芯片和曼切斯特大学的ＳｐｉＮＮａｋｅｒ

^［^５^４^］

芯片等．

当前 ^，神经形态视觉传感器的空间分辨率从ＩｎｉＶａｔｉｏｎ公司开发的第一款商用ＤＶＳ１２８

^［^１^９^］

的

１２８ × １２８发展到三星公司ＤＶＳ  Ｇ２

^［^４^６^］

的６４０ × ４８０ ^，ＣｅｌｅＰｉｘｅｌ公司ＣｅｌｅＸ  Ｖ

^［^５^２^］

的１２８０ × ８００ ^，但相比传统高清与超高清相机在空间分辨率与成像质量上有较大的差距，源于：（１ ^）高空间分辨率与高时域分辨率将给数据传输与存储带来巨大挑战 ^； ^（２ ^）动态视觉传感器设计的初衷是感知高速运动而非面向高质量视觉观看．总之，神经形态视觉传感器目前尚处于探索的初期阶段 ^，达到人类视觉系统在复杂交互环境下的感知能力还需要大量探索研究．

神经形态视觉传感器的研究进展及应用综述

第４ ４ 卷 第６期

２ ０ ２ １ 年６月 计 算 机 学 报

Ｃ Ｈ Ｉ Ｎ Ｅ Ｓ Ｅ Ｊ Ｏ Ｕ Ｒ Ｎ Ａ ＬＯ Ｆ Ｃ Ｏ Ｍ Ｐ Ｕ Ｔ Ｅ Ｒ Ｓ Ｖ ｏ ｌ ． ４ Ｊ ４Ｎ ｕ ｎ ｅ ２ ｏ ０ ． ２ ６ １

神经形态视觉传感器的研究进展及应用综述

李家宁

田永鸿

神经形态视觉传感器具有高时域分辨率

高动态范围

低数据冗余和低功耗等优势

近年来在自动驾驶

无人机视觉导航

工业检测及视觉监控等领域

尤其在涉及高速运动和极端光照等条件下

产生了巨大的应用前 景． 神经形态视觉是一个包含硬件

软件

生物神经模型等的视觉感知系统

终极目标是模拟生物视觉感知结构与 机 理

以硅视网膜达到

扩展或超越人类智能． 作为神经形态工程的重要分支

神经形态视觉是计算神经科学与计 算 机视觉领域的交叉学科与研究热点． 本文从生物视觉采样模型

神经形态视觉传感器的采样模型及类型

视觉信 号处理与特征表达

视觉任务应用等视角进行了系统性地回顾与综述

展望了该领域未来研究的技术挑战与可能 发展方向

同时探讨了其对未来机器视觉和人工智能领域的潜在影响．

类脑智能

人工智能

硅视网膜

仿生视觉

神经形态工程

Ｔ Ｐ １ ８ 犇 犗 犐

１ ０ ． １ １ ８ ９ ７

Ｓ Ｐ ． Ｊ ． １ ０ １ ６ ． ２ ０ ２ １ ． ０ １ ２ ５ ８

犚 犲 犮 犲 狀 狋 犃 犱 狏 犪 狀 犮 犲 狊 犻 狀 犖 犲 狌 狉 狅 犿 狅 狉 狆 犺 犻 犮 犞 犻 狊 犻 狅 狀 犛 犲 狀 狊 狅 狉 狊 ： 犃 犛 狌 狉 狏 犲 狔

Ｌ Ｉ Ｊ ｉ ａ  Ｎ ｉ ｎ ｇ

Ｔ Ｉ Ａ ＮＹ ｏ ｎ ｇ  Ｈ ｏ ｎ ｇ

《 计

算

机

学

报

》

１ 引 言

视觉是智慧生物和智能体的基本功能 ， 负责理 解 与 感 知 外 部 世 界 ． 人 类感知系统有超过８ ０ ％的信 息 量 来 自 视 觉 系 统 ， 远 远 超 过 听 觉 系 统 、 触 觉 系 统 以 及其他感知系统之和

． 如何设计强大的视觉感知 系 统 ， 以 应 用 于 计 算 机 视 觉 技 术 和 人 工 智 能 技 术 ， 一 直 是 科 学 界 和 工 业 界 的 研 究 热 点

．

视频即静止图像序列 ， 是随着电影电视技术发 展 起 来 的 一 个 人造概念 ， 利用了人类视觉系统的视 觉 暂 留现象

， 将两帧图像刷新的时间间隔小于 ５ ０ ｍ ｓ ， 会 产 生 连 续 的 视 觉 感 受 ． 近年来 ， 传统视频在 视觉观赏角度取得了重大进展

， 但存在数据采样 冗 余 大 、 感 光 动 态 范 围 小 和 时 域 采 集 低 分 辨 率 ， 在 高 速 运 动 场 景 易 产 生 运 动 模 糊 等 缺 点

． 此 外 ， 计算机 视 觉 一 直 朝 着 “ 视 频 摄像头＋计算机＋算法＝机器 视 觉 ” 的 主 流 方 向

， 却 很 少 人 质 疑 用 图 像 序列 （ 视 频 ） 表 达 视 觉 信 息 的 合 理 性 ， 更 少 人 质 疑 是 否 凭 借 该

计 算 机 视 觉 算 法 就 能 实 现 真 正 机 器 视 觉 ．

人 类 视 觉 系 统 具 有 低 冗 余 、 低 功 耗 、 高 动 态 及 鲁 棒 性 强 等 优 势 ， 可以高效地自适应处理动态与静态 信 息 ， 且 具 有 极 强的小样本泛化能力和全面的复杂 场 景 感 知 能 力

． 探 索 人 类 视 觉 系 统 的 奥 秘 ， 并借鉴 人 类 视 觉 系 统 的 神 经 网 络 结 构 和 视 觉 信 息 采 样 加 工 处理机理

， 建立起一套新的视觉信息感知与处理 理 论 、 技术标准 、 芯片和应用工程系统 ， 从而更好 模 拟 、 扩 展 或 超 越 人 类 视 觉 感 知 系 统 的 能 力 ． 这 是 神 经 科 学与信息科学的交叉学科 ， 称之为神经形态 视 觉

．

来以期达到真正的机器 视 觉 ．

神经形态视觉传感器的研制是建立在神经科 学 、 生 理 学 等 领 域对生物视网膜结构与功能机理的 研 究 基础上的 ． １ ９ ４ ３年Ｍ ｃ Ｃ ｕ ｌ ｌ ｏ ｃ ｈ和Ｐ ｉ ｔ ｔ ｓ

提出

９ ５ ２ ６期 李家宁等

神经形态视觉传感器的研究进展及应用综述 １

《 计

算

机

学

报

》

一 种 具 有 计 算 能 力 的神经元模型 ． １ ９ ５ ２年Ｈ ｏ ｄ ｇ ｋ ｉ ｎ 和Ｈ ｕ ｘ ｌ ｅ ｙ

， 利用大规模集成 电 路来模拟生物神经系统 ． １ ９ ９ １年Ｍ ａ ｈ ｏ ｗ ａ ｌ ｄ和 Ｍ ｅ ａ ｄ

设 计 了 一 种Ａ Ｅ Ｒ方式的

积 分 发 放 的 脉 冲 模 型 ， 将 像 素 光 强 编 码 为 频 率 或 脉 冲 间 隔 ， 称为章鱼视网膜 （ Ｏ ｃ ｔ ｏ ｐ ｕ ｓＲ ｅ ｔ ｉ ｎ ａ ） ． ２ ０ ０ ５年 Ｄ ｅ ｌ ｂ ｒ ｕ ｃ ｋ 团 队

研制出动态视觉传感器 （ Ｄ ｙ ｎ ａ ｍ ｉ ｃ Ｖ ｉ ｓ ｉ ｏ ｎＳ ｅ ｎ ｓ ｏ ｒ ， Ｄ Ｖ Ｓ ） ， 以时空异步稀疏的事件

（ Ｅ ｖ ｅ ｎ ｔ ） 表 示 像 素 光 强 变 化 ， 其 商 业 化 具 有 里 程 牌 的 意 义 ． 然 而 ， Ｄ Ｖ Ｓ无法捕捉自然场景的精细纹理图 像 ． ２ ０ ０ ８ 年Ｐ ｏ ｓ ｈ 等 人

提出了一种基于异步视觉

的图像传感器 （ Ａ ｓ ｙ ｎ ｃ ｈ ｒ ｏ ｎ ｏ ｕ ｓＴ ｉ ｍ ｅ  ｂ ａ ｓ ｅ ｄ Ｉ ｍ ａ ｇ ｅ Ｓ ｅ ｎ ｓ ｏ ｒ ， Ａ Ｔ Ｉ Ｓ ） ， 引入了基于事件触发的光强测量

电路来重构变化处的像素灰度 ． ２ ０ １ ３年Ｄ ｅ ｌ ｂ ｒ ｕ ｃ ｋ 团 队

开 发 了动态有源像素视觉传感器 （ Ｄ ｙ ｎ ａ ｍ ｉ ｃ ａ ｎ ｄ Ａ ｃ ｔ ｉ ｖ ｅ ｐ ｉ ｘ ｅ ｌ Ｖ ｉ ｓ ｉ ｏ ｎ Ｓ ｅ ｎ ｓ ｏ ｒ ， Ｄ Ａ Ｖ Ｉ Ｓ ） ， 即 一种双

模 的 技 术 路 线 ， 增加额外独立的传统图像采样电路 弥 补Ｄ Ｖ Ｓ纹理成像的缺陷 ， 随后在２ ０ １ ７年又将其 扩 展为彩色Ｄ Ａ Ｖ Ｉ Ｓ ３ ４ ６

． ２ ０ １ ６年陈守顺教授团 队

第４４卷　第６期

２０２１年６月计　　算　　机　　学　　报

ＣＨＩＮＥＳＥＪＯＵＲＮＡＬＯＦＣＯＭＰＵＴＥＲＳ ^Ｖ ^ｏ ^ｌ ^． ^４ ^Ｊ ^４Ｎ ^ｕ ^ｎ ^ｅ ^２ ^ｏ ^０ ^． ^２ ^６ ^１　

　　 ^田永鸿

　神经形态视觉传感器具有高时域分辨率

产生了巨大的应用前景．神经形态视觉是一个包含硬件

终极目标是模拟生物视觉感知结构与机理

扩展或超越人类智能．作为神经形态工程的重要分支

神经形态视觉是计算神经科学与计算机视觉领域的交叉学科与研究热点．本文从生物视觉采样模型

视觉信号处理与特征表达

展望了该领域未来研究的技术挑战与可能发展方向

　类脑智能

ＴＰ１８　　　犇犗犐

１０．１１８９７

ＳＰ．Ｊ．１０１６．２０２１．０１２５８

犚犲犮犲狀狋犃犱狏犪狀犮犲狊犻狀犖犲狌狉狅犿狅狉狆犺犻犮犞犻狊犻狅狀犛犲狀狊狅狉狊 ^：犃犛狌狉狏犲狔

ＬＩＪｉａ  Ｎｉｎｇ

　ＴＩＡＮＹｏｎｇ  Ｈｏｎｇ

《计

１　 ^引　 ^言

视觉是智慧生物和智能体的基本功能 ^，负责理解与感知外部世界．人类感知系统有超过８０％的信息量来自视觉系统 ^，远远超过听觉系统 ^、触觉系统以及其他感知系统之和

．如何设计强大的视觉感知系统 ^，以应用于计算机视觉技术和人工智能技术 ^，一直是科学界和工业界的研究热点

视频即静止图像序列，是随着电影电视技术发展起来的一个人造概念，利用了人类视觉系统的视觉暂留现象

，将两帧图像刷新的时间间隔小于５０ｍｓ ^，会产生连续的视觉感受．近年来，传统视频在视觉观赏角度取得了重大进展

，但存在数据采样冗余大 ^、感光动态范围小和时域采集低分辨率 ^，在高速运动场景易产生运动模糊等缺点

．此外 ^，计算机视觉一直朝着 ^“ 视频摄像头＋计算机＋算法＝机器视觉 ^” 的主流方向

^，却很少人质疑用图像序列 ^（视频 ^）表达视觉信息的合理性 ^，更少人质疑是否凭借该

计算机视觉算法就能实现真正机器视觉．

人类视觉系统具有低冗余 ^、低功耗 ^、高动态及鲁棒性强等优势 ^，可以高效地自适应处理动态与静态信息 ^，且具有极强的小样本泛化能力和全面的复杂场景感知能力

．探索人类视觉系统的奥秘 ^，并借鉴人类视觉系统的神经网络结构和视觉信息采样加工处理机理

，建立起一套新的视觉信息感知与处理理论 ^、技术标准 ^、芯片和应用工程系统 ^，从而更好模拟 ^、扩展或超越人类视觉感知系统的能力．这是神经科学与信息科学的交叉学科 ^，称之为神经形态视觉

来以期达到真正的机器视觉．

神经形态视觉传感器的研制是建立在神经科学 ^、生理学等领域对生物视网膜结构与功能机理的研究基础上的．１９４３年ＭｃＣｕｌｌｏｃｈ和Ｐｉｔｔｓ

９５２６期李家宁等

神经形态视觉传感器的研究进展及应用综述１

《计

一种具有计算能力的神经元模型．１９５２年Ｈｏｄｇｋｉｎ和Ｈｕｘｌｅｙ

，利用大规模集成电路来模拟生物神经系统．１９９１年Ｍａｈｏｗａｌｄ和Ｍｅａｄ

设计了一种ＡＥＲ方式的

积分发放的脉冲模型 ^，将像素光强编码为频率或脉冲间隔 ^，称为章鱼视网膜 ^（ＯｃｔｏｐｕｓＲｅｔｉｎａ ^）．２００５年Ｄｅｌｂｒｕｃｋ团队

研制出动态视觉传感器 ^（ＤｙｎａｍｉｃＶｉｓｉｏｎＳｅｎｓｏｒ ^，ＤＶＳ ^） ^，以时空异步稀疏的事件

（Ｅｖｅｎｔ ^）表示像素光强变化 ^，其商业化具有里程牌的意义．然而，ＤＶＳ无法捕捉自然场景的精细纹理图像．２００８年Ｐｏｓｈ等人

的图像传感器 ^（ＡｓｙｎｃｈｒｏｎｏｕｓＴｉｍｅ  ｂａｓｅｄＩｍａｇｅＳｅｎｓｏｒ ^，ＡＴＩＳ ^） ^，引入了基于事件触发的光强测量

电路来重构变化处的像素灰度．２０１３年Ｄｅｌｂｒｕｃｋ团队

开发了动态有源像素视觉传感器（ＤｙｎａｍｉｃａｎｄＡｃｔｉｖｅｐｉｘｅｌＶｉｓｉｏｎＳｅｎｓｏｒ ^，ＤＡＶＩＳ ^） ^，即一种双

模的技术路线 ^，增加额外独立的传统图像采样电路弥补ＤＶＳ纹理成像的缺陷 ^，随后在２０１７年又将其扩展为彩色ＤＡＶＩＳ３４６

．２０１６年陈守顺教授团队

采用了增加事件的位宽 ^，让事件携带像素光强信息输出以恢复场景纹理．２０１８年黄铁军教授团队

神经形态视觉传感器

模拟生物视觉感知系统 ^，其具有高的时域分辨率 ^、数据冗余少 ^、低功耗和高动态范围的优势，在自动驾驶

、无人机视觉导航

、工业检测

等机器视觉领域，尤其在涉及高速运动和极端光照场景下有着巨大的市场潜力．此外 ^，神经形态视觉采样 ^、处理及应用是神经形态工程的重要分支

^，为计算神经科学的脑启发视觉模型提供了验证

^，也是探索人类智能的有效途径之一．目前神经形态视觉传感器的研究与应用尚处于初期阶段 ^，达到或超越人类视觉系统在复杂交互环境下的感知能力还需要大量的探索研究．

图１　神经形态视觉传感器的发展历程

本文从神经形态视觉的发展历程 ^、生物视觉神经采样模型到神经形态视觉传感器的采样机理及类型、神经视觉信号处理与特征表达及视觉应用的视

角进行系统性回顾与综述 ^，并展望了该领域未来研究的重大挑战与可能发展方向，同时探讨了其对未来机器视觉和人工智能领域的潜在影响．

０６２

１计　　算　　机　　学　　报２０２１年

《计

２　神经形态视觉模型与采样机理

近年来，各国 “ 脑计划 ”

目前 ^，神经形态视觉传感器已经取得了阶段性成果，有模拟视网膜外周感知运动功能的差分型视觉采样模型 ^，如ＤＶＳ

^、ＡＴＩＳ

^、ＤＡＶＩＳ

^、ＣｅｌｅＸ

^；也有模拟视网膜中央凹感知精细纹理功能的积分型视觉采样模型 ^，如章鱼视网膜

^、Ｖｉｄａｒ

．２  １　 ^{生物视网膜视觉模型}

．此外，视网膜细胞有多条并行通路传递和处理视觉信号，有极大的带宽传输与速度优势 ^，其中Ｍａｇｎｏｃｅｌｌｕｌａｒ和Ｐａｒｖｏｃｅｌｌｕｌａｒ通路是最主要的两条信号通路

^，分别对场景的时域变化敏感和空间结构敏感．

图２　视觉通路模型

图３　灵长类生物视网膜横截面示意图

灵长类生物视网膜具有以下优势

^：

（１ ^）光感受器的局部自适应增益控制．以记录光强变化替代绝对光强来消除冗余，对光强感知有高动态范围 ^（ＨｉｇｈＤｙｎａｍｉｃＲａｎｇｅ ^，ＨＤＲ ^） ^；

（２ ^）视杆细胞的空间带通滤波器．滤除低频信息的视觉信息冗余和高频信息的噪声；

（３ ^）ＯＮ和ＯＦＦ类型．神经节细胞及视网膜输出均为ＯＮ和ＯＦＦ脉冲信号编码 ^，降低了单通道的脉冲发放频率；

（４ ^）感光功能区．视网膜中央凹具有高的空间分辨率 ^，可捕捉精细纹理 ^；其外周的区域具有高的时间分辨率 ^，捕获快速运动信息．