米兰·(milan)中国官方网站-从「生态光学」取经，伯克利曹颖提出解决物体遮挡问题方案，登PNAS

---

「向传统视觉研究追求破局之法」成了最近几年来计较机视觉范畴的一年夜趋向。将传统视觉技能与深度进修要领联合有望构建更为鲁邦的下一代视觉模子。近日，闻名计较机视觉、神经科学学者曹颖于美国科学院院刊 PNAS 上发表研究论文，基在 J.J.Gibson 的「生态光学」及微分拓扑学提出了一种新的图象支解与方针跟踪框架，对于计较机视觉及生物视觉研究具备巨年夜的开导意义。

作者丨曹颖、Thomas Tsao

编译丨OGAI

编纂丨陈彩娴

咱们所糊口的世界由物体、地面及天空构成。视觉感知需要解决两个基本的问题：

（1）将视觉输入支解成离散的单位；

（2）思量可能因为物体变形、视角变化及动态遮挡致使的外不雅变化，跟踪支解出的单位。当下的计较机视觉支解及跟踪要领都需要举行进修。

那末，呆板可以无需进修就支解出对于象并举行跟踪吗？

本文作者指出，从情况外貌反射的光芒的数学布局孕育发生了恒常性外貌的天然表征，这类表征为支解及跟踪使命提供了一种解决方案。

本文描写了怎样按照持续的视觉输入天生这类外貌的表征。对于在一些合成的配景混乱的视频，只管物体呈现了严峻的外不雅变化，本文提出的要领可以于无需进修的环境下支解出物体，并连续跟踪它们。

灵长类动物的视觉体系可以将由视网膜吸收的图象流构成的视觉输入转换为对于不变、离散物体的感知旌旗灯号，而人们还没有充实研究清晰这类感知构造历程。从传统上说，这一历程被分化为两个自力的问题：（1）支解问题。将某张图象中的视觉像素分组为差别的物体（2）跟踪问题。辨认出差别图象中外不雅孕育发生变化的物体。

这两个问题都极具挑战性。如图 1 所示，支解使命长短常坚苦的。由于间隔较远、颜色差别、纹理纷歧的像素可能属在统一个物体，而相邻的、具备不异颜色/纹理的像素可能属在差别的物体（图 1A）。而对于在跟踪使命而言，因为物体变形、视角变化或者动态遮挡，统一物体的外不雅可能发生猛烈变化（图 1B）。

图 1：方针支解及跟踪使命面对的挑战，以和 Gibson 提出的解决方案框架。

传统的计较机视觉研究凡是经由过程基在图象强度、颜色及纹理的区域增加要领来解决支解问题，这些要领依靠在从单幅图象中提取的属性。

最近几年来的年夜大都图象支解事情的则采用了基在深度进修的要领。以往的事情重要经由过程几率化的动力学建模或者「基在检测的跟踪」来解决跟踪使命，近来的要领则联合了深度进修技能。

虽然初期用在支解及跟踪的进修要领是有监视的，需要年夜型有标签的练习集，但近来很多无监视要领涌现了出来。本文从计较的角度摸索了支解及连续跟踪方针能力的发源，注解于原则上可以于不进修、有监视或者无监视的环境下解决该问题。

作为对于基在图象的支解及跟踪要领的增补，基在几何的要领将视觉视为一个逆向的图形学问题。于该框架下，视觉体系经由过程将三维图形模子反转，按照图象推理出三维外貌。然而，因为于透视投射到视网膜上的历程中掉去了深度的维度，是以这类反向推理历程不彻底受约束，这象征着按照经验广泛进修是须要的。

本文证实了，假如输入某个场景的图象序列，此中不雅察者或者物体都于挪动，按照图象推理三维曲面的问题现实上是彻底受限的。本文经由过程数学阐发及计较试验证实，只要满意如下两个天然的假定：

（1）世界是由物体构成的，即具备局部恒定光照的光滑纹理外貌的离散调集

（2）动物从挪动的不雅察点不雅察世界，就能够于不需要进修的环境下，实现对于情况中每一个离散外貌的支解及连续跟踪。

本文的计较试验仅限在合成视频，但本文提出的要领也合用在高质量的图象，可以很轻易地扩大到天然前提下。

本文素质上从数学上实现了生理学家 J. J. Gibson 的「视觉感知的生态学要领」。Gibson 指出，理解人类视觉的要害是于 3D 情况及人眼之间插入一个「情况光学阵列场」。

如图 1C 所示，空间中一点的情况光学阵列由来自情况中被照亮的外貌经由过程该点的光芒的 2D 漫衍构成。情况光学阵列场是由一套被 Gibson 称为「生态光学」的定律支配的，这些定律可以注释视觉感知的年夜部门征象:「与其彻底从神经体系的角度注释感知，我但愿于必然水平上从光自己举行注释。生态光学就是一种注释的方式」。于 Gibson 提出视觉生态光学要领后的几十年里，这个主要的观点于计较机视觉界引起了愈来愈多的存眷。

本文用切确的数学术语表述了 Gibson 的理论并实现了计较。数学阐发注解，物体外貌信息可以经由过程两种拓扑布局（立体微分同胚映照的伪变换群及无限小增加界限集冗余地暗示为光学阵列场。从生态光学的角度来看，视觉是一个彻底受约束的适定性问题。情况光学阵列场的视觉情况中包罗将物体感知为离散的、长期的单位的完备信息。

1物体的外貌表征

与味觉及触觉差别，视觉使动物无需直接接触就能感触感染情况。于视觉中，远端刺激（情况中的物体）及近端刺激（视网膜上的光）之间的链接是情况外貌反射的光，于每一个不雅察点上形成为了 Gibson 提出的「光学阵列」。

图 2：方针支解与跟踪的拓扑解决方案

给定一个包罗多个物体的繁杂场景（图 2A），支解使命旨于辨认物体界限（boundary）。咱们可以从图象中所有边沿（edge）的图最先（图 2B）最先举行支解，物体的界限应该是这些边沿的子集。要害的难点于在，有些边沿是「纹理边沿」（如图 2A中贴纸的边沿），而有些边沿是真实的物体边沿（如图 2A 中苹果的边）。本文证实了场景的相近视角之间转换的信息可以用来区别这两种类型的边沿。

详细而言，假如一个空间区域包罗一个外貌的图块，那末从四周的不雅测点获取的两个图块相互将是微分同胚的。也就是说，人们可以经由过程像拉伸及弯曲橡胶片同样来配准它们（图 2C）。

本文展示了怎样经由过程迭代的优化方案，用一组局部 Gabor 感触感染野动态地举行仿射变换，消弭两个图块之间的变换（见图 5）来计较这类微分同胚映照。然而，假如一个图块包罗一个物体边沿，那末于边沿的一侧，图块将是微分胚性的，而于另外一侧则不是。由于从一个角度看，配景的一部门是可见的，而从另外一个角度看则是不成见的，这致使了微分同胚映照的「单侧掉效」（图 2D）。

于视觉生理物理学中，这类征象被称为「达芬奇立体视觉」。这提供了一种有用的要领来区别纹理边沿及真正的物体边沿：对于在每一个边沿元素，确定边沿每一侧的微分同胚映照。物体的界限仅于一侧陪同微分同胚映照。此外，咱们可以将其视为拥有边沿的一侧（图 2E）。经由过程于整个图象中反复这个历程，咱们可以将一个边沿图转换为一个真正有信息量的物体界限图（图 2F）。

一旦以这类外貌表征框架对于支解使命建模，计较机视觉中最坚苦的问题之一——连续方针跟踪，就变患上十分简朴了。

如图 2G 所示， 咱们可以经由过程查看这两个图图块是否经由过程一系列堆叠的外貌图块（如图 2H 及 2I）相连来判定两个离散的图块是否属在统一个稳定的外貌。是以，于外貌表征框架中，一个稳定的物体组成了外貌图块的等价类，此中等价瓜葛由外貌堆叠界说。

主要的是，解决支解的不异的微分同胚映照机制让咱们可以计较这些外貌堆叠，从而毗连（即跟踪）统一曲面随时间变化的差别视图。纵然一个外貌的外不雅履历了猛烈的变形（例如，一匹马的前视图及后视图），只要只要持续的视图之间存于局部微分同胚瓜葛，跟踪历程就能够很轻易地将视图毗连起来。

2从数学理论视角看外貌表征

于这里，本文从数学上表达生态光学的纪律。咱们注解，用在解决支解及稳定性问题的数据，以和更遍及地用在得到视觉表表征的数据，于动物的近端视觉情况中是充实且冗余的。

支解及稳定性问题可以被情势化界说为：确定从一系列不雅测点看到的两个图块是否属在统一个物理外貌。于单视图场景下，上述界说对于应在支解问题。于一段时间内持续的一系列视图的场景下，这对于应在跟踪问题。该问题依靠在一个要害属性——外貌持续性，这是一种拓扑性子，而不是基在图象的性子，使用从差别角度拍摄的成对于图象计较，而不是从单个图象入彀算而来。

本文引入两个拓扑空间：一个用在描写情况中的 3D 物体（远端刺激），另外一个用在描写从这些物体反射并会聚于情况中的每一个不雅测点的光芒（近端刺激）。本文研究了这两个空间之间的映照瓜葛，证实了前一个空间中物体的拓扑构造信息于后一个空间中正确地表征。换而言之，对于稳定的物体的视觉感知是可能的。

图 3：经由过程立体微分同胚映照对于局部及全局的外貌近邻性举行编码。

如图 3 所示，局部外貌持续性的性子是按照「从差别视角拍摄的一对于图象之间存于/不存于一种特定类型的映照来指定的，即「立体微分同胚映照」。这为拓扑图象支解提供了要害要点（见图 3 A-C）。假如两个曲面暗示都包罗由立体微分同胚映照相干的部门，则它们是统一物体的两个外貌暗示，这类全局拓扑特征提供了稳定性的要害要点（见图 3D）。

图 3 的详细注释以下：

（A）将点 P 投影到极坐标系中的射线空间 S(O) 中，r=(θ,φ)。

（B）远端欧氏空间的外貌临近性于近端视觉空间中被正确编码。假如一个点的邻域是情况中一个相邻局部外貌图块（例如，包罗字母「A」的外貌图块）的透视投影，则可以按照该邻域找到一个到相邻射线空间的立体微分同胚映照。订交的射线对于对于应在转换空间 S(O_1) × S(O_2) 中的立体光芒对于。

（C）远端欧氏空间中的外貌离散性于近端视觉空间中被正确地编码。咱们没法为包罗遮挡轮廓的点的射线空间中的邻域找到与相邻的射线空间的微分同胚映照。射线空间中 O_1 处的如许轮廓段用垂直的品红短线标志；它是一个于透视投影下折叠的物体的射线空间图象，组成了一个无限小的增加。这是由于，跟着不雅测点于所有者一侧举行任何变化，（例如，挪动到 O_2），轮廓城市增加。也就是说，界限双侧的图象（两条深绿色的垂直线）此刻是正则的，没有交点。

以下图所示，遮挡轮廓的所有者由增加部门另外一侧确定。因为射线空间中所有不于遮挡轮廓中的点都具备暗示局部外貌图块的邻域，遮挡轮廓提供了情况外貌的紧凑而完备的暗示。

图 3 附：遮挡轮廓是增加部门的界限。B 是 O 点视角的一个折叠点，但对于在 O 是正则点。

（D）远端欧氏空间的外貌长期性于近端视觉空间中被正确编码。于 O_1 及 O_4 处的射线空间中的图块 A 及 C 代表统一相邻情况外貌的某些部门，由于它们由堆叠的立体邻域链毗连，相称在 CC(Ω)。

此中，O_1 处的图块 A 及 O_2 处的图块 A 是 MS(Ω) 等价的。O_2 处的图块 B 及 O_3 处的图块 B,、O_3 处的图块 C 及O_4 处的图块 C 也是等价的。O_2 处的图块 A 及 O_2 处的图块 B 是堆叠的，O_3 处的图块 B 及 O_3 处的图块 C 也是堆叠的。

是以，于 O_1 处包罗图块 A 的 MS(Ω)-等价类与于 O_3 处包罗图象补钉 B 的 MS(Ω)-等价类相干联，后者可以进一步与于 O_4 处包罗图块 C 的 MS(Ω)-等价类相连。是以，O_1处的图块 A 与 O_4 处的图块 C 是 CC(Ω) 等价的。该方案使统一全局外貌的大相径庭的视图（例如，图1 B 中马的三个视图）可以被视为属在统一全局长期性外貌。

3外貌表征的算法实现及试验

正如几何光学描写了物体上的点是怎样经由过程光映照为图象平面上的点同样，生态光学从拓扑上描写了三维欧氏空间中物体外貌的主要布局（例如，持续性、空间分开、部门堆叠等性子）怎样经由过程光映照为视觉空间中光芒的拓扑布局：通例组件、透视映照、遮挡轮廓、增长/删除了遮挡轮廓周围的部门、MS(Ω) 等价类及 CC(Ω) 等价类。

生态光学理论描写了动物视觉情况的物理事实，该理论其实不依靠在视觉体系的存于。本文展示了一个于情况中挪动的视觉体系怎样经由过程计较使用视觉空间中光芒的拓扑布局来感知视觉情况的拓扑，即感知离散的、稳定的单位。

支解及稳定方针跟踪的计较要领

给定某个场景的视频帧的序列，此中不雅测者及物体都于挪动，咱们需要按照外貌持续性支解每一一帧，为差别帧中同一物体的外貌组件付与一样的标签。

图 4：拓扑学支解及跟踪的计较实现。

咱们起首利用尺度的边沿检测算法找到强度边沿，例如，Canny边沿检测器(图4A)。因为空间上分开开来的外貌之间的界限图象可能具备差别的强度，咱们假定于天然的不雅测前提下，遮挡的轮廓（occluding contour）重要与强度边沿相干。接着，咱们随机选择一组已经辨认边沿的邻域举行进一步的拓扑阐发。这些邻域是从持续的帧中成对于提取的（图 4B）。

接下来，要害的步调是，基在于分段边沿段每一侧别离履行的持续帧之间的微分同胚映照检测（图 4 B-D），将边沿段分类为纹理边沿或者遮挡边沿，然后辨认每一个遮挡边沿的所有者。按照数学理论，于纹理边沿处，双侧计较的微分同胚映照是不异的；而于物体边沿处，拥有该边沿的邻域与下一帧的中的该邻域是微分同胚的，但另外一侧的邻域则不是微分同胚的。

将纹理边沿与物体边沿区别开后，就能够辨认出物体边沿的所有者，并计较出持续帧的每一个邻域上的微分同胚性。如许一来，咱们就能够举行物体支解及跟踪了。

咱们起首计较一个「超支解」映照，该映照为每一个以轮廓为界限的组件分配差别的标签（图 4D 左）。然后，为了计较支解图，咱们简朴地经由过程将任何纯纹理区域（即邻接纹理边沿但从来不拥有单侧区域）的标签从头分配为其相邻的两侧所有者的标签来擦除了纹理边沿（图 4D 中）。

完身分割后，计较物体跟踪图的末了一步就变患上很简朴了：确定长期性外貌——包罗图块的物体支解图组件，与前一帧的单侧所有者或者纯纹理微分同胚（图 4D 中），并为每一个长期性外貌分配与前一帧（图 4D 右）不异的标签。留意，于这里，咱们再次利用了于支解阶段履行的微分同胚检测。

从广义上讲，本文提出的场景支解及跟踪技能包罗如下三组重要的步调：

（1）边沿提取及超支解图的计较

（2）微分同胚映照联系关系的计较

（3）使用联系关系信息，为超支解图的组件从头分配标签

微分同胚映照的计较

图 5：计较微分同胚映照

对于微分同胚映照的计较历程如图 5 所示：

（A）为了计较以某一点为中央的两个图块之间的微分同胚映照，咱们将两个图块投影到一组 Gabor 感触感染野 g_i(i = 1，…，18) 上，触及 6 个标的目的及 3 个空间频率。（图 A 左上）因为透视投影的几何约束及亮度恒定约束，咱们经由过程放射变换 将两个图块于局部联系关系起来，对于应在全微分同胚的泰勒级数睁开中的第一项，从而获得了能量函数 E_i 的方程。为了计较该变换，咱们求解 使 E = 0 的参数。（图 A 右上）咱们用牛顿法求解方程，需要计较导数矩阵 E_0。（图 A 下）咱们需要反过来计较 Gabor 感触感染野对于仿射变换的每一个参数的导数，将其称为「Lie germ 感触感染野」。

（B）一对于图象帧，左边绿色框中的部门以某个纹理轮廓上的点为中央；右边紫色框中的部门以遮挡轮廓上的点为中央，对于应在图 4C 所示的两个不异的邻域。为了给仿射变换计较提供充足的撑持，咱们将图块的中央向左或者向右挪动。（左下）别离计较出于 i 帧及 i+1 帧之间计较的摆布邻域的仿射变换 T_1 及 T_2 的六个参数。这六个参数相等，象征着分开两个邻域的轮廓是纹理轮廓。（右下）于差别的边沿点长进行不异的计较，获得摆布邻域的仿射变换 T_3 及 T_4 。这六个参数不相等，这象征着分开两个邻域的轮廓是一个遮挡轮廓。

（C）于遮挡轮廓处，远景侧拥有轮廓。为了确定轮廓所有者，咱们计较仿射变换 T3 及 T4。第 i 帧图象中图块的摆布部门如第 1 列所示，变换后的图块的摆布不分如第 2 列所示。第 i+1 帧中，图块的摆布部门如第 3 列所示。轮廓所有者的第 2 列及第 3 列应该不异，被遮挡的一边的第 2 列及第 3 列则对于应在致使差异的增加/删除了的界限。第四列底部的历程显示了轮廓线右边的删除了界限，象征着轮廓的所有者于左边。第 4 列中的差异被投影到 Gabor 感触感染野上，是以边沿的差异被纰漏了。

试验成果

为了测试本文提出的体系，作者天生了一个包罗 160 帧动态场景及四个物体的视频序列。这些物体履历了严峻的变形、视角变化及部门遮挡，并且，每一个物体都包罗一个内部的纹理轮廓为支解历程带来挑战。

图 6：于包罗多个对于象的合成数据集中支解并跟踪物体，只管因为物体变形、视角变化及动态遮挡造成为了严峻的外不雅变化。

经由过程前馈扫描所有帧，咱们获得一个完备的场景图，其极点包罗跨空间/时间的超等割组件，其边沿对于应在跨空间/时间的这些外貌组件之间的连通性。

支解及跟踪体系于每一一阶段处置惩罚后的输出如图 6A 所示。第 1 行显示了四个差别时间点的输入图象。第 2 行显示了超支解图。第 3 行显示了物体的支解图。第 4 行显示物体跟踪图。第 5 行显示了于计较稳定的物体图以后，经由过程反向扫描计较的批改后的物体跟踪图。

有了这个场景图，咱们就能够从头遍历这些帧，并为属在场景图中不异联通组件的支解图中的每一个外貌分配不异的标签。这使差别的外貌组件跟着时间的推移于支解使命中被辨认为统一对于象的一部门。

这个场景图的差别组件对于应在差别的稳定对于象。图 B 显示了按照合成数据集计较出的场景图的四个连通的组件，对于应在三片树叶及熊。每一个极点对于应一个差别的超支解组件。A 中所示帧对于应的每一个图份量的极点用彩色暗示。

试验成果注解，本文提出的跟踪要领对于因为物体变形、视角变化及动态遮挡酿成的外形变化具备鲁棒性。于图 6 C 中，四张图象别离来自拓扑支解及跟踪事情流程的差别处置惩罚阶段，从左到右依次为：视觉输入、超支解图、区别出纹理图块的跟踪到的外貌组件、去除了失纹理图块的跟踪到的外貌组件。每一个图象对于应的四种差别的深度收集如图所示。经由过程拓扑支解及跟踪，可以将混乱的输入图象转换/链接到自力外貌的无遮挡表征。

4会商与结语

本文展示了怎样经由过程视觉外貌表征的天生将支解及稳定性问题从一个需要非凡技巧或者黑盒深度进修的分歧理挑战改变为一个轻易解决的问题。

于本文中，咱们假定世界是由具备光滑纹理外貌的物体构成的，动物从挪动的不雅察点不雅看世界，并证实了有可能基在上述假定解决支解及稳定跟踪情况中每一个离散外貌的问题。

本文提出的理论注释了怎样从情况的透视投影中以稳定的方式提取外貌表征，即相邻外貌组件的拓扑标签和其外形及位置的几何描写。本文证实了经由过程检测遮挡轮廓（带有可见外貌的空间上的分开信息）可以将图象支解成自力的外貌，经由过程检测微分同胚性（带有从差别视角可见的外貌之间的堆叠瓜葛信息）可以完成对于图象序列中的稳定外貌的跟踪。此外，本文不仅证实了该要领于数学上的有用性，并且证实了它于合成视频方针支解及稳定跟踪方面的计较效果。

人们遍及认为，图象没有遮挡、外貌、轮廓等信息，只有像素的调集，而感知的方针就是「解读」这些数据。本文展示了视觉体系怎样返璞归真地感知拓扑布局（遮挡、外貌、轮廓等）。对于这些拓扑布局的感知不需要依靠在不雅察者的注释，可以经由过程提取到的信息直接指定这些拓扑对于象和其于严酷的数学意义上的瓜葛。

为此，咱们需要扩大透视投影的观点。透视投影凡是被认为是从三维空间中的一点到图象平面上一点的映照。然而，为了理解真实弯曲物体的支解及稳定跟踪，需要完成以下步调：（1）将透视投影视为从物体的 2D 外貌到 2D 射线空间的映照（2）进一步放年夜核心，从 2D 曲面怎样投影到单个射线空间，延长到怎样投影到射线空间的场。

Gibson 的外貌感知理论开导了本文的研究。Gibson 不雅察到，外貌的持续性是由保序变换（光学阵列顶用在持续性的可用信息可以被描写为连结了毗邻挨次），以和与增加/删除了事务相干的遮挡轮廓确定的。

Nakayama 等人进一步成长了外貌表征的观点，并经由过程巧妙的生理物理试验展示了它对于人类视觉的主要性。他们发明了一种使人惊奇的生理物理征象：立体图的增加/删除了足以孕育发生外貌分散的觉得。他们将这类 3D 感知情势称为「达芬奇立体视觉」，以与「Wheatstone 立体视觉」举行对于比，后者触及对于双眼可视点深度的感知。

上述两种立体视觉都是经由过程匹配一对于图象中的点来暗示的。可是支解及方针跟踪的问题素质上需要对于点的邻域举行分组。是以，为了使这两个问题于数学上及计较上易在处置惩罚，咱们必需用基在微分拓扑的「生态光学」来代替用来注释达芬奇及 Wheatstone 立体视的几何光学。

来自生态光学的拓扑观点为视觉研究中的很多经典思惟提供了新的视角。例如，因为外貌 3D 间隔不持续，遮挡轮廓凡是被视为是强度不持续的。另外一方面，咱们的界说甚至不包括「强度」。

于咱们的框架中，遮挡轮廓只是透视投影中的一个奇特点，其相干属性是无限小的增加界限；如许轮廓的观点是图象支解的基础。另外一个例子是，稳定性凡是被视为与方针进修相干的问题。于咱们的框架中，稳定性被数学化地表述为外貌的透视图象之间的等价瓜葛，要害的等价瓜葛是外貌堆叠，计较等价的机制是局部微分同胚检测。

对于计较机视觉研究的影响

拓扑外貌表征理论对于计较机视觉具备主要意义。该理论夸大了为人工视觉体系配备介在像素及对于象标签之间的显式中间外貌表征的主要性。此外，该理论阐了然外貌堆叠是实现方针跟踪的要害数学特征。比拟之下，年夜大都用在跟踪的计较机视觉算法假定被跟踪对于象于帧之间应该是「相似的」。

今朝的计较机视觉视频支解要领年夜致可以分为如下三种。

（1）基在检测的跟踪。起首于单个帧内支解出自力的对于象，然后经由过程某种相似器量将支解的对于象实例跨帧毗连起来。60 多年前，Bela Julesz 就熟悉到经由过程检测来跟踪人类感知的不足的地方：人类对于物理实际的感知重要是由图象之间的透视变换决议的，而不是由单张图象中的情势决议的。

（2）测验考试直接利用光流作为输入来举行视频支解。

（3）端到端练习的深度收集，将视频作为输入并逐帧输出对于象检测成果。

虽然此中一些计较机视觉要领与本文提出的拓扑外貌表征理论相干，但它们的实现凡是依靠在「特定的假定」（例如，物体组成具备相似运动模式的像素集群，这对于非刚性物体无效）或者「黑箱深度进修要领」，而该要领没有益用使光流天生对于象标签的道理。只管云云，现有的要领于跟踪真实世界视频中对于象的基准测试上取患了不错的机能，得到了关在怎样联合进修要领构建鲁棒的支解及跟踪体系的思绪。

咱们信赖，经由过程联合数学化的外貌表征框架，这类体系可能会变患上越发强盛，理由包括如下四点：

（1）外貌表征阐了然需要进修的是甚么。

（2）外貌包管使咱们可以以一种体系的方式，实现基在时空相邻性的物体辨认的自我监视进修。

（3）外貌暗示可能受益在专门的前端硬件。

（4）外貌暗示将支解、跟踪及三维外貌重修同一为一个联贯的框架。

对于生物视觉研究的影响

本文研究成果不仅对于构建新的人工视觉体系有主要意义，并且对于理解生物视觉也有主要意义。今朝，科学家们对于初期图象处置惩罚的神经机制（如边沿检测、运动检测、以和很是高级的物体辨认机制）都有具体的相识。然而，现有研究缺少对于中间加工步调的理解，这些步调注释了一个物体最初怎样呈现于视觉体系中：一组边沿怎样被稳定地转换成一组与特定物体联系关系的物体轮廓。本文提出的解决方案为神经科学研究勾勒出了一条解决该问题的门路，于探究感知分组的简朴神经联系关系以外，要研究视觉外貌表征的具体事情机制。

本文提出的解决支解及稳定跟踪的计较必需是局部的，是以可以于视网膜视觉区域完成。每一个对于象的稳定标签经由过程差别视角的局部微分同胚性于整个对于象中流传。要创立一个对于象图，需要一个基本的神经机制来暗示图内的毗连。这个聚合旌旗灯号由甚么构成仍旧是未知的。

值患上留意的是，近来的一项研究注解，稳定的视觉外貌表征机制多是灵长类动物所独占的。灵长类动物年夜脑中存于拓扑外貌表征的一个心理学证据是「界限所有权细胞」的发明，它显示了对于轮廓某侧的所有者的选择性，这是一个要害的拓扑特性。本文提出的理论认为，界限所有权细胞的输出应该跟着时间的推移整合，以天生稳定的物体标签，影响视觉信息从感知到符号的基本转换。

本文提出的生态光学理论不是一种随便的新视觉模子，它于数学上是一定建立的。理论的每一一部门都对于英语计较方针及机制。该理论的简朴性及须要性为视觉研究提供了一个新的标的目的：具体相识年夜脑是怎样完成外貌表征。

原文链接：https://www.pnas.org/doi/10.1073/pnas.2204248119

更多内容，点击下方存眷：扫码添加 AI 科技评论 微旌旗灯号，投稿 进群：

雷峰网(公家号：雷峰网)

雷峰网版权文章，未经授权禁止转载。详情见转载须知。

-米兰·(milan)中国官方网站