米兰·(milan)中国官方网站-Nature评论：机器学习的物理启示录——隔壁的另一条机遇之道

作者：米兰·(milan)文化更新时间：2026-04-24 18:35:32 点击数：

老话说：隔行不取利。但明日黄花，今朝不论是文娱圈还有是学术界，跨界方可年夜红年夜紫。于文娱圈，相声演员客串脱口秀，歌手跨界演员，赚的钵满盆满。而于学术界，假如咱们的眼界仅仅局限在本身的专业范畴，那末极可能错过一些可贵的火花。于本文中，作者具体先容了物理学——这个古老、严谨、满盈着各类智商怪物争相斗法的传统学术标的目的，是怎样与呆板进修及深度进修擦出聪明的火花的。

作者|Don

编纂|青暮

神经收集，对于在这个认识的名词，咱们一听之下便知它深受生物学的影响，特别是脑神经科学。虽然神经收集的灵感最初源在生物学，可是跟着人们研究的深切，生物学这个母体学科中可用资源日渐枯竭。可是与生物一墙之隔的物理学还有是处在一片蓝海，这片科研的童贞地中的许多经验及研究要领论有望帮忙神经收集的研究变患上越发优异，找到更多的真谛。是以，近些年不少事情最先揣摩怎样于呆板进修及物理学之间成立更强的纽带，设计出越发强盛的计较要领。

自降生之初，呆板进修及物理学便有着十分慎密的联系关系。早于1982年，John Hopfield就举行了第一步测验考试，他于神经收集及物理学之间成立了第一座互通有没有桥梁。Hopfield发明，于物理学中，一个由彼此作用的粒子构成的粒子群物理体系中，粒子间凡是会孕育发生一些形似磁性力的作用征象。

Hopfield在是将这类彼此作用的征象借鉴到了神经收集模子的设计傍边，特别是收集中的那些具备自觉计较特征的神经元布局。是以，Hopfield发现出了“Hopfield network”，而它则是递归神经收集（RNN）的前身。

时至今日，RNN的广泛运用无需赘述，它年夜量的运用于时序阐发、天然语言处置惩罚等范畴。只要数据之间具备时间依靠性、时序动态特性，那末RNN就是一个十分优异的备选方案。

换个角度来看，理论物理学有望帮忙人们从基础上从头熟悉呆板进修范畴。早于1984年，L. G. Valiant就发表了一篇经典论文《A theory of the learnable》，于此中，他便对于此定下了基调。

Nature评论：机器学习的物理启示录——隔壁的另一条机遇之道

论文地址：https://dl.acm.org/doi/10.1145/1968.1972

这篇论文先容了一个严酷的进修统计理论，可以看做是一切可进修的基础。它冲破了此刻深度进修、呆板进修中以数学为根底的可进修或者进修算法的领域，而以更高、更宏不雅的角度来会商模子、人类、或者各类事务的“可进修性”。

归纳综合来讲，作者将进修举动界说为一种“于没有显示步伐化的环境下获取常识的征象”，文章从计较的角度给出了研究进修征象的详细要领，包括选择准确的信息网络要领、进修要领、以和搜刮选择合理的描写计较要领、计较步调的数学观点类型。

1深度进修应该从物理中学点甚么？

但其时间来到2010年月，履历了漫长冬眠的深度进修异军崛起，于诸多范畴中以迅雷不和掩耳之势大举霸榜，刷新各类记载并吊打其他传统算法。深度进修依附其彪悍强盛的泛化能力，以和不成理喻的非线性进修能力博得了众人的赞叹及认可。可是随之而来的，也有质疑及困惑，这个黑箱家伙的暗地里，毕竟隐蔽着甚么未解之谜？

于近来发表于《Nature Physics》杂志上的一篇评论论文中，Lenka Zdeborová研究员呼吁科研职员测验考试从头利用“物理学开导的要领（Physics-inspired approaches）”来解决现实糊口中那些繁杂而毫无头绪的建模问题。

于这篇名为《Understanding deep learning is also a job for physicists》的文章中，作者起首赞扬了深度进修的广泛运用，以和于诸多范畴中的卓着体现。

Nature评论：机器学习的物理启示录——隔壁的另一条机遇之道

文章地址：https://www.nature.com/articles/s41567-020-0929-2

可是也提纲契领的指出这类“无脑”练习的要领于某种意义上不敷“优雅”，它华侈了年夜量了计较资源及泛化能力，可能费劲千辛万苦练习出一个重大繁杂的模子成果只是解决了一个y=kx+b的问题。

换句话说，深度进修的研究许多环境下没有剖析到问题的素质，他们没有深切的阐发数据，没有过细的不雅察数据之间的联系关系及变化，于是也没有对于其暗地里的纪律及真实的焦点模子举行理解及探究。极有可能的是，咱们练习出了一把环球无双的屠龙宝刀，目的是给装修公司刮明白——虽然好使，可是物理学家们还有是感觉腻子铲好使……固然，作者也有呼吁物理学家借鉴深度进修这个东西加快各自理论研究及模子研究的初志。

详细来讲，Lenka指出：物理学家擅善于归纳总结，总可以或许透过数据看到其后的素质。物理学家们拥有富厚的经验，他们可以轻松的处置惩罚数目重大、异构、多模态且量级各别的试验数据，而且从中抽丝剥茧，像福尔摩斯同样找到问题暗地里的纪律。

是以，物理学家们总能找到问题暗地里的素质，而且对于此中主要的那部门合理建模。而对于在数据中那些可有可无的噪声及细节，物理学家们也可以把它们正确的剔除了出来而且纰漏。可怕的是，物理学家甚至还有总能经由过程阐发及查询拜访来测试这些料想及模子。

一个典型的例子是物理学中十分乐成的磁学模子-Ising模子。Ising没有利用任何干在磁彼此作用或者质料特征的量子力学先验细节，但它却可以正确的模仿出天然界中的若干种类型的试验征象。

事实上，计较科学家们于以后也测验考试对于一样的问题基在数据成立了呆板进修要领。他们曾经经设计了一个Hopfield收集，喂给它超年夜范围的数据后，练习出来的模子竟然及Ising别无二致，两者成果彻底不异。

可以说，这就是一个呆板进修版本的Ising收集。这也从侧面申明了Ising模子的乐成。以是说，假如咱们想对于深度进修的理论有进一步的理解、假如咱们想揭开深度进修黑盒暗地里的神秘面纱，那物理学所开导的归纳思绪多是个不错的冲破口。

咱们可以轻微睁开来说，为何说物理学有望成为深度进修理论的冲破口呢？咱们知道，深度进修的可注释性研究或者合理性理论研究一直是一个热点的范畴。因为深度进修黑盒不成注释的特征，它被例如医疗等范畴严酷限定着。假如一个产物想经由过程CFDA、CE的认证，那末你需要将算法的理论讲的一清二楚，究竟性命关天。

是以，假如咱们可以从物理学的角度对于深度进修的可注释性举行体系的论述及研究，甚至哪怕是一点点微小的前进，也将会被业界及学界看成救命稻草同样紧紧捉住并异样顾惜。

那末针对于深度进修可以计较甚么？咱们怎样练习它们？信息是怎样经由过程它们流传的？为何它们可以泛化？咱们怎样教它们想象……等等的魂灵拷问，都将是研究的重点。今朝，有些事情好比《Statistical Mechanics of Deep Learning》从统计力学的物理阐发角度来为这些问题提供泉源观点上的注释。

Nature评论：机器学习的物理启示录——隔壁的另一条机遇之道

论文地址：https://www.annualreviews.org/doi/10.1146/annurev-conmatphys-031119-050745

这些注释要领将深度进修与各类物理及数学主题接洽起来，包括随机景不雅、自旋玻璃、滋扰、动态相变、浑沌、黎曼几何、随机矩阵理论、自由几率及非均衡统计力学。

事实上，统计力学及呆板进修范畴，自古以来就有着很强的耦合性，以和富厚的互动汗青，而统计力学及深度进修交织点的最新进展注解，这些互动有望会进一步繁衍生息，并终极为咱们深度进修的理论研究及可注释性，提供振奋人心冲破的可能！

2各人都是怎样联合物理学的

从现实运用的角度来看，深度进修有着“鼎力大举出古迹”的属性。只要有充足多的数据及充足繁杂的神经元布局，许多现实糊口中及物理学中的“百年未解之谜”都能水到渠成。好比流体力学、高能物理学或者气候预告。

例如于Christian等人发表于Nature的事情《Deep recurrent optical flow learning for particle image velocimetry data》中，他们就提出了一种用来进修物理位移场（ displacement fields）的端到端深度进修模子。其重点存眷了粒子图象测速（PIV）的物理性子及动态特色。

Nature评论：机器学习的物理启示录——隔壁的另一条机遇之道

论文地址：https://www.nature.com/articles/s42256-021-00369-0

PIV是试验流体动力学中的一种焦点的要害技能，它于汽车、航空航天及生物医学工程等多种运用中具备至关主要的意义。今朝的PIV数据处置惩罚要领都是纯手工设计的，其泛化能力及预计的因素遭到了开发职员的限定，此中也有不少需要手动设置的参数，其合用规模及年夜范围运用遭到极年夜的挑战。

比拟之下，作者所提出的基在深度进修的PIV要领则基在了近来的光流进修系统布局（称为递归全对于场变换），这个模子的运用规模越发广泛，具备通用的利用属性。此中的年夜部门参数设定、计较泛化及布局调解也都是主动化的，还有能提供极高的空间分辩率。

此刻学界一个活跃的标的目的，即是利用呆板进修模子来预计出偏微分方程情势的数学公式解，这些数学公式解的法则是紊流（turbulence）等繁杂动态征象的理论基础。于《Nature Reviews Physics》近来的一篇评论文章中，George Karniadakis和其同事便对于其举行了相称过细的会商。他们认为，物理学可以联合深度进修要领来解决繁杂的动态问题，并给出了多个联合的思绪，也论述了一些详细的例子，包括地动猜测及份子动力学等。

另外一个颇有出路的研究标的目的是用深度进修来解决优化问题，尤其是组合优化（combinatorial optimization）问题。于该类问题中，算法必需于一个很是年夜的有限可能配置空间中找到最优解。这个配置空间的巨细会跟着问题的输入范围呈指数级增加。是以，基在穷举搜刮的解决议计划略是不成行的，这会致使维度灾害。

详细来讲，为相识决组合优化问题，Yoshua Bengio的许多事情最先逐渐从研究兼顾学解过渡到使用深度进修求解的范畴。

Nature评论：机器学习的物理启示录——隔壁的另一条机遇之道

论文地址：https://arxiv.org/pdf/1811.06128v2.pdf

这些组合优化的求解问题凡是好不容易，其数学难度较年夜。可是今朝主流的算法都是靠手工设计的开导式算法，它们的可注释性及矫捷性较高，可是其设计价钱较年夜，并且其决议计划成果于某种水平上具备计较或者数学界说不明确的问题。

是以，许多人转投到呆板进修的阵营。相对于而言，呆板进修要领具备更好的决议计划原则可追溯性及优化方式的优胜性。固然，也有一些事情主意进一步增强呆板进修及组合优化的集成。扼要来讲，它们重要是将一般优化问题视为数据点，并扣问于给定使命顶用在进修的问题的相干漫衍环境。

实在，为了不维度灾害而利用呆板进修求解的例子有许多，举几个典型的：Rubik’s Cube魔方问题、旅行商问题及寻觅卵白质的三维布局问题。

Rubik s cube实在就是咱们常说的魔方，Magic Cube，是由于1974年Rubik传授发现了它是以患上名。于2019年Nature上发表的一篇文章中，作者就提出利用深度进修要领DeepCubeA来解决魔方问题。DeepCubeA可以进修怎样于没有任何特定范畴常识的环境下，从方针状况反向解决愈来愈坚苦的魔方问题。

Nature评论：机器学习的物理启示录——隔壁的另一条机遇之道

论文地址：https://www.nature.com/articles/s42256-019-0070-z

而于更难的卵白质序列猜测、卵白质三维布局的事情中，Brain等人综述了学术界今朝已经经利用的深度进修要领。

Nature评论：机器学习的物理启示录——隔壁的另一条机遇之道

文章地址：https://www.nature.com/articles/s41580-019-0163-x

这些要领都是用来解决卵白质范畴中的一个难题——设计折叠成特定三维布局的氨基酸序列。于已往的十年中，卵白质布局的猜测及设计要领前进神速。而计较能力的提高以和卵白质序列及布局数据库的快速增加也同步鞭策了新的数据密集型及计较要求高的布局猜测要领的成长。

是以许多算法可以颠末计较来设计“卵白质折叠”及“卵白质-卵白质界面”，并也被运用在新的高阶卵白质组装体的设计，以和从0设计具备新奇或者加强性子的荧光卵白质，以和具备医治潜力的旌旗灯号卵白质。

此中，比力具备代表性的是Moha妹妹ed Hibat-Allah等人提出的一种交融了经典及量子物理学以和深度进修的设计，这类要领可以用来寻觅无序Ising体系的基态（Ground State）。

Nature评论：机器学习的物理启示录——隔壁的另一条机遇之道

论文地址：https://www.nature.com/articles/s42256-021-00401-3

于统计物理学中，优化问题可以用一种叫做模仿退火的计较要领来解决。这是一个遭到冶金学中的退火历程的开导而被提出来的开导式算法历程。

于冶金工业的退火工艺历程中，固体加温至充实高，再让其渐渐冷却，加温时，固体内部粒子随温升变为无序状，内能增年夜，而渐渐冷却时粒子渐趋有序，于每一个温度都到达均衡态，末了于常温时到达基态，内能减为最小。简朴来讲质料被快速加热，随后迟缓冷却。于冷却的历程中，质料于微不雅上从头摆列成具备所需特征的最好配置。

而遭到这个征象的开导，科学家总结出了传统的模仿退火算法。简而言之，它是基在Monte-Carlo迭代求解计谋的一种随机寻优算法，其起点是基在物理中固体物资的退火历程与一般组合优化问题之间的相似性。

模仿退火算法从某一较高初温出发，陪同温度参数的不停降落，联合几率突跳特征于解空间中随机寻觅方针函数的全局最优解，即于局部最优解能几率性地跳出，并终极趋在全局最优。

模仿退火算法是一种通用的优化算法，理论上算法具备几率的全局优化机能，今朝已经于工程中获得了广泛运用，诸如VLSI、出产调理、节制工程、呆板进修、神经收集、旌旗灯号处置惩罚等范畴。

模仿退火算法经由过程逐渐削减热颠簸来摸索于能量的角度中的全局丧失最小值（见图中一个具备较着全局最小值的粗拙能量视角的例子）。

Nature评论：机器学习的物理启示录——隔壁的另一条机遇之道

一个简化的、很是粗拙的能量可视化图，它展示了卵白质的折叠阐发。图源：Kuhlman Bradley. Nat. Rev. Mol. Cell Biol. 20, 681-697 (2019). Springer Nature Ltd

不管是经典还有是量子版本的模仿退火算法，对于优化问题都是颇有用的。但其经由过程冷却（削减热颠簸）来摸索优化的算法部门凡是是一个迟缓的历程。Hibat-Allah等人将模仿退火与所谓的变异要领相联合，经由过程一个轮回神经收集(RNN)来对于体系状况的结合漫衍举行参数化。这类要领被称为“变异神经退火”要领。这类新要领年夜年夜加速了模仿退火的算法履行历程。

有须要增补的是，前文所说的经典模仿退火算法即是1974年Kirkpatrick年夜神提出的传统模仿退火算法。

Nature评论：机器学习的物理启示录——隔壁的另一条机遇之道