米兰·(milan)中国官方网站-普林斯顿大学王梦迪：从基础理论到通用算法，看见更大的AI世界观

强化进修于人工智能范畴的「立名立万」，始在2016年DeepMind开发的Alpha Go于围棋竞赛中战胜人类世界冠军李世石。以后，强化进修被广泛运用在人工智能、呆板人与天然科学等范畴，并取患上一系列冲破性结果（如DeepMind的Alpha系列），引起了多量学者的研究兴致与广泛存眷。事实上，强化进修的研究由来已经久，远远早在2016年。自上世纪80年月以来，强化进修的焦点问题，如摸索效率、进修与计划的范围与难度衡量，便于计较机科学、人工智能、节制理论、运筹学与统计学等等范畴获得了广泛研究。然而，强化进修的基础理论问题是甚么？该范畴精彩的通用算法应具有哪些要素？怎样设计高度可扩大的强化进修算法？……于2019年之前，这一系列主要问题均未获得很好的界说，强化进修也未形成一门自力的研究学科。于此契机下，2019年秋日，七位学者构造了西蒙斯强化进修理论年夜会，招集了来自世界各地对于强化进修感兴致的学者，配合切磋与梳理强化进修的研究问题。与1956年的达特茅斯集会相似，该集会的参会者也是来自各个范畴，有运用数学家、统计学家、理论计较机学家，还有有通讯学家、暗码学家、神经学家等等，包括Michael Jordan、Martin Wainwright、Csaba Szepesvari、Ben Recht等等知论理学者。年夜会长达半年，横贯一学期，笼罩四个分论坛，七位倡议人梳理问题，终极确立了强化进修范畴的四年夜焦点研究标的目的：于线强化进修、离线与基在模仿器的强化进修、深度强化进修与运用强化进修。此举打开了科研职员研究强化进修理论与通用算法的年夜门，今后，研究强化进修的论文于NeurIPS、ICML等国际顶会上井喷，愈来愈多学者介入此中，极年夜地鞭策了强化进修学科的快速成长。西蒙斯年夜会无疑是强化进修标的目的的「达特茅斯」。但与达特茅斯集会差别的是，西蒙斯年夜会的七位倡议人中，有一名华人学者。她就是现任普林斯顿年夜学终身传授的知名青年科学家王梦迪。

一、从节制论谈起

修业时期，王梦迪常被称为「天才奼女」：

14岁上清华，18岁到麻省理工学院（MIT）读博，师从美国国度工程院院士 Dimitri P.Bertsekas，23岁博士卒业，24岁进入普林斯顿任教、担当博士生导师，29岁得到终身教职，斩获多个主要学术奖项，堪称一部活脱脱的「名校披襟斩棘之史」！

图 /2018年，王梦迪入选「MIT TR35」中国区榜单

王梦迪于人工智能范畴的摸索，始在清华年夜学主动化系的本科就读履历。

清华年夜学主动化系组建在1970年，名师云集，引领着节制工程学科的科技立异，鞭策现代化及人工智能科技进程。节制论即是今世人工智能的发源之一。

从道理上看，节制论与强化进修/人工智能体系有着慎密接洽。

如凯文·凯利于《掉控》一书中所言，人工智能的雏形实在很简朴：比喻说，初期的抽水马桶就是一个「人工智能体系」：只要摁一下冲水键，马桶就能于掉误很小的环境下主动完成冲水功效。但凡一个机制能经由过程反馈完成一个功效，就是人工智能。

图 / Kevin Kelly发表在1992年的经典科普著作《掉控》

节制论的焦点思绪是对于一个已经知体系设计自我反馈机制以到达特定的方针或者最年夜/最小化方针函数：

人们用一组微分方程或者拉普拉斯函数对于需要节制的体系（如机械体系、电气体系等）举行完备的描写。当体系的模子彻底切确已经知时，初期研究者无需借助计较机就能够经由过程数学的运算直接推导出该体系的最优节制计谋，从而于物理上设计一个反馈机制，跟着体系状况变化给出差别的反馈，实现主动节制。

一样地，强化进修也是基在体系的状况，不停对于体系举行动态操控。区分于在，对于在强化进修算法来讲，待节制的体系是一个黑箱函数，不具有完备的数学描写，难以直接求解最优计谋。以是，强化进修有潜力解决许多繁杂但恍惚的新问题，好比游戏的最好计谋，卵白质的设计等等。

本科时期，王梦迪即是从节制论出发，初次接触了强化进修算法。

清华主动化系的本科卒业设计要做一个双足行走的呆板人，于呆板人的髋枢纽关头中间加一个小小的机电，方针是用最小的能量让呆板人流利地行走起来。假定呆板腿是完善的刚体布局，腿部的摆动可以用拉格朗日方程切确描写。这时候，经典的节制论就能够找到最优的节制计谋。

图 /双足呆板人（图源收集）

然而实际的场景往往不切合假定，不存于切确的数学描写。课题中，要先不施加机电输入，不雅察呆板人于斜坡怎样使用重力及摆动被动走起来；走起来后，网络它的行走轨迹数据。然后，再基在数据，摸索怎样经由过程节制髋枢纽关头的机电，设计一个自顺应的反馈体系，让呆板人挣脱对于重力的依靠、于平地上健步如飞。

面临如许一个动态历程，强化进修被派上用处：假如把双足呆板人体系当做一个黑箱函数，基在价值函数及计谋函数不停迭代、更新、试验、迫近，就能经由过程不停的实验举行于线进修，算出一个最合适双足行走呆板人的状况-价值函数，找到最优节制计谋。

图 / 王梦迪于 2017 年中国人工智能年夜会上作演讲，谈节制论与人工智能的瓜葛

跟着节制问题的繁杂度不停晋升，节制算法对于体系建模的依靠也需逐渐放松，看重经由过程试验来网络数据、从数据中总结模子信息、于线进修来迫近最优体系操控计谋的强化进修要领将于繁杂体系中饰演愈来愈主要的脚色。从这一点来看，节制论成绩了人工智能的焦点，而强化进修等新兴要领又反哺了节制问题的求索：

「好比，下棋自己没法用微分方程来描写，但咱们可以一边下、一边网络下棋及敌手的信息。当咱们对于要节制的体系的先验常识愈来愈少时，咱们就愈来愈依靠在来自经验与数据的类似，并使用年夜范围深度神经收集举行高通量的计较、拟合及推理。」王梦迪先容。

基在反馈、优化、以致在深度进修，现代人工智能早已经转变了人类的糊口及认知，从主动驾驶到呆板人流水线，从宏不雅电网调理到微不雅的卵白质优化。节制论中的很多经典思惟及要领，好比贝尔曼方程、模仿、反馈、体系辨识等要领，深刻影响了以深度强化进修为代表的现代人工智能研究上。

二、MIT读博：科研不雅的形成

于MIT读博时期（2007-2013），王梦迪师从 Dimitri P.Bertsekas传授，隶属在信息与决议计划体系试验室（Laboratory for Information and Decision Systems, LIDS），主攻节制算法与随机优化问题。

MIT 的 LIDS 试验室的研究传承来自在维纳与喷鼻农。维纳是节制论之父，而喷鼻农是信息论之父，节制论及信息论，别离代表了工业主动化时代及信息时代的初步。自建立以来，LIDS试验室的卓异科学家们便寻求将节制论与信息论联合起来，用在繁杂体系的智能化及信息化。

王梦迪的博士导师、美国国度工程院院士 Dimitri P.Bertsekas 是主动节制范畴的宗师，在节制论、优化、运筹、神经收集等多个范畴做出过奠定性孝敬。

王梦迪对于AI科技评论回忆，读博那会，导师Bertsekas很是宽松。王梦迪是他的关门门生，他一直很鼓动勉励她的发散性思索，从不否认她的各类脑洞年夜开的设法，这让王梦迪进一步开释了于清华时就最先积淀的对于创始性的新问题、新范畴的寻求：

「我此刻追念起来，他从来没有说过一句令我懊丧的话。假如我处于他的位置，可能对于『我』会有挺多定见的。」

于Bertsekas的门下，王梦迪更可能是进修到了一种高级的研究咀嚼。这是一种与年夜咖导师偕行、耳闻目睹之下造就的研究思绪。

Bertsekas于运用数学与体系节制标的目的均有极高的研究造诣，著有《几率导论》、《非线性计划》、《随机优化节制》与《强化进修与最优节制》等十多本著作与教材，是名不虚传的年夜咖。于他的重复磨炼下，王梦迪逐步大白一项好的研究事情该当具有如何的尺度，「他是一点一点地把我拎到了阿谁高度。」

图 / Dimitri P. Bertsekas

Bertsekas是2019年完成《强化进修与最优节制》一书，彼时，王梦迪已经脱离导师的荫庇许久，于强化进修这一她本身自力拓展的范畴打开一片新的六合，成了人工智能、强化进修范畴可以或许独当一壁的学者。

对于节制论与强化进修的瓜葛思索，也使王梦迪信赖：进修效率更高、泛用性更强的算法，是人工智能的将来。

三、呆板进修与强化进修理论摸索

王梦迪于2014年最先进入普林斯顿担当助理传授，2019年景为普林斯顿年夜学的终身传授，以后王梦迪插手了普林斯顿其时刚建立不久的统计与呆板进修中央（Center for Statistics and Machine Learning，CSML），是最早插手CSML的传授之一。

CSML的重要研究内容是开发数据驱动的现代呆板进修算法，与王梦迪的研究标的目的更契合。一样是举下棋的例子：就下棋而言，智能体的练习数据来自在游戏自己，每一测验考试新的弄法、就会网络到新的数据；于一个可以完善模仿的游戏情况中，智能体所网络的数据量甚至是无尚限的。怎样从模仿走向实际，即「sim2real」，是人工智能范畴面对的难题之一。

自2015年DeepMind开发的Alpha Go 于与世界围棋冠军李世石的坚持中取胜，强化进修便成为很多人工智能研究员的神往之地，王梦迪也是此中之一。

图 / 普林斯顿年夜学统计与呆板进修中央（CSML）

于初期事情中，王梦迪是将数学优化要领与高维统计相联合，以解决年夜范围呆板进修中的图问题。好比，当图问题离散组应时，怎样使用问题的非凡布局，将问题举行对于偶分化，从而得到一个精彩的类似解。这一类似解借用了非凸优化的对于偶性，与非凸问题的最优解相近。

她摸索过繁杂的多层指望嵌套的随机计划问题。经由过程巧妙的设计多层嵌套随机梯度法，可以或许于线的举行迭代，终极拿到的预计的统计效果与离线举行完备组合阐发的效果一致。依附这项研究，王梦迪于2016年得到三年颁布一次的国际数学计划学会青年学者奖（Young Researcher Prize in Continuous Optimization of the Mathematical Optimization Society）。

这些摸索性的研究越发深了王梦迪对于随机优化理论与呆板进修联合的兴致。接着，她又与斯坦福年夜学的叶荫宇（冯诺伊曼理论奖独一华人得到者）等人互助，研究马尔可夫决议计划链（MDP）的理论繁杂度与最优算法。

MDP是强化进修的基础模子，同时，MDP的算法繁杂度也是运筹学范畴的经典问题。他们要解决的问题是：当强化进修的样原来自在马尔可夫链时，要怎样研究一个算法的最优收敛性与样本繁杂度？怎样界说MDP问题的最优算法与计较繁杂度？从上世纪70年月起，便有很多学者最先研究这些问题，但一直悬而未决。

王梦迪与叶荫宇等人互助，联合经典的价值迭代算法，以和样本与方差缩减技巧，初次提出了能基在样本切确解决MDP的最优快速收敛算法，将马尔可夫决议计划链中的计较繁杂度与样本繁杂度做到了最优。他们的一系列事情（如“Near-Optimal Time and Sample Complexities for Solving Markov Decision Processes with a Generative Model”）在2019年发表于了计较机及呆板进修顶会NeurIPS、SODA等上。

论文地址：https://arxiv.org/pdf/1806.01492.pdf

依附于马尔可夫决议计划链繁杂度及于线强化进修上的一系列事情，王梦迪于2018年入选了「麻省理工科技评论35岁如下立异35人（MIT TR35）」的中国区榜单。

厥后，她又于强化进修范畴做了很多通用算法研究的事情，好比，于特性空间中举行于线自进修；再好比，摸索强化进修的未知模：当未知价值函数属在一个无穷维的抽象函数空间时，要怎样于这个空间里不停迭代预计，并用该空间的繁杂度来描写强化进修算法的效率。这些初期事情，同样成为理论强化进修范畴的奠定性事情。

2020年，DeepMind发布新一代强化进修体系Muzero。以往的强化进修算法如AlphaGo及AlphaZero往往只合用在单一种别的游戏。Muzero仅利用像素及游戏分数作为输入，同时于Atari、围棋、象棋等多个单人视频游戏及双人零及游戏上逾越人类程度，到达AI算法最强战绩。

那时王梦迪正于DeepMind休学术假。她与团队成员结合 DeepMind 的科学家从理论上证实并进一步推广了Muzero的泛用性，移除了了“价值函数导向回归”（value target regression）的非凡算法技巧，使患上强化进修算法可以于任何一个黑箱情况中，对于未知情况的变化举行判定、数据网络、而且组织后验几率模子，于一个抽象的年夜的函数空间里不停搜刮、缩小模子规模，对于未知情况和其最优计谋快速迫近。

该算法同时联合了 model-based（基在情况模子的） 及 model-free（不基在情况模子而是基在价值函数迫近）的两派强化进修算法各自的长处：对于肆意的黑箱情况举行摸索、建模、而且使用深度价值收集快速练习、快速于线迭代计谋，从而炼就了极强的泛化能力。这一系列新结果可以极年夜提高强化进修的效率，普适性，并降低对于昂贵的算力及年夜范围数据资源的依靠。

论文地址：https://arxiv.org/abs/2006.01107

四、拓展强化进修于繁杂实际场景中的通用性

所有强化进修的算法都受限在马尔可夫决议计划历程中的奖励可加性 (reward additivity)，即「方针价值函数是每一一步所患上奖励的累加值指望」。奖励的可加性是贝尔曼方程（Bellman Equation）、节制论、以致所有强化进修算法的数学基础。

只管奖励的可加机能推导出数学上柔美的贝尔曼方程，却极年夜地限定了强化进修的运用，由于于年夜量的非游戏的实际场景中，方针函数往往不是奖励的简朴相加。于危害节制、计谋模拟、团队协作等场景中，真实的方针函数往往是关在状况轨迹的繁杂非线性函数，如危害函数、散度等等，甚至包罗繁杂的非线性安全约束前提。因为缺少可加性，这些主要的现实问题没法用强化进修解决。

然而，当可加性再也不建立，强化进修及节制的数学基础不复存于，咱们认识的价值函数（Value Function）也再也不存于。同时，计谋优化算法的基础——强化进修之父Rich Sutton证实的计谋梯度定理（Policy Gradient Theorem）也不复建立。

于智能决议计划范畴，不满意奖励可加性的问题无解。

王梦迪团队挑战了这个全新的范畴，拓展了强化进修的界限。劈面对于繁杂方针函数、奖励再也不可加时，王梦迪团队使用数学对于偶道理，从头界说了计谋梯度，获得了全新的更泛用的变分计谋梯度定理（Variational Policy Gradient Theorem）。他们证实，对于在更繁杂的方针函数，其计谋梯度依然可以计较，而且其等价在一个极年夜极小值问题的最优解。被从头界说的计谋梯度，带来了全新的算法及运用。也就是说，强化进修可以进一步推广到金融风控、多智能体、模拟进修等实际场景中。

强化进修的界限，从奖励可加的马尔可夫决议计划历程，推广到更一般性的、更繁杂的计谋优化问题。这一系列事情收到了强化进修范畴及数学优化范畴的存眷，持续两年于NeurIPS 2020与2021上当选为Spotlight Paper：

J Zhang, C Ni, Z Yu, CSzepesvári, M Wang. On the Convergence and Sample Efficiency of Variance-Reduced Policy Gradient Method. (NeurIPS 2021)

J Zhang, A Koppel, AS Bedi, C Szepesvari , Mengdi Wang. Variational Policy Gradient Method for Reinforcement Learning with General Utilities. (NeurIPS 2020)

面向将来，王梦迪于强化进修中的另外一项主要研究，即是数据降维（Dimensionality Reduction）及离线进修 （Offline Learning）。

王梦迪的研究线路一贯清楚：从理论研究出发，再将理论上的冲破推向现实运用。基在离线数据的、于实际糊口中落地的决议计划优化问题，即是王梦迪团队的一块「硬骨头」。

如前所述，于常见的游戏AI使命中，智能体可以或许经由过程不停模仿试验来网络数据，然后用这些数据来练习体系的计谋收集。数据越多，算力足够，则算法越强，好比Alpha Go，AlphaStar，就能打败人类世界的冠军战队。

但于实际糊口中，很多要害范畴，好比医学与金融，其实不具有像游戏般的完善模仿情况。是以，于模仿器上十分完善的强化进修算法，于实际糊口中就未必能轻松地解决工程问题，好比医疗场景中的计谋优化、繁杂电力体系的最优节制等。这就是sim2real的难点。

王梦迪曾经到场过一些医疗范畴及生物技能范畴的人工智能摸索。于这些项目中，她的使命是将病人的病例数据当做「棋谱」，从中进修针对于某一病例的诊断计谋，并研究可否进一步优化诊断流程，降低病人的重症率。与游戏中的智能体可以「盲目」测验考试、无穷模仿差别，于医学情况中，病人没有措施做新的试验，并且数据可能极为有限。

于数占有限的环境下，研究者还有能找到最优计谋吗？亦或者者是否可以退而求其次，将现有的计谋举行最年夜水平的提高？假如要继承做试验，那末应该怎样举行，才能以最小的价钱网络到这些数据？这些问题，也就是「离线强化进修」所体贴的问题。

显然，离线强化进修更注重「有用率」的测验考试。王梦迪与团队经由过程数据降维的embedding要领，将数据从高维空间切换到低维空间，从而保留最有内容的信息，规避数据的过分拟合征象，为离线强化进修的研究斥地了新的门路。这些新摸索于AI+医疗、新金融、AI「智造」等范畴带来新的可能性。

五、面向将来的AI

运用数学及基础理论，往往是发明通用算法的出发点。研究问题的通用性，逐渐拓宽研究的界限，加快了学科的交流与互助，同样成就了王梦迪更年夜的研究世界不雅。

强化进修、统计优化是王梦迪组的两年夜研究标的目的，但她并无将本身局限在呆板进修的领域。

青年科学家如王梦迪，发展在学科渐趋深度交融的年夜情况，也拥有了更年夜的研究世界不雅。于科研上，他们站于伟人的肩膀上，寻求摸索与立异的事情。跨学科作为火花碰撞的重要口儿之一，天然对于新一代的研究员有着致命的吸引力。

假如说达特茅斯集会的脑筋风暴，是学科常识交融的起暗语，那末，「AI for Science」（将人工智能运用在科学研究）好像是人工智能初次作为一门成熟的自力学科，插手到学科间的交流中。科学范畴的「年夜熔炉」是否会形成？谜底仍未揭晓，但趋向却渐显。

「普林斯顿以科学为本，也愿意站于一个更高的理论角度来思索学科的成长，对于AI for Science十分存眷。」王梦迪谈道。

王梦迪对于「AI for Science」的存眷，始在2019年。那时，王梦迪于学术休假时期加盟DeepMind，兼职任高级研究科学家，也接触到了很多将人工智能技能用在科学研究的事情，好比可以或许猜测卵白质布局的 AlphaFold，不久前用神经收集求解混淆整数计划（MIP）问题等。

王梦迪与团队寻求立异研究，摸索前人没有涉足过的问题。于她看来，呆板进修范畴更多基础问题已经经解决，但于运用中还有有年夜片空缺。好比，于 AI 与生物学、AI与医疗、AI与质料等的联合研究中，学科间的交融是一浩劫点。

于与跨学科的科学家互助的历程中，王梦迪的一个感触感染是：两个范畴的学者于界说问题的语言与方式上十分差别：

「呆板进修的研究者习气一上来就先问数据是甚么、输入输出是甚么，而天然科学的科学家可能对于『输入』的观点很恍惚。特别是当数据少时，咱们会需要对于数据举行迁徙进修，相识其他联系关系数据，阐发数据之间的相似性，寻觅内涵逻辑及图谱等等。以是，要设计呆板进修算法来辅助science，还有要有年夜量沟通。」

不外，王梦迪其实不懊丧。DeepMind是将人工智能运用于科学研究上的领头羊。来自 DeepMind 与其他呆板进修范畴的科学家的自傲也传染了王梦迪:

「DeepMind的价值不雅就是要鞭策人类文明的前进。我觉得研究人工智能的学者都很是自傲，感觉本身有能力解决世界上最难的问题。这类自傲很是棒，会赐与本身主不雅能动性，也会传染其他学者，帮忙差别学科的人更快、更好地结合于一路，去解决原先以为难在登天的问题。」

近日，王梦迪与团队于这方面也取患了不错的结果：他们将单细胞的状况（来自在单细胞的逆转因子测序）当做一个体系来举行强化进修建模，经由过程高通量的单细胞测序数据来重修一个单细胞的状况变化轨迹，甚至找到它的主要隐变量，从而猜测干细胞的分解及癌症细胞的病变。他们用深度进修的要领优化碱基序列及卵白质氨基酸序列，辅助开发新的基因编纂、基因医治东西。

问和为什么「AI for Science」的首选范畴是布局生物学，王梦迪注释：重要缘故原由是布局范畴的数据相对于多；纵然没有数据，还有可以用份子动力学举行计较模仿。许多AI于药物发明上的冲破，便是从这个角度出发，用深度进修举行加快，做泛化性处置惩罚。然而于数据量更稀疏的问题上，还有有年夜片空缺等候摸索。

谈起DeepMind，王梦迪很是恋慕，这个由世界顶级科学家创建的科研机构于用 AI 鞭策科学前进、社会前进的进程上敢为全国先，给全球的学者带来了决定信念。但与此同时，DeepMind也无需被过分神化：「单就强化进修的运用技能而言，海内的领头羊，好比腾讯 AI Lab、阿里达摩院、滴滴等，其实不比DeepMind差。」

追溯DeepMind成长飞快的更深一层缘故原由，是 DeepMind 的科学家于母公司google的撑持下，可以或许自由地摸索研究。比拟之下，「海内应该没有一个 AI 机构能像 DeepMind 同样拿到那末多没有限定的资源。以是，从资源投入的角度来看，将任何一个之前的研究机构与 DeepMind 比都是不公允的。」

六、青年学者的乐不雅主义

王梦迪对于人工智能的将来十分乐不雅。

她认为，呆板进修仍于快速成长，当愈来愈多学科与常识融入此中，也一定孕育发生愈来愈多的新问题。从这个角度来看，后继者于可之前人的基础上斥地新的门路，深度进修的瓶颈未必是人工智能研究的瓶颈。年青的科学家们有时机拓展呆板进修的界限、甚至科学的界限，于AI的年夜范畴中找到本身的位置。

或许是春秋与所领导的博士生相仿，王梦迪好像更能理解学生的设法，愿意撑持学生做各类各样的选择。不管是进入学术界传承衣钵，亦或者进入工业界鞭策技能落地；是做运用及产物，还有是理论研究，她认为，这些方式都能鞭策人工智能成长，无以臧否。雷峰网(公家号：雷峰网)

这一点，显然是遭到了Bertsekas的影响。于她读博时，导师便从未否认过她的设法，而是撑持她做任何工作。

她所引导的很多博士生与博士后，如今也已经卓有成绩，好比杨林，插手了UCLA担当助理传授，是NeurIPS 2020论文入选至多的华人学者（9篇）；郦旭东，如今已经是复旦年夜学年夜数据学院的副传授；张君宇，现任新加坡国立年夜学副传授；郝博韬, 如今是DeepMind的强化进修科学家；Saeed Ghadimi，现任Waterloo年夜学商学院传授。

图 / 王梦迪（最右）于普林斯顿任教

王梦迪对于AI人材的成长也是乐不雅的。她信赖，当AI被运用在愈来愈多的范畴，AI的研究人材一定是时代成长的国家栋梁。只是，AI人材要把握的常识与技术能将不停增多，跨学科常识的进修年夜几率是新的冲破口之一。雷峰网

而与此同时，年青的学者也糊口于一个有时机接触到多学科常识的时代。于学科深度交融的大水中，个别的发展门路究竟更宽阔。雷峰网

以是，「年青人就应该乐不雅，世界属在他们。」王梦迪谈道。

参考链接：

1.https://www.tsinghua.edu.cn/info/1673/69827.htm

2.https://simons.berkeley.edu/programs/rl20

雷峰网原创文章，未经授权禁止转载。详情见转载须知。