米兰·(milan)中国官方网站-浙大求是特聘教授吴飞：数据驱动与知识引导相互结合的智能计算

编纂 | 青暮

年夜数据时代的到来，既向传统的计较范式提出挑战，又为范式冲破预备了基础前提。数据驱动及常识指导彼此联合的智能计较生怕是当前社会正履历的人工智能时代，传统的计较范式是如何的？年夜数据时代对于新的计较范式提供了甚么天赋前提？有了数据驱动，为什么还有要与常识指导彼此联合？

本年10月12日，2021中国人工智能年夜会（CCAI 2021）于成都正式启幕，23位中外院士领衔，近百位学术技能精英共聚西南人工智能新高地，深切出现人工智能学术研究，以和技能立异与行业运用的最新结果。浙江年夜学求是特聘传授，博士生导师吴飞传授发表了题为《数据驱动与常识指导彼此联合的智能计较》的演讲，娓娓道来地向预会者先容了人类社会已经履历的四种计较范式，经由过程人脑的三种影象体的事情模式引出社会今朝已经经进入的第五种计较范式时代，即数据驱动与常识指导彼此而联合的人工智能时代。

吴飞：浙江年夜学求是特聘传授，博士生导师。重要研究范畴为人工智能、多媒体阐发与检索及统计进修理论。吴教员是浙江年夜学人工智能研究所所长、美国加州年夜学伯克利分校统计系拜候学者。国度卓异青年科学基金得到者、入选“高校计较机专业优异西席奖励规划”、宝钢优异西席奖，曾经任教诲部人工智能科技立异专家组事情组组长、现任科技部科技立异2030“新一代人工智能”庞大科技项目指南体例专家、《中国人工智能2.0成长战略研究》执笔人之一。

吴传授著有《人工智能导论：模子与算法》（高档教诲出书社）及浙教版平凡高中教科手札息技能选择性必修教材《人工智能开端》（浙江教诲出书社）等教材。于中国年夜学MOOC（爱课程）开设国度级一流本科课程（线上课程）《人工智能：模子与算法》慕课

小我私家主页：https://www.x-mol.com/university/faculty/243543

本次演讲，吴飞传授起首对于1998年图灵奖得到者 Jim Gray 提出的四种计较范式做了扼要先容，指出咱们已经经进入第五范式时代，随后以人脑三种影象体之间的接洽，引出数据驱动与常识指导彼此而联合的智能计较，末了举例具体先容了数据驱动与常识指导彼此而联合的人工智能时代。

如下是演讲全文，AI科技评论举行了不转变原意的收拾。

图灵奖得到者 Jim Gray 曾经说，人类社会已经经履历了四种计较范式。第一种是做试验，好比，伽利略于斜塔上同时扔下两个巨细纷歧的铁球，两个铁球同时落地。经由过程这个试验，伽利略发明物体无论质量巨细，重力加快度不异。

麦克斯韦让一段电畅通过磁铁的摆布，发明磁铁的两极发生了变化，推导出磁弱力及电弱力之间的方程。是以，第二个摸索未知范畴的范式就是做方程，即成立方程及模子来引导咱们的计较。

第三种范式是虚拟仿真，就是搭建体系去模仿物理世界，不雅测仿真体系里各类物资的变化。Jim Gray 认为此刻进入了第四种范式，叫做数据密集型的计较年月。

本年8月，李国杰院士写了一篇文章，提出了一个疑难：为何咱们的人工智能上不着全国不落地？生怕咱们已经经进入了第五范式时代。李院士的这篇文章，直接用 AlphaFold 的例子来暗示他所认为的第五范式：此后的科学计较，或者者人工智能计较，必然是范畴专家及数据的驱动彼此联合，才能形成场景人工智能或者者解决场景的使命。

数据驱动及常识指导彼此联合的人工智能时代，即给定一堆数据，咱们需要从数据内里吸取常识，然后基在常识做决议计划及办事。这里的数据必然是满意使命可进修、成果可托、历程可推理及架构可实现这些前提。这类架构可实现，是此刻的年夜型互联网公司有能力完成的，咱们也发明，下流的使命确凿于年夜模子的驱动下可以或许获得很好解决。

咱们反思一下，人脑的智能计较或者者科学计较是如何的模式？生物学家及神经学家告诉咱们，人的年夜脑有三种影象体，第一个叫做瞬时影象。咱们可以眼不雅六路、耳听八方，于一个空间里可以瞬时觉得到这个空间里各类各样数据，这就是瞬时影象。但若咱们没有对于瞬时影象的数据引起留意，这些信息就不会传给事情影象体。

瞬时影象传给事情影象体后，事情影象体直接睁开用因果智能计较的高条理数据勾当，但这些高条理的勾当其实不是就事论事，就数据论数据，它会激活咱们持久影象里的先验及常识。好比，咱们今天来到成都，午时及伴侣会餐；。咱们于达到成都时，可能会回忆起上一次来成都干甚么；及前次比拟，成都有甚么变化；伴侣又发生了甚么变化。咱们常常讲意在言外、话外之意，为何他人发言，咱们能听出话外之意？这是由于事情影象体激活了相干的信息来理解当前的数据。

咱们从这个历程已经经深刻觉得到，对于当前数据的理解，必然激活了其他信息，这类信息是一种潜于的信息，或者者叫做co妹妹on sense，即知识性信息，也有人把它称为暗常识，咱们没法表达，呆板也没法捕获，但人的年夜脑可以很好地捕获下来。既然人脑是如许的勾当模式，此刻的智能计较能否往这个渠道举行？

DeepMind 于 2016 年发表了一篇《神经图灵机》的文章，咱们知道图灵规划就是两头无穷长的纸袋，上面有很是多的方格，然后把数据放于纸袋上，数据驱动以写好的步伐举行。这个历程没有益用到数据之外的信息。但神经图灵机架构起一个外于影象体，对于当前数据能更好地进修、理解及处置惩罚，以获得更好的进修结果。这篇文章发表后，Nature 期刊为其形成社论，称其为深度神经推理，而不是寻常的推理机制。

此刻咱们也发明，只要有一个 x 算法，神经收集必然会把 x 算法酿成一个 give 算法，或者者必然想把它及认知或者者神经联合起来，也就是不断地摸索计较方式及要领，与咱们年夜脑及生理认知怎样更好地联合，这不是无病呻吟，而是沿着人脑的思绪举行扩大。此刻的计较必然要有数据，并且必然是数据驱动；亦即人工智能是引擎，年夜数据是燃料，一个模子空转转不起来。

第二，常识很主要。咱们不克不及一味从数据里发明常识，必然要有常识引导计较历程。此外，举动摸索也很主要，人究竟是于一个开放的情况里举行认知与思索。以是，数据、常识、举动彼此联合，是否是一种更好的计较模式？掀起新一轮人工智能海潮利用的计较要领，AlphaGo 有深度进修、强化进修及蒙特卡罗树搜刮三把白，而AlphaFold 则是图神经收集、留意力模子及物理建模彼此联合。

科学计较颠末了三代成长，已经经把数据及常识举行更好的摸索。第一代是给定一个布局，然后去猜测布局的性子；第二代是给定一些构成身分，去重修布局，然后基在重修的布局猜测性子；第三代就是给定一堆数据，从给定的数据里繁衍布局，以和推理这个布局的性子，这是一个很主要的人工智能成长标的目的。

AlphaFold是 1972 年诺贝尔奖得到者的一个料想。人体有很是多的氨基酸，氨基酸里编码了卵白质，这些卵白质差别的三维空间布局已经经界说了咱们生命的功效。那末，给定一段氨基酸，可否猜测氨基酸所具备的三维空间布局？假如能猜测，咱们就编码了生命的功效。

本年8月份，《天然》杂志发表了一篇此刻被称为 AlphaFold 的文章，《科学》杂志同时也发表了一篇叫做 Rose TTAFold 的文章。AlphaFold 及 Rose TTAFold 都很是夸大 attention，即留意力，但这个“留意力”不是咱们年夜脑的一种留意力，留意力是进修的输入及输出之间的一种瓜葛。例如，给定一幅人脸图象，为何要去猜测这是一张人脸？必然是进修到的输入及输出之间存于一种联系关系，这个联系关系必定是经由过程像素点繁杂的空间模式挖掘出来的。假如此刻输入一段氨基酸序列，去重演它的三维布局，是否是也是学一种叫做 attention 的联系关系？

这两篇文章有甚么区分？Rose TTAFold 是美国华盛顿年夜学的一个试验室写的，它的第一作者很是率直地认可 Rose TTAFold 的机能不如 AlphaFold，由于他们的试验室没有深度进修的工程师，只是一些生物学家拿着 Deep Learning 的东西写出来。可是 AlphaFold 不仅会使用东西，还有会修改东西，好比，它可以对于 Deep Learning 的一些布局举行修改及从头设计，是以其机能逾越了 Rose TTAFold。

各人可以反思一下，此后的人工智能必然是来自差别范畴的工程师一路协作，这也猜测着李国杰院士说的为何人工智能上不了天、落不了地，由于要解决场景的使命，必然要及场景的工程师，以和 Deep Learning 的专家联合起来。根据李院士的说法，就是要把范畴的常识及数据，于 Deep Learning东西之下更好地联合，他把它称为正于出现的第五范式。

2020年3月份，李院士受命撰写中国工程院有关人工智能的特刊，我是咨询副主编。特刊发表时，编纂部的同事让咱们画封面文章，我及一名年青教员先用铅笔划，只有人脑及呆板脑联合起来才会形成这类学会进修能力。人的年夜脑必然是稀少的，虽然人脑听说有 400 亿个神经元，但完成使命时只有一小部门的神经元被激活，以是人脑一天只有 25 度电。而 AlphaGo Zero 颠末了 2900 万次的练习，能战胜所有的 AlphaGo，它的耗电量险些等在洛杉矶一年的耗电量。

人的年夜脑很繁杂，但于完成某个使命时必然是稀少的，而呆板脑必然是密集的 ，好比呆板的进化速率听从摩尔定律，每一18个月机能就晋升一倍。一个稀少的人脑及一个浓厚的呆板脑联合，生怕就是迈向人机耦合得到数据驱动及人的常识彼此联合的时代。这期期刊还有约请了一些专家撰写文章，好比潘院士认为人工智能的下一步就是多重常识表达。本年的 CAAI 年会上有一期分论坛就叫做视觉常识的表达，把常识表达好，多是下一步人工智能迈进的准确标的目的。

朱松纯教员也受邀写了一篇文章，以此回覆他认为的“呆板年夜脑是年夜数据小使命，人的年夜脑是小数据年夜使命”。可是，小数据年夜使命不是只给一点数据就能学繁杂的使命，必然是于年夜使命的构建之下。只有小数据，怎样完成年夜使命的练习？常识于此中起了很主要的作用，这里的常识不只是旧数据，可编码的常识、可感知的常识、暗常识以和知识性的常识必然也介入了年夜脑的智能勾当。朱教员的这篇文章的标题也很吸惹人，叫《“暗”，不止在“深”——迈向认知智能与类人知识的范式转换》。

咱们近来于做一些数据驱动与常识指导的事情，起首这里的常识必定是范畴常识。假如是维基百科或者baidu百科的常识，把高中生都懂的常识放到神经体系的模式里，或许能改良神经体系的进修机能，但及范畴常识比拟，作使劲而言要小一点。我举两个例子，第一个例子是司法的智能化进修，这里有两个案例都给出了一些司法数据。第一个案例，法院认定了一些事实，原告要求法院判断他的一些事实是建立的；第二个案例，法院认定了一些事实，原告要求法院于这些认定事实的基础上，讯断原告的一些诉求是建立的。但于一些真正的案子里，原告有些诉求被驳回，有些则被法院认同。

那末，甚么环境下原告的诉求会被法院认同，何时会被驳回？能不克不及把司法常识及如许的数据联合起来，形成数据驱动及常识指导彼此联合的神经收集的进修要领？咱们提出了数据驱动及常识指导彼此联合的要领，数据由神经收集 co-attention network 去学，由数据驱动进修出数据模式，再加以 legal knowledge，即一阶编码的司法常识，二者联合起来以增强原告诉求的判定。把一些司法范畴的常识经由过程一阶位置编码使用起来，与数据驱动举行联合，于一些数据集长进行了测试。

第二个例子叫做 video caption，重要是想解决一段短的 video clip 怎么获得更好的文本描写，重要及阿里达摩院互助。由于阿里要让用户点击商品，必需要把商品所对于应的视频用文本描写出来。怎样主动天生这类文本描写？咱们引入了一个商品属性的常识图谱，经由过程图神经收集进修获得差别的纸袋之间的空间漫衍，再经由过程卷积神经收集进修获得一个像素点的空间漫衍模式，然后把这些常识联合起来，是否是可以或许天生一种更具告白效应的文本描写？

把数据及视觉常识联合后，能不克不及把一些外于的影象体也引进来？正如方才讲的话外之意及意在言外，不克不及只针对于 video 理解 video，video 里必然有一些高级语义或者属性触发了外于影象体里的常识，加以使用这类常识更好地做视觉信息的阐发与处置惩罚。再进一步，引入因果常识的瓜葛，去除了伪相干的联系关系，

例如，一个吉他手穿戴T恤弹吉他，或许弹吉他的人都喜欢穿T恤，原来弹吉他及穿甚么衣服没有因果瓜葛，但因为数据选择的误差，选择的这些场景，吉他手都穿了T恤，成果体系过错地认为，T恤及吉他有联系关系。这有点像因果进修中，咱们常说的公鸡打鸣及太阳升起的例子，公鸡打鸣及太阳升起似乎有因果瓜葛，由于公鸡一打鸣太阳就升起。但若有一天，把全球的公鸡都杀死，太阳照样升起，它们之间是一种伪联系关系，这类瓜葛影响了咱们进修的效果。怎样消弭T恤及吉他手的这类联系关系，用统计阐发的联系关系进修，会说乐器及衬衫之间的联系关系到达6%，可是引入因果的话，可以把这类伪联系关系去失。

数据驱动及常识指导现实上是很难的，尤其是怎样编码范畴常识。对于徐院士以前陈诉里的一句话很是深刻：数据不敷模子上，模子不敷常识上。似乎有点原理，数据不敷怎么办？用更强盛的模子去拟合，好比撑持向量机。模子的能力不敷怎么办？常识上，把数据、模子及常识及算力联合起来；算力也很主要，由于咱们的模子此刻变患上比力繁杂。

以是，咱们提的问题起首必然方法域相干，好比化学问题、物理问题等；然后是物理建模，例如，麦克风放于桌子上，咱们不克不及说麦克风悬浮于空中，如许的物理布局是于人类社会是不存于的，必然要从物理布局里更好地约束建模的要领。末了，人必然要介入进去，这个问题确凿很繁杂，现实上是咱们此刻面对的巨年夜挑战。但人工智能于驱动科学计较，科学计较反过来也会驱感人工智能的进展。咱们此刻用数据及神经收集，把物理的法则及模子联合起来，是否是能更好地解决范畴相干的问题？而范畴相干问题的解决，就促成了人工智能的成长。

此刻有一个标的目的的研究，认为切确描画交通湍流及疾病流传等繁杂体系的动力学偏微分方程异样坚苦。怎样描画新冠肺炎的流传？怎么描画马航出事的飞机于年夜西洋及承平洋的残骸？它遭到很是多的因素影响，年夜西洋彼岸一只胡蝶党羽的扇动，就会带来台风及暴雨，怎么带来的台风及风暴雨，这很难用方程暗示。怎么办？咱们可以学神经收集，但神经收集的方程咱们不知道，且这些神经收集也不是简朴的神经收集，而是成立输入数据及输出数据之间的联系关系。此刻没有这个方式怎么办？

神经算子是科学计较里很是热点的一个标的目的，要把常识及数据更好地联合起来，就要更好地研究一些科学算子，更好地举行设计，把物理建模的约束融入到模子之中的模子。然后还有要有一些快速的优化要领，从软件的角度举行思量，由于真实世界其实太繁杂了，咱们没法用方程成立，只能用迫近、函数、优化、拟合等科学的要领加以解决。

咱们及潘院士以前做过一个调研，通用人工智能此刻的态势究竟是如何的？许多媒体说美国已经经把通用人工智能当做国度使命于踊跃部署，咱们把特朗普、奥巴马及拜登当局的国度人工智能计划通读一遍后，发明美国没有把通用人工智能当做国度的主要使命，至多只于奥巴马当局期间，用了一个叫做 General Purpose 的 AI。General Purpose 意为“通用目的”，及咱们讲的 AGI 差别。于美国的这些人工智能规划里，更可能是人工智能应该 more general，也就是更矫捷、更通用。

借今天的演讲我想通报一个设法：数据驱动及常识指导，这里的常识必然是来自范畴的常识，AlphaFold、Rose TTAFold 必定没有效到baidu百科或者维基百科的常识，必然是化学家能看懂的常识，只有把这些常识及范畴的专家做更好的联合，咱们的人工智能才会 more general，才会向范畴专家的能力接近。

雷峰网(公家号：雷峰网)雷峰网

雷峰网原创文章，未经授权禁止转载。详情见转载须知。