米兰·(milan)中国官方网站-揭示世界本质的「机器科学家」，比深度神经网络还强？
作者 |Charlie Wood
编译 | 王玥、刘冰一
编纂 | 陈彩娴2017 年，西北年夜学化学与生物工程系的助理传授Roger Guimerà及罗维拉-威尔吉祥年夜学的物理学传授Marta Sales-Pardo发明了细胞破裂的缘故原由。
该研究鞭策了生物学的进展，但他们并无从本身的数据中发明要害信息，反而是他们的一个不曾公然的发现——他们称之为“呆板科学家”的虚拟助理将这些信息指了出来。
Guimerà 回忆道：“咱们只是给呆板科学家输入了一个算法，然后就获得了谜底。虽然这就是事实，但没有审稿人会信。”
图注：URV 化学工程系的研究职员 Marta Sales-Pardo（左） 及 Roger Guimerà（右）
两人与他们的前同窗、加泰罗尼亚生物工程研究所的Xavier Trepat举行互助，想要确认哪些因素可能激发细胞破裂。很多生物学家认为细胞跨越必然巨细就会破裂，而Trepat 感觉这此中仍有摸索空间。他的团队破译了成群细胞争取位置时于柔软外貌留下的纳米级印记并堆集了详尽的数据集，此中记载了外形、气力及其他十几种细胞特性，单单是测试这些细胞特性对于细胞破裂的影响年夜概就患上花一辈子。
但是，假如将数据提供应呆板科学家，于几分钟内呆板科学家就能反馈给他们一个简便方程。就猜测一个细胞什么时候破裂而言，该方程比仅利用细胞巨细或者任何其他单一特性的方程切确 10 倍。据呆板科学家所说，细胞破裂与否，取决在一个细胞的巨细乘以它阁下的细胞挤压它的力度。
“呆板科学家可以或许发明一些咱们没有发明的工具。”Trepat说。
因为研究职员没有公然过「呆板科学家」的信息，是以他们只好举行二次阐发。颠末数百对于变量的测试，他们患上出了及「呆板科学家」一致的谜底，并于2018年将该研究发表于了Nature Cell Biology上。
图注：西班牙 Rovira i Virgili 年夜学的 Roger Guimerà 及 Marta Sales-Pardo 主导构建了一个强盛的符号回归算法，并称之为“贝叶斯呆板科学家”。
四年后，这类要领迅速成为一种公认的科学发明要领。Sales-Pardo 及 Guimerà 是少数几位开发最新一代东西的研究职员之一，该东西可以或许实现符号回归。
符号回归算法差别在深度神经收集。深度神经收集算法可能会接收数千个像素，让像素渗入数百万个节点构成的迷宫，并经由过程不透明的机制输出“dog”这个词。而符号回归算法辨认繁杂数据集，然后输出一种人类能很好理解的简短方程式。这些算法近似在超等版本的 Excel 曲线拟合函数，但这些算法不只寻觅直线或者抛物线拟合一组数据点，还有寻觅数十亿个差别的公式。经由过程这类方式，「呆板科学家」可让人类相识细胞破裂的缘故原由，而神经收集只能猜测细胞什么时候破裂。
几十年来，研究职员一直于与如许的呆板科学家打交道，不寒而栗地引诱呆板科学家从简朴的数据集中从头发明教科书式的天然规则，并将其摆列起来，从中寻觅某种模式。可是最近几年来，这些算法已经经变患上充足成熟，可以于真实数据中摸索出从湍流怎样影响年夜气层到暗物资怎样聚类等此前未被发明的联系关系。
“毫无疑难，整个范畴都于向前成长。”哥伦比亚年夜学的呆板人专家Hod Lipson说。他于13年前最先了符号回归的研究。
图注：呆板人专家 Hod Lipson
1呆板科学家的突起物理学家偶然会单凭推理寻觅真谛，好比爱因斯坦经由过程从一束光束的角度想象另外一束光束，从而感触感染空间及时间的柔韧性。
可是更多时辰，理论是从马拉松式的数据处置惩罚中降生的。
16 世纪的天文学家布拉赫归天后，开普勒接触到了布拉赫条记本中的天体不雅测，花了四年时间才确定火星于天空中描绘的是一个椭圆，而不是他以前认为的蛋形。经由过程粗鲁计较，他又别的发明了两个瓜葛，遵照了“第必然律”，这些纪律即是牛顿指出万有引力定律的基础。
符号回归的方针是加快这类开普勒式的试错，遍历将变量与基本数学运算接洽起来的无数要领，从而找到最能正确猜测体系举动的方程。
图注：天体物理学家以两种方式对于太阳系的举动举行建模。他们起首利用了NASA多年纪据来练习一个神经收集。然后利用符号回归算法将该模子提炼成一个方程式。于视频中——显示真实位置为实体物体，而模子猜测为金属网轮廓——神经收集（左）的体现远不如比起符号回归算法（右）。
首个取患上庞大进展的步伐叫做BACON。它由其时于卡内基梅隆年夜学的认知科学家及人工智能研究员 Patrick Langley 于1970年月末开发。BACON 包罗一列轨道周期及一列差别行星的轨道间隔，然后以差别的方式体系地组合这些数据：周期除了以间隔、周期平方乘以间隔等。假如 BACON 于各类数据的差别组合中找到一个常数，例如，假如周期的平方除了以间隔的立方老是给出不异的数字，就申明它找到了开普勒第三定律。一个常数象征着它已经经确定了两个成比例的量，换句话说，当 BACON 找到一个方程时，它就到达了目的，住手计较。
只管从头发明了开普勒第三定律及其他教科书上的经典内容，但于计较能力有限的时代，BACON仍旧是一种奇异的存于。研究职员仍旧需要手动阐发年夜大都据集，终极利用近似Excel的软件，于给定特定种别的方程时找到简朴数据集的最好拟合。直到2009年，康奈尔年夜学的呆板人专家 Lipson 及 Michael Schmidt 开发了一种名为 Eureqa 的算法。这个算法可以找到描写任何数据集的准确模子。于 Eureqa 乐成开发之前，这个观点一直处在甜睡状况。
他们的重要方针是成立一台呆板，可以或许将一列又一列的变量的拓展数据集归纳为一个触及少数现实主要变量的方程。Lipson说：“这个方程终极可能有四个变量，但咱们事前不知道是哪些。咱们患上把所有可能的变量都扔进去。气候或许很主要，每一平方英里牙医的数目也许也很主要。”
处置惩罚浩繁变量已经经是一个难点。研究职员暗示，他们还有需要具有必然的矫捷性，测验考试各类可能走向死胡同的要领、并从中走出来。而当算法可以从直线跳到抛物线，或者增长一个正弦波纹时，它把握尽可能大都据点的能力也可能变患上更糟糕。为了降服这些挑战，1992年，计较机科学家John Koza提出了 “遗传算法”，这类算法将随机“突变”引入方程，颠末屡次实验，最初无用的功效要末蜕变患上强盛，要末消亡。
Lipson及Schmidt将这一技能晋升到了新的程度。一方面，他们天生了方程式。另外一方面，他们随机选择了一些数据点来测试方程，“最合适”的点是那些对于方程最有挑战的点。“这就像武备竞赛同样，咱们需要成立两个不停成长的事物，而非一个。”Lipson说。
Eureqa算法可以压缩触及十多个变量的数据集。它可以乐成地反馈出高级方程，好比描写一个钟摆吊挂于另外一个钟摆上的运动。
图注：呆板科学家是怎样事情的
与此同时，其他研究职员正于寻觅练习深度神经收集的技巧。到2011年，深度神经收集于进修区别猫及狗以和履行无数其他繁杂使命方面取患了巨年夜乐成。可是一个练习有素的神经收集由数百万个具备数值价值的“神经元”构成，这些神经元不会昭示它们已经经学会辨认哪些特性。可Eureqaque却可以用人类的语言转达本身的发明。
当 Sales-Pardo 第一次利用 Eureqa 时，她感应很惊奇：“我认为这是不成能的，这些人怎么做到的？” 她及 Guimerà 很快就最先利用 Eureqa 为他们本身的收集研究成立模子，虽然成果纷歧致，但他们对于 Eureqa 的强盛功效印象深刻。该算法会演化出猜测方程，但它也可能会搞巧成拙、然后患上出一个过在繁杂的方程。只要研究职员轻微调解他们的数据，Eureqa 就会返回一个彻底差别的公式。在是Sales-Pardo 及 Guimerà 便重新最先设计新的呆板科学家。
2压缩水平于他们看来，遗传算法的问题于在过在依靠创造者的口胃。开发职员需要引导算法，以均衡简朴性及正确性。一个方程老是可以经由过程附加项来触遇到数据集中的更多点。但最佳纰漏有些离题的点。研究者可以把简朴性界说为方程的长度，把正确性界说为曲线与数据集中每一个点的靠近水平，但这只是浩繁选项中的两个界说。
Sales-Pardo 、 Guimerà 与互助者一路，使用物理学及统计学方面的专业常识，按照贝叶斯理论的几率框架来从头界说进化历程。他们起首下载了维基百科中的所有方程式。然后对于这些方程举行统计阐发，看看哪些类型最多见。这类措施能让算法少走弯路，例如让算法测验考试利用比力常见的加法，而不是比力少见的双曲余弦。然后该算法利用随机抽样要领天生方程变体，该要领已经于数学上被证实可以摸索数学范畴的每个角落。
于每一个步调中，该算法以方程式对于数据集的压缩水平对于各种方程式举行评估。例如，随机散播的点底子不克不及被压缩，咱们需要知道每一个点的位置。假如1000个点沿着一条直线落下，它们可以被压缩成两个数字（直线的斜率及高度）。这对于学者发明，压缩水平为比力各个方程提供了一种怪异且不变的要领。Guimerà说：“咱们可以证实，准确的模子就是压缩数据至多的阿谁，这不存于肆意性。”
颠末多年研究，他们利用本身的算法找出了触发细胞破裂的因素，2020年，他们及同事们于《Bayesian machine scientist》中先容了他们的 “贝叶斯呆板科学家”。
3数据的海洋从那时起，研究职员用贝叶斯呆板科学家来改良猜测国度能源耗损的SoTA方程，而另外一组则利用该方程来模仿经由过程收集的渗入。开发职员认为这种算法将于像 Trepat 那样的生物学研究中阐扬巨高文用，由于于这类研究傍边科学家们面临的是海量数据。
呆板科学家也帮忙物理学家理解超过多标准的体系。物理学家凡是对于原子利用一组方程，对于台球利用一组彻底差别的方程，但这类零星的要领不合用在天气科学等学科研究。
此中一名研究职员是纽约年夜学的Laure Zanna 。她于模仿海洋湍流的事情中常常发明本身夹于两个极度之间：超等计较机可以模仿都会巨细的涡流，也能够模仿洲际洋流，但不克不及同时模仿两种标准。她的事情是帮忙计较机天生包罗较小旋涡影响的全局图片，而无需直接模仿这些图。最初，她转向深度神经收集来提取高分辩率模仿的总体效果，并响应地更新更大略的模仿。“深度神经收集太棒了，”她说，“但我是一位天气物理学家。”她的意思是她想经由过程压力及温度等道理来相识天气是怎样运作的——“可是很难收罗到成千上万的参数，更别说是满足的参数了。”
然后她发明了由华盛顿年夜学运用数学家Steven Brunton、Joshua Proctor及 Nathan Kutz设计的算法。他们的算法采用了一种被称为稀少回归（Sparse Regression）的要领，这类要领与符号回归的精力近似。这类要领没有于变异方程中挑起年夜混战，而是从一个可能有上千个函数好比 x^二、 x/(x − 1) 及 sin(x)的库最先。该算法于库中搜刮给出最正确猜测的术语组合，删除了最没用的术语，并继承直到库里只剩下少数几个术语。与符号回归算法比拟，稀少回归闪电般的历程可以处置惩罚更多的数据，其价钱是摸索的空间更小，由于终极方程必需由库项构建。
为明晰解其事情道理，Zanna 重新最先重写了稀少回归算法，然后将修改后的版本运用在海洋模子。当她输入高分辩率影片并要求算法寻觅切确的缩小草图时，算法返回了一个与涡度以和流体怎样拉伸及剪切有关的简便方程。当她将这个方程输入到她的年夜范围流体流动模子中时，她看到了以能量的函数情势变化的流体，且看患上比之前更真切。
“该算法利用了分外的术语，”Zanna 说，然后天生了一个“漂亮”的方程，“这个方程可以或许真正表现洋流的一些十分主要的特征，好比拉伸、剪切及扭转。”
4互助更强盛经由过程将自身上风与深度神经收集的上风相联合，其他团队也为呆板科学家提供了助推力。
普林斯顿年夜学天体物理学研究生Miles Cranmer开发了一种近似在 Eureqa 的开源符号回归算法，称为 PySR。这个算法于数字“岛屿”上成立了差别的方程组，并让最合适数据的方程周期性地“搬场”，然后与其他岛屿上的方程竞争。Cranmer 与 来自 DeepMind 以和纽约年夜学的计较机科学家，还有有 Flatiron 研究所的天体物理学家互助，提出了一种混淆方案。他们起首练习神经收集完成使命，再让PySR给出一个描写神经收集的特定部门完成为了何种使命的方程。
该小组将该步伐运用在暗物资模仿，并按照相邻云的特征天生了一个公式，该公式给出了暗物资云中央的密度。该方程比现有的人工设计方程更合适数据。
2 月，该小组向体系输入了30年来太阳系行星及卫星于天空中的真实位置。该算法彻底跳过了开普勒定律，直接揣度出牛顿的万有引力定律以和行星及卫星的质量。其他小组近来则利用 PySR 发明了描写粒子碰撞特性的方程、结体积的类似值以和暗物资云于此中心塑造星系的方式。
对于在呆板科学家愈来愈多的环境（另外一个值患上存眷的例子是麻省理工学院的物理学家 Max Tegmark 及 Silviu-Marian Udrescu 创立的“ AI Feynman ”），人类研究职员说，越多越好。“咱们真的需要这些技能，”库茨说，“全都需要，越多越好，由于没有一个技能是全能的。”
论文地址：https://www.science.org/doi/10.1126/sciadv.aay2631
Kutz 信赖呆板科学家正于将该范畴带到他所谓的“GoPro 物理学”的风口浪尖，研究职员只需将相机瞄准方针，就能获得一个捉住正于发生的工作素质的方程式。（今朝的算法仍旧需要人类提供一长串潜于相干变量，好比位置及角度。）
这就是 Lipson 近来一直于做的工作。于12 月的预印本中，他与互助学者描写道，他们起首练习了一个深度神经收集来吸收视频的几帧，并猜测接下来的几帧。然后，该团队削减了神经收集答应利用的变量数目，到其猜测最先掉败为止。
论文链接：https://arxiv.org/abs/2112.10755
该算法可以或许计较出需要几多变量来模仿像钟摆那样的简朴体系，或者者像火舌那样没有较着的变量可供跟踪的繁杂体系。
5（呆板）科学的边沿呆板科学家不会代替深度神经收集，由于深度神经收集可以或许于杂乱或者极为繁杂的体系中年夜放异彩。
然而，当触及到缭绕行星运行、流体晃动及细胞破裂时，呆板科学家仅使用极少量运算患上出的简明方程式却十分正确，使人费解。诺贝尔奖得到者 Eugene Wigner 于他 1960 年的论文《天然科学中数学的分歧理有用性（The Unreasonable Effectiveness of Mathematics in the Natural Sciences）》中将其称为“咱们既不睬解也不配患上的美妙礼品” 。正如 Cranmer 所说，“你去看看任何物理测验方程式的小抄，上面都是极为简朴的代数表达式，但这些小抄帮忙太年夜了。”
Cranmer 和其同事推测，基础运算之以是云云精彩，是由于它们代表了空间中的基本几何动作，这使患上它们成为描写实际的天然语言。加法将对于象向下挪动到数轴。乘法将平展区域酿成 3D 体积。出在这个缘故原由，他们思疑，当咱们于预测方程式时，往简朴了猜是永远有原理的。
不外，宇宙虽然有潜于的简朴性，却其实不能包管每一次这么预测都对于。
Guimerà 及 Sales-Pardo 最初构建了他们于数学上严酷的算法，由于 Eureqa 有时会为相似的输入找到大相径庭的方程。然而，令他们懊丧的是，他们发明，纵然是贝叶斯呆板科学家有时也会为给定的数据集返回多个一样好的模子。
两人近来注解，缘故原由于在数据自己。他们使用呆板科学家摸索了各类数据集，发明数据集分为两类：洁净的及有噪声的。于洁净的数据中，呆板科学家总能找到天生数据的方程式。但跨越必然的噪声阈值，就不成能找到了。换句话说，噪声数据可以很好地（或者很差地）匹配肆意数目的方程。由于研究职员已经经证实了他们的算法老是能找到最佳的方程，他们知道，假如算法掉败了，那就没有任何人类或者者呆板可以或许乐成。
“咱们发明这是一个基本的限定，”吉梅拉说。“以是咱们需要呆板科学家。”
参考链接：
https://www.quantamagazine.org/machine-scientists-distill-the-laws-of-physics-from-raw-data-20220510/
https://www.icrea.cat/Web/ScientificStaff/roger-guimera-manrique-512
Marta Sales-Pardo (0000-0002-8140-6525)
Hod Lipson
https://www.science.org/doi/10.1126/science.1165893
https://laurezanna.github.io/
雷峰网(公家号：雷峰网)
雷峰网版权文章，未经授权禁止转载。详情见转载须知。
-米兰·(milan)中国官方网站
