米兰·(milan)中国官方网站-重磅！Nature子刊发布稳定学习观点论文：建立因果推理和机器学习的共识基础

---

收拾丨AI科技评论

2月23日，清华年夜学计较机系崔鹏副传授与斯坦福年夜学Susan Athey（美国科学院院士，因果范畴国际权势巨子）互助，于全世界顶级期刊Nature Machine Intelligence（影响因子IF=15.51，2020）上发表题为“Stable Learning Establishes Some Co妹妹on Ground Between Causal Inference and Machine Learning”（不变进修：成立因果推理及呆板进修的共鸣）的不雅点论文。深切切磋及总结了因果推理于呆板进修及人工智能范畴取患上的存眷，并对于“不变进修”提出了体系性阐发及瞻望。文章认为，呆板进修及因果推理之间应该形成共鸣，而不变进修正于向实现这一方针的标的目的迈进。

1呆板进修与经济学的碰撞，会孕育发生甚么样的火花？人工智能的方针是让呆板像人类同样“思索”及“决议计划”，呆板进修是实现这一愿景的主要要领。那末，用呆板进修的要领来解决实际中的决议计划问题是否可行？斯坦福年夜学的Susan Athey于一次演讲顶用身旁的例子举行了举例：斯坦福年夜学的经济学系女传授的平均程度好像比男传授更高，总是发不出文章的传授中女传授很少，但这颇有多是由于数据自身的局限性，假如经由过程呆板进修的要领编写步伐按性别来筛选候选人，并用斯坦福的练习数据去推而广之，颇有可能于现实中孕育发生歧视。使用呆板进修实现对于一项政策效果举行更精准的揣度，这恰是诺贝尔奖级另外研究结果——Susan Athey与她的丈夫Guido Imbens最近几年来存眷的研究标的目的恰是使用呆板进修实现对于政策效果更精准的揣度，并于交融呆板进修与政策的措置效应方面互助撰写了多篇文章。而Guido Imbens2021年也是以与另两位学者分享了昔时的诺贝尔经济学奖，评奖委员会认为，他们于劳动经济学及从天然试验中阐发因果推理方面做出了凸起孝敬，掀起了经济学研究的“可托革命”。所谓“因果推理”是计量经济学中最近几年来获得器重的一个主要观点。传统计量经济学一般集中于统计推理方面，器重变量之间的相干性而轻忽了傍边的因果瓜葛；因果揣度则是将相干性与因果性举行自力阐发，科学地辨认变量间的因果瓜葛。于呆板进修范畴也存于近似的问题，今朝年夜大都呆板进修模子看重各因素之间的相干性阐发，由此衍生的“泛化性”及“可托性”恰是当前呆板进修需要面临的两年夜问题。于年夜数据时代，人们认为可以使用更年夜的呆板或者者更大都据解决问题，但许多时辰问题的谜底其实不于数据中。这也恰是呆板进修难以于现实场景中运用在决议计划的缘故原由：呆板进修存于缺少可注释性及未知情况下的不变性的问题，既难以猜测布局变化以后的成果，也不克不及对于成果举行合理的注释。

（人工智能的两年夜问题：缺少可注释性及不变性，来自崔鹏的陈诉ppt）Susan Athey于2017年为《Science》撰写的综述性文章《Beyond Prediction：Using big data for policyproblems》中总结，于做出猜测及做出决议计划之间存于很多差距，为了优化数据驱动的决议计划，需要理解基本假定。而这也恰是解决呆板进修两年夜问题的有用路子。

（Susan 2017年为《Science》撰写的综述性文章）于呆板进修历程中带来的联系关系统计被认为是致使今朝的呆板进修缺少可注释性及不变性的主要缘故原由。现有的年夜部门呆板进修要领都需要IID假定，即练习数据及测试数据该当是自力同漫衍的。然而于实际中这一假定很难满意。以咱们认识的图片“猫狗检测”为例，假如练习数据的年夜部门图片中狗位在草地上，模子对于“水中的狗”这一极度样例的检测可能会彻底掉效，甚至可能呈现“指猫为狗”的过错，把于草地上的猫错认为狗。

（来自崔鹏的陈诉ppt）当下的人工智能技能往往不克不及很好地泛化到未知的情况，是由于现有年夜部门呆板进修模子重要是联系关系驱动的，这些模子凡是只做到了知其“然”（即联系关系性）而不知其“以是然”（即因果性）。将因果推理的思惟推广到呆板进修范畴，去除了联系关系中的虚伪联系关系，利用因果联系关系引导模子进修，是晋升模子于未知情况下不变性底子路径之一。值患上一提的是，从因果角度出发，可注释性及不变性之间存于必然的内涵瓜葛，即经由过程优化模子的不变性亦可晋升其可注释性，从而解决当前人工智能技能于落地中面对的困境。基在此，清华年夜学崔鹏团队从2016年起最先深切研究怎样将因果推理与呆板进修相联合，并终极形成为了“不变进修”（Stable Learning）的研究标的目的。不变进修有望填补呆板进修模子的“猜测”到经济糊口等实际“决议计划”之间的鸿沟，跟着对于因果阐发研究的进一步深切，以不变进修为代表的因果阐发建模技能将成为人工智能成长的冲破口，帮忙咱们从数据中揣度出因果瓜葛并举行有用查验，从而做出更好的决议计划。

2不变进修：成立因果推理及呆板进修的共鸣择要因果推理最近几年来于呆板进修及人工智能范畴引起了广泛存眷。它凡是被定位为一个怪异的研究范畴，可以将呆板进修的规模从猜测建模扩大到干涉干与及决议计划。而从作者的角度来看，即便对于在呆板进修所擅长的猜测类问题，假如对于猜测不变性、可注释性及公允性提出较高要求，那末因果统计的思惟对于在改善呆板进修、猜测建模也变患上不成或者缺。基在此，作者提出了不变进修的观点及框架，以弥合因果推理中传统切确建模与呆板进修中的黑盒要领之间的鸿沟。本文阐了然呆板进修模子的危害来历，会商了将因果瓜葛引入呆板进修的须要性，从因果推理及统计进修两个视角论述了不变进修的基本思惟及最新进展，并会商了不变进修与可注释性及公允性问题的瓜葛。当前呆板进修的重要危害论文指出，呆板进修技能的优化方针是猜测的精度及效率，而过错猜测的潜于危害往往被轻忽。对于在猜测点击量或者对于图象举行分类等运用，模子可以频仍更新，过错的价钱也不会过高。是以，这些运用范畴很是合适联合连续机能监控的黑盒技能，这也是最近几年来呆板进修患上以快速成长的基础。然而，最近几年来呆板进修被运用在医疗康健、工业制造、金融及司法等高危害范畴，于这些范畴，呆板进修算法犯下的过错可能会带来巨年夜的危害。特别是当算法猜测于决议计划历程中阐扬主要作历时，过错会对于安全、品德及公理等社会问题孕育发生庞大后果。是以，缺少不变性、可注释性及公允保障是现今呆板进修中亟需解决的最要害及最紧急的议题。虚伪相干性：危害的重要来历如图所示，相干性有三种来历，即由因果性致使的相干性、滋扰变量致使的相干性、由样本选择误差致使的相干性。于这三种相干性中，只有由因果性致使的相干性是可以包管于各类情况下不变建立、且可以被注释的。而今朝的神经收集模子并无对于特性是否存于因果性加以区别，这也是致使模子机能不不变的主要缘故原由。

（相干性的三种来历）论文进一步阐述了呆板进修可以免由因果推理的基本问题引起的可验证性等挑战及局限性，并认为，呆板进修及因果推理之间应该形成共鸣基础，不变进修的框架恰是实现这一方针的路径之一。不变进修：成立因果推理及呆板进修的共鸣论文还有进一步论述了不变进修的定位与成长脉络，并比力了与常见的自力同漫衍模子及迁徙进修模子的异同：

自力同漫衍模子的练习及测试都于不异漫衍的数据下完成，测试方针是晋升模子于测试集上的正确度，对于测试集情况有较高的要求；

迁徙进修一样指望晋升模子于测试集上的正确度，虽然答应测试集的样天职布与练习集差别，但要求测试集样天职布已经知；

不变进修无需测试数据集与练习数据来自统一漫衍，而且不假定测试数据漫衍已经知。测试方针是于包管模子平均正确度的条件下，降低模子机能于各类差别样天职布下的正确率方差。与上述进修模式比拟，不变进修的方针更靠近实际的问题设置，理论上，不变进修可以于差别漫衍的测试集下都有较好的机能体现。

结论文章末了提出，假如咱们但愿呆板进修算法能被进一步运用，需要解决不变性、可注释性及公允性问题，而这些问题是现今进修范式的底子局限，需要从底子上加以解决。只管业内对于猜测、相干性及因果瓜葛的基础仍存于争辩，因果推理，特别是于不雅察研究中所取患上的一些最新进展已经经可以为呆板进修提供更多的看法及理论撑持。作为一种新的进修范式，不变进修试图联合这两个标的目的之间的共鸣基础。怎样合理地放松严酷的假定，以匹配更多具备挑战性的真实运用场景，并于不捐躯猜测能力的环境下使呆板进修更可托，是将来不变进修需要解决的要害问题。论文完备内容拜见Nature网站：https://www.nature.com/articles/s42256-022-00445-z

3作者简介崔鹏清华年夜学长聘副传授。在2010年得到清华年夜学博士学位，研究兴致包括年夜数据情况下的因果推理与不变猜测、收集表征进修，和其于聪明医疗、贸易决议计划等场景中的运用。从2016年起，崔鹏与团队最先深切研究怎样将因果推理与呆板进修相联合，并终极形成为了“不变进修”（Stable Learning）的研究标的目的。他于数据挖掘及多媒体范畴的闻名集会及期刊上发表了150多篇论文，并前后得到7项国际集会和期刊最好论文奖。曾经得到CCF-IEEE CS青年科学家奖，国度天然科学二等奖，以和省部级一等奖3项。今朝是ACM卓异会员，CCF卓异会员以和IEEE高级会员。Susan Athey斯坦福年夜学商学院传授，美国科学院院士，美国艺术与科学院院士，美国经济学会主席，约翰·贝茨·克拉克奖（该奖项也被视为诺内尔经济学奖的风向标）的第一名女性得到者。她曾经于微软担当咨询首席经济学家六年，今朝是斯坦福年夜学斯坦福经济政策研究所高级研究员、以报酬本人工智能研究所副主任、 Golub Capital 社会影响试验室主任。Susan Athey本科时期于杜克年夜学同时主修经济学、数学与计较机科学三个专业，今朝专注在数字化经济学、市场设计以和计量经济学与呆板进修范畴的交织范畴研究，是因果范畴的国际权势巨子。

雷峰网(公家号：雷峰网)雷峰网

雷峰网原创文章，未经授权禁止转载。详情见转载须知。

-米兰·(milan)中国官方网站