米兰·(milan)中国官方网站-吴恩达：机器学习的六个核心算法

---

导语：这六种算法别离是：线性回归、逻辑回归、梯度降落、神经收集、决议计划树与k均值聚类算法。

编译 | 黄楠

编纂 | 陈彩娴

近来，吴恩达于其开办的人工智能周讯《The Batch》上更新了一篇博文，总结了呆板进修范畴多个基础算法的汗青溯源。文章开首，吴恩达回忆他的研究过程中曾经有一次抉择：多年前，于一次项目中，选择算法时，他不能不于神经收集与决议计划树进修算法之间做选择。思量到计较预算，他终极选择了神经收集，于很长的一段时间内弃用加强决议计划树。这是一个过错的决议，「幸好我的团队很快修改了我的选择，项目才乐成。」吴恩达谈道。他由此感叹，不停进修与更新基础常识是十分主要的。与其他技能范畴同样，跟着研究职员的增长、研究结果数目的增加，呆板进修范畴也于不停成长。但有些基础算法与焦点思惟的孝敬是经患上起时间磨练的：算法：线性及逻辑回归、决议计划树等观点：正则化、优化丧失函数、误差/方差等于吴恩达看来，这些算法与观点是很多呆板进修模子的焦点思惟，包括房价猜测器、文本-图象天生器（如DALL·E）等。于最新的这篇文章中，吴恩达与团队调研了六种基础算法的来历、用途、蜕变等，并提供了较为具体的解说。这六种算法别离是：线性回归、逻辑回归、梯度降落、神经收集、决议计划树与k均值聚类算法。

1线性回归：直的 窄的线性回归是呆板进修中的一个要害的统计要领，但它并不是不战而胜。它由两位卓异的数学家提出，但200 年已往了，这个问题仍未解决。持久存于的争议不仅证实了该算法具备精彩的实用性，还有证实了它的素质十分简朴。那末线性回归究竟是谁的算法呢？1805 年，法国数学家 Adrien-Marie Legendre 发表了将一条线拟合到一组点的要领，同时试图猜测彗星的位置（天体导航是其时全世界贸易中最有价值的科学标的目的，就像今天的人工智能同样）。

图注：Adrien-Marie Legendre 的素刻画像四年后，24 岁的德国神童 Carl Friedrich Gauss （高斯）坚称他自 1795 年以来一直于利用它，但认为它太噜苏了，没法写。高斯的主意促使Legendre匿名发表了一份文章，称“一名很是闻名的几何学家绝不夷由地采用了这类要领。”

图注：Carl Friedrich Gauss斜率及误差：当成果与影响它的变量之间的瓜葛遵照直线时，线性回归颇有用。例如，汽车的油耗与其重量成线性瓜葛。汽车的油耗 y 与其重量 x 之间的瓜葛取决在直线的斜率 w（油耗随重量上升的幅度）及偏置项 b（零重量时的油耗）：y=w*x+b。于练习时期，给定汽车的重量，算法会猜测预期的油耗。它比力了预期及现实的油耗。然后，它将平方差最小化，凡是经由过程平凡最小二乘技能，考验 w 及 b 的值。思量汽车的阻力可以天生更切确的猜测。附加变量将线延长到平面。经由过程这类方式，线性回归可以容纳肆意数目的变量/维度。普和的两个步调：该算法当即帮忙帆海者追踪星星，以和帮忙厥后的生物学家（特别是查尔斯·达尔文的堂兄Francis Galton）辨认植物及动物的可遗传特性。这两项深切成长开释了线性回归的广泛潜力。1922 年，英国统计学家 Ronald Fisher 及 Karl Pearson 展示了线性回归怎样顺应相干性及漫衍的一般统计框架，使其于所有科学中都有效。并且，近一个世纪后，计较机的呈现提供了数据及处置惩罚能力，可以更年夜水平地使用它。应答歧义：固然，数据永远不会被完善地权衡，有些变量比其他变量更主要。这些糊口事实引发了更繁杂的变体。例如，带有正则化的线性回归（也称为「岭回归」，ridge regression）鼓动勉励线性回归模子不要过量地依靠在任何一个变量，或者者更切当地说，匀称地依靠在最主要的变量。假如为了简朴起见，另外一种情势的正则化（L1 而不是 L2）会孕育发生 lasso（压缩预计），鼓动勉励尽可能多的系数为零。换句话说，它学会选择具备高猜测能力的变量并纰漏其余的。弹性收集联合了这两种类型的正则化。当数据稀少或者特性看起来相干时，它颇有用。于每一个神经元中：此刻，简朴的版本仍旧很是有效。神经收集中最多见的神经元类型是线性回归模子，随后长短线性激活函数，使线性回归成为深度进修的基本构成部门。

2逻辑回归：追随曲线曾经经有一段时间，逻辑回归只用在对于一件事举行分类：假如你喝了一瓶毒药，你可能会被贴上的标签是“在世”还有是“死去”呢？时代变了，今天，不仅呼叫紧迫办事为这个问题提供了更好的谜底，并且逻辑回归同样成为了深度进修的焦点。毒物节制：逻辑函数可以追溯到 1830 年月，其时比利时统计学家 P.F. Verhulst 发现它来描写人口动态：跟着时间的推移，指数增加的初始爆炸跟着它耗损可用资源而趋在平缓，从而孕育发生特性逻辑曲线。一个多世纪已往后，美国统计学家 E. B. Wilson 及他的学生 Jane Worcester 又设计了逻辑回归来计较给定有害物资有几多是致命的。

图注：P.F. Verhulst拟合函数：逻辑回归将逻辑函数拟合到数据集，以便猜测给定事务（例如，摄取士的宁）发生特定成果（例如，过早灭亡）的几率。练习程度调解曲线的中央位置，垂直调解曲线的中间位置，以最年夜限度地削减函数输出与数据之间的偏差。将中央调解到右边或者左边象征着杀死平凡人需要或者多或者少的毒药。陡峭的坡度象征着确定性：于半途点以前，年夜大都人幸存下来；跨越一半，「就只能说再会了」（灭亡的意思）。缓坡更宽容：低在曲线中部，一半以上幸存；再往上，只有不到一半的人会幸存。于一个成果及另外一个成果之间设置一个阈值，好比 0.5，曲线就酿成了一个分类器。只需于模子中输入剂量，您就会知道您应该规划聚首还有是葬礼。更多成果：Verhulst 的事情发明了二元成果的几率，纰漏了进一步的可能性，例如中毒受害者可能会进入下世的哪一边。他的继任者扩大了算法：于 1960 年月后期，英国统计学家 David Cox 及荷兰统计学家 Henri Theil 自力事情，对于具备两种以上可能成果的环境举行了逻辑回归。进一步的事情孕育发生了有序逻辑回归，此中成果是有序值。为了处置惩罚稀少或者高维数据，逻辑回归可以使用与线性回归不异的正则化技能。

图注：David Cox多功效曲线：逻辑函数以相称正确的方式描写了广泛的征象，是以逻辑回归于很多环境下提供了有效的基线猜测。于医学上，它可以预计灭亡率及疾病危害。于政治学中，它猜测选举的赢家及输家。于经济学中，它猜测贸易远景。更主要的是，它于各类各样的神经收集中驱动一部门神经元（此中非线性是 Sigmoid 函数）。

3梯度降落：一切都于下坡想象一下黄昏后于山上徒步旅行，发明脚下甚么都看不到。并且您的手电机池没电了，是以您没法利用 GPS 运用步伐找到回家的路。您可能会经由过程梯度降落找到最快的路径。小心不要从绝壁上走。太阳及地毯：梯度降落比经由过程陡峭的地形降落更有益。1847年，法国数学家Augustin-Louis Cauchy发现了类似恒星轨道的算法。60 年后，他的同胞 Jacques Hadamard 自力开发了它来描写薄而矫捷的物体（如地毯）的变形，这可能会使膝盖向下徒步更易。然而，于呆板进修中，它最多见的用途是找到进修算法丧失函数的最低点。

图注：Augustin-Louis Cauchy向下爬：颠末练习的神经收集提供了一个函数，该函数于给定输入的环境下计较所需的输出。练习收集的一种要领是经由过程迭代计较现实输出与指望输出之间的差异，然后更改收集的参数值以缩小差异，从而将输出中的丧失或者偏差最小化。梯度降落缩小了差异，将计较丧失的函数最小化。收集的参数值相称在地形上的一个位置，丧失的是当前高度。跟着你的降落，你可以提高收集计较靠近所需输出的能力。可见性是有限的，由于于典型的监视进修环境下，该算法仅依靠在收集的参数值及丧失函数的梯度或者斜率——即你于山上的位置及你脚下的斜率。基本要领是向地形降落最陡的标的目的挪动。窍门是校准你的步幅。步幅过小，就需要很永劫间才能取患上进展；步幅太年夜，你就会跳入未知的范畴，多是上坡而不是下坡。给定当前位置，算法经由过程计较丧失函数的梯度来预计最快降落的标的目的。梯度指向上坡，那末该算法就是经由过程减去梯度的一小部门来以相反的标的目的进步。称为进修率的分数 α 决议了再次丈量梯度以前的步长。重复做这几个步调，但愿你能达到一个山谷。恭喜！卡于山谷里：太糟糕糕了，你的手机没电了，由于算法可能没有把你推到凸山的底部。你可能会堕入由多个山谷（局部最小值）、山岳（局部最年夜值）、鞍点（鞍点）及高原构成的非凸面景不雅中。事实上，图象辨认、文本天生及语音辨认等使命都长短凸的，而且已经经呈现了梯度降落的很多变体来处置惩罚这类环境。例如，该算法可能具备帮忙它放巨细幅上涨及下跌的动量，从而使其更有可能达到底部。研究职员设计了云云多的变体，以至在看起来优化器的数目与局部最小值同样多。幸运的是，局部最小值及全局最小值往往年夜致相等。最优优化器：梯度降落是寻觅任一函数的最小值的明确选择。于可以直接计较切确解的环境下——例如，具备年夜量变量的线性回归使命中——它可以迫近一个值，并且凡是速率更快、成本更低。但它确凿于繁杂的非线性使命中阐扬了作用。依附梯度降落及冒险精力，你可能可以和时赶出山区吃晚餐。

4神经收集：寻觅函数让咱们先把这个问题搞清晰：年夜脑不是一个图形处置惩罚单位集，假如它是的话，那它运行的软件要比典型的人工神经收集繁杂患上多。而神经收集的灵感来自负脑的布局：一层层彼此毗连的神经元，每一个神经元按照其相邻状况来计较本身的输出，由此孕育发生的一连串勾当形成为了一个设法——或者辨认出一张猫的照片。从生物到人工：年夜脑经由过程神经元之间彼此作用来进修的设法可以追溯到 1873 年，但直到 1943 年，美国神经科学家 Warren McCulloch 及 Walter Pitts 才使用简朴的数学法则成立了生物神经收集模子。1958 年，美国生理学家Frank Rosenblatt开发出感测器——这是一种于打卡机上实现的单层视觉收集，旨于为美国水师成立一个硬件版本。

图注：Frank Rosenblatt越年夜越好：Rosenblatt 的发现只能辨认单线分类。以后，乌克兰数学家 Alexey Ivakhnenko 及 Valentin Lapa 经由过程于肆意层数中重叠神经元收集，降服了这一限定。1985 年，自力事情的法国计较机科学家 Yann LeCun、David Parker 及美国生理学家 David Rumelhart 和其同事，描写了利用反向流传来有用练习此类收集。于新千年的第一个十年中，包括 Kumar Chellapilla、Dave Steinkraus 及 Rajat Raina（与吴恩达互助）于内的研究职员经由过程利用图形处置惩罚单位进一步鞭策了神经收集的成长，这使患上愈来愈年夜的神经收集能从互联网天生的海量数据中获得进修。合适每一项使命：神经收集暗地里的道理很简朴：对于在任何使命，都有一个可履行它的函数。一个神经收集经由过程组合多个简朴函数组成可练习函数，每一个函数由单个神经元履行。一个神经元的功效由称为「权重」的可调参数决议。给定这些权重及输入示例和其所需输出的随机值，就能够重复更改权重，直到可练习的函数能完成手头的使命。一个神经元可接管各类输入（例如，代表像素或者单词的数字，或者前一层的输出），将它们与权重相乘，乘积相加，并患上出由开发职员选择的非线性函数或者激活函数的总及。时期要思量到它是线性回归、加之一个激活函数。练习修改权重。对于在每一个示例输入，收集管帐算一个输出并将其与预期输出举行比力。反向流传可经由过程梯度降落来转变权重，以削减现实输出及预期输出间的差异。当有充足多（好的）例子反复这个历程充足屡次，收集就能学会履行这个使命。黑匣子：虽然命运好的话，一个练习有素的收集可以完成它的使命，但终极你要浏览一个函数，往往会很是繁杂——包罗数千个变量及嵌套的激活函数——以至在注释收集是怎样乐成完成其使命也长短常坚苦的。此外， 一个练习有素的收集只及它所学的数据同样好。例如，假如数据集有误差，那末收集的输出也会呈现误差。假如它只包罗猫的高分辩率图片，那它对于低分辩率图片的反映就不患上而知了。一个知识：于报导 Rosenblatt 在1958年发现的感测器时，《纽约时报》斥地了人工智能炒作的门路，报导中提到“美国水师指望拥有一台会走路、措辞、看、写、自我复制及意想到本身存于的电子计较机雏形。” 虽然其时的感测器没有到达这个要求，但它孕育发生了很多使人印象深刻的模子：用在图象的卷积神经收集；文本的轮回神经收集；以和用在图象、文本、语音、视频、卵白质布局等的transformers。它们已经经做出了使人赞叹的工作，像下围棋时的体现跨越了人类程度，于诊断X射线图象等现实使命中也靠近人类程度。然而，它们于知识及逻辑推理方面的问题仍旧较难应答。

5决议计划树：从根到叶亚里士多德是一个甚么样的「野兽」？这位哲学家的跟随者、第三世纪时期糊口于叙利亚的 Porphyry 想出了一个合乎逻辑的要领往返答这个问题。他将亚里士多德提出的“存于种别”从一般到详细组合起来，将亚里士多德依次归入到每一个分类中：亚里士多德的存于是物资的而不是观点或者精力；他的身体是有生命的而不是无生命的；他的思惟是理性的而不长短理性的。是以，他的分类是人类。中世纪的逻辑西席将这个序列绘制为垂直流程图：一个初期的决议计划树。数字差异：快进到 1963 年，密歇根年夜学社会学家John Sonquist及经济学家James Morgan于将查询拜访的受访者分组时，初次于计较机中实施了决议计划树。跟着主动练习算法软件的呈现，这类事情变患上很遍及，如今包括 scikit-learn 等于内的各类呆板进修库也已经经利用决议计划树。这套代码是由斯坦福年夜学及加州年夜学伯克利分校的四位统计学家破费了10 年时间开发的。到今天，重新最先编写决议计划树已经经成了《呆板进修 101》中的一项家庭功课。空中的根：决议计划树可以履行分类或者回归。它向下生长，从根部到树冠，将一个决议计划条理布局的输入示例分类为两个（或者更多）。想到德国医学家及人类学家Johann Blumenbach的课题：约莫于 1776 年，他起首将山公与猿（撇开人类除了外）区别开来，于此以前，山公及猿是被归为一类的。这类分类取决在各类尺度，例如是否有尾巴、胸部狭小或者宽广、是竖立还有是蹲伏、还有有智力的凹凸。利用经练习的决议计划树来为这种动物贴上标签，一一思量每一个尺度，终极将这两组动物分隔。这棵树从一个可视为包罗了所有案例的生物数据库的根节点出发——黑猩猩、年夜猩猩及红毛猩猩，以和卷尾猴、狒狒及狨猴。根会于两个子节点间提供选择，是否体现出某种特定特性，致使两个子节点包罗具备及不具备该特性的示例。以此类推，这个历程中以肆意数目的叶节点竣事，每一个叶节点都包罗年夜部门或者全数属在一个种别。为了发展，树必需找到根决议计划。要做选择，则患上思量所有的特性和其价值——后附肢、桶状胸等——并选择可以或许最年夜限度提高支解纯度的阿谁特性。「最好纯度」被界说为一个种别示例会 100% 进入一个特定的子节点、而不进入另外一个节点。分叉很少于只做了一个决议以后就百分之百纯粹、且极可能永远也达不到。跟着这个历程继承举行，孕育发生一个又一个条理的子节点，直至纯度不会由于思量更多的特性而增长几多。此时，这棵树树已经经彻底练习好了。于推理时，一个新的示例从上到下履历过决议计划树，完成每一个级别差别决议计划的评估。它会获得它地点叶节点所包罗的数据标签。进入前 10 名：鉴在 Blumenbach 的结论（厥后被Charles Darwin推翻），即人类与猿的区分于在宽广的骨盆、手及紧牙的牙齿，假如咱们想扩大决议计划树以不仅分类猿及山公，而是对于人类举行分类，那会怎么样呢？Australia计较机科学家 John Ross Quinlan 于 1986 年经由过程 ID3 实现了这一可能，它扩大了决议计划树，以撑持非二元成果。2008 年， 于IEEE国际数据挖掘集会筹谋的数据挖掘十年夜算法名单中，一项定名为 C4.5 的扩大细化算法压倒一切。于一个立异放肆的世界里，这就是长期力。拨开树叶：决议计划树确凿有一些错误谬误。它们很轻易经由过程增长多级别条理来过分拟合数据，以至在叶节点只包括一个例子。更糟糕糕的是，它们很轻易呈现胡蝶效应：改换一个例子，长出来的树就年夜不不异。走进丛林：美国统计学家 Leo Breiman 及新西兰统计学家 Adele Cutler 将这一特性转化为上风，在 2001 年开发了随机丛林（random forest）——这是一个决议计划树的调集，每一个决议计划树会处置惩罚差别的、堆叠的示例选择，并对于终极成果举行投票。随机丛林及它的表亲XGBoost不太轻易过分拟合，这有助在使它们成为最受接待的呆板进修算法之一。这就像让亚里士多德、Porphyry、Blumenbach、Darwin、 Jane Goodall、Dian Fossey及其他 1000 位动物学家一路于房间里，确保你的分类是最佳的。

6K均值聚类：群体思维假如你于聚首上与其别人站患上很近，那末你们极可能有一些配合点。这就是利用 k 均值聚类将数据点分组的设法。不管是经由过程人类机构还有是其他气力形成的群体，这个算法城市找到它们。从爆炸到拨号音：美国物理学家 Stuart Lloyd 是贝尔试验室标记性立异工场及发现原枪弹的曼哈顿规划的校友，他在 1957 年初次提出 k-means 聚类，以于数字旌旗灯号中分配信息，但直到 1982 年才发表这个事情：

论文地址：https://cs.nyu.edu/~roweis/csc2515-2006/readings/lloyd57.pdf与此同时，美国统计学家 Edward Forgy 于 1965 年描写了一种近似的要领，致使了它的替换名称为「Lloyd-Forgy 算法」。寻觅中央：思量将聚类分成志同志合的事情组。给定房间中介入者的位置及要形成的组数，k-means 聚类可以将介入者分成巨细年夜致相等的组，每一个组都堆积于一个中央点或者质心周围。于练习时期，算法最初经由过程随机选择 k 人来指定 k 个质心。（K 必需手动选择，找到一个最优值有时很是主要。）然后它经由过程将每一个人与近来的质心相干联来增加 k 个集群。对于在每一个集群，它计较分配到该组的所有人的平均位置，并将该平均位置指定为新的质心。每一个新的质心可能都没有被一小我私家盘踞，但那又怎样呢？人们偏向在堆积于巧克力及暖锅周围。计较出新的质心后，算法将个别从头分配到离他们近来的质心。然后它计较新的质心，调解集群，等等，直到质心（以和它们周围的组）再也不挪动。以后，将新成员分配到准确的集群就很轻易。让他们于房间里就位并寻觅近来的质心。预先正告：鉴在最初的随机质心分配，你可能终极不会与你但愿与之相处的以数据为中央的可爱 AI 专家于统一组中。该算法做患上很好，但不克不及包管找到最好解决方案。差别的间隔：固然，聚类对于象之间的间隔不需要很年夜。两个向量之间的任何器量均可以。例如，k-means 聚类可以按照他们的服装、职业或者其他属性来划分他们，而不是按照物理间隔对于到场派对于的人举行分组。于线市肆利用它按照客户的爱好或者举动来划分客户， 天文学家也能够将不异类型的星星分于一组。数据点的气力：这个设法孕育发生了一些光鲜明显的变化：K-medoids 利用现实数据点作为质心，而不是给定集群中的平均位置。中央点是可以将到集群中所有点的间隔最小化的点。这类变化更易注释，由于质心始终是数据点。Fuzzy C-Means Clustering 使数据点可以或许差别水平地介入多个集群。它按照与质心的间隔，用集群的度来取代硬簇分配。n 维狂欢：只管云云，原始情势的算法仍旧广泛有效——尤其是由于作为一种无监视算法，它不需要网络昂贵的标志数据。它的利用速率也愈来愈快。例如，包括 scikit-learn 于内的呆板进修库受益在 2002 年添加的 kd-trees，这些 kd-trees 可以很是快速地划分高维数据。原文链接：

https://read.deeplearning.ai/the-batch/issue-146/

雷峰网(公家号：雷峰网)

雷峰网版权文章，未经授权禁止转载。详情见转载须知。

-米兰·(milan)中国官方网站