米兰·(milan)中国官方网站-工程院院士孙凝晖：计算机系统的演进规律，从求极致到求通用｜CNCC 2021

收拾 ｜ 琰琰

编纂 ｜ 青暮

12月16日，第十八届中国计较机年夜会(CNCC2021)于深圳隆重揭幕。本年年夜会主题是“计较赋能加快数字化转型”，设有17个特邀陈诉、3场年夜会论坛、113场技能论坛，跨越600位海内外计较机范畴知名专家、企业家聚焦差别专业及话题，从学术、技能、财产、教诲、科普等方面，全方位切磋数字经济与计较技能的前沿成长趋向。

揭幕当天，CCF会士、CCF常务理事、CCF王选奖得到者、中国工程院院士、中国科学院计较技能研究所研究员孙凝晖做了题为《从工程科学视角看计较机体系中的一个纪律》的特邀陈诉。于陈诉中，孙凝晖从工程科学中的基本要领出发，阐发了计较机体系中“求通用”的基本纪律，先容电子计较机及高机能计较机成为通用装备的技能成长历程，末了切磋了将来通用计较平台及高机能计较机的成长趋向及可能的主要立异。

于他看来，工程科学的基本纪律牵引着高机能计较机等年夜工程的成长。从工程科学观点性、要害性、配合性的视角来看，工程体系的建构方针遵照两年夜典型纪律，即求极致及求通用。经由过程计较摄像显微仪器及手机成像技能两个案例阐发，孙凝晖认为求极致体系的冲破点于在抓重要抵牾，再联合新理论及新工程技能来冲破要害指标。而求通用体系通常为一个疏松耦合布局，要害于在描画描写问题，并将其映照到要害工程布局设计中去，再联合技能的时空局限性构建体系。

于汗青性回首中，孙凝晖从工程科学视角总结了从算盘时代，到机械计较东西，再到通用型电子计较机繁荣成长的要害迁移转变点及冲破缘故原由。联合自身研究事情，孙凝晖回首了从求极致的超等计较机到求通用的高机能计较机的成长历程，总结了组织通用高机能计较机的工程科学基本要领。末了，他猜测，将来的进步前辈计较体系于观点性、要害性、配合性三个方面会出现出如下特色：（1）于观点上体系熵把无序变为有序；（2）以数据为中央，具有内构安全特色的高通量计较体系会成为新的要害性布局；（3）体系的配合性将从以数据建模为中央的第四范式迈向以建模繁杂体系为焦点的第五范式。

如下是演讲全文，AI科技评论做了不转变原意的收拾：

今天的陈诉主题是从工程科学视角看计较机体系中的纪律，与各人一路来切磋引导高机能计较机如许年夜工程的科学道理或者者纪律是甚么？咱们一般从计较机理论及数理基础出发来思索工程科学的纪律，那末，我今天试图从工程科学纪律视角来看如许年夜的计较机体系。

2017年末，两院院士郑哲敏师长教师发表了一篇文章《从钱学森的技能科学思惟谈起》，从这篇文章中，我获得一些启迪。这篇文章谈到于科学发明的初期，科学及技能没有严酷的区别，以牛顿为例，他既是力学三年夜定律的提出者，也是剑桥年夜学物资布局研究的科学家。到了19世纪，科学及工程最先各奔前程，暗地里的缘故原由是天然科学自己没有一个完备的系统，加之许多科学理论对于工程的现实孝敬有限，以是，年夜多工程师只采用纯工程的要领来解决问题。厥后到了20世纪中期，天然科学及工程技能再次慎密接洽于一路。尤其是二战时期，火箭、雷达、核兵器，这些设备都是年夜工程，它们不是依赖工程实践堆集及经验判定设计出来的，而是需要年夜量的天然科学作为依据，是科学家及工程师紧密亲密互助的产品。以是工程科学、天然科学及工程技能，三者之间的接洽素质上长短常慎密的。

工程技能虽然是对于天然界事物的经验累积及对于工艺的改良，但把此中的一些共性经验及理论提炼出来，就能够形成工程科学理论或者者具备遍及意义的纪律；而工程科学对于技能科学的结果加以阐发及提高就有可能成为天然科学的一部门，好比工程节制论。

郑哲敏师长教师于这篇文章指出：“技能科学与工程技能的区分于在，每一项工程触及各类各样的详细技能问题，而技能科学是研究此中观点性、要害性、配合性的纪律，给出一些工程上解决近似问题的配合方案。就是说，技能科学对于工业技能有着指导的作用，能极年夜地促成及鞭策工程技能的成长。”简朴来看，咱们可以把它称为“三性”，别离是观点性、要害性及配合性。

今天我想用这三年夜类要领来看一下计较机体系中的典型纪律，我称它们为求极致的纪律及求通用的纪律。咱们做年夜工程的体系建构重要有两个年夜方针，一个叫求极致，于特定维度或者者焦点技能上冲破最高、最年夜、最快的技能极限，开拓科学研究的新疆界，好比，近似的工程有最快的超等计较机，最重的重型火箭，或者者最年夜口径的千里镜，这种体系凡是于学术研究中比力遍及。

另外一个叫求通用，这种体系的设计要求约束多，可快速迭代，利用规模广，可兼容性强，好比咱们的手机摄像头，汽车工业，平易近航客机，高机能计较机，这些都是求通用的典型体系，一般工业界对于近似体系的建构更感兴致。这两类体系于彼此促成及彼此转换的历程中，也存于一些内涵纪律。

我举两个例子，一个求极致的例子是戴琼海院士于《天然-光子学（Nature Photonics）》杂志上发表的一项研究事情，这项研究将光学、微电子、计较机视觉以和旌旗灯号处置惩罚等学科交织，提出了一种显微成像新架构，研制了“及时超宽场高分辩率成像显微镜”，各项研究指标都到达了极致，好比1厘米x1.2厘米的超宽带视场，1.2微米的高分辩率，51亿像素每一秒的数据通量。这一事情为生命科学及医学研究提供了一件“利器”。

别的一个求通用的例子是咱们很是认识的手机成像技能，它不寻求每个单项指标都到达极致，而是用软硬一体化来补短板，盘踞除了了专业相机之外的市场。它经由过程图象旌旗灯号处置惩罚器（ ISP）填补硬件于单项指标上的不足，让成像器件，图象计较硬件及处置惩罚软件协同前进，并经由过程快速迭代实现机能晋升。

我简朴总结了一下这两类体系建构的一些基本要领。

求极致的要害是抓重要抵牾，再联合要害的科学理论及工程技能冲破指标上的极致，形成紧耦合布局，末了整合所有技能，定制体系内部需要的部件。

求通用体系于观点性上是一个多问题，需要对于多个问题举行描画及描写；于布局上凡是是疏松耦合的，需要对于工程布局做最优映照；于配合性上要降服短板，解决技能的时空局限性等问题。

接下来，我起首回首一下计较体系的成长过程。从工程科学的纪律的角度，咱们把视角拉远一些，咱们不雅察到如许一条曲线，从最早的算盘，成长到电子计较机，再到此刻的高机能计较机，中间呈现了三个颠峰，三个山坡。这三个颠峰别离代表机械计较东西、超等计较机及将来Z级计较机。好比咱们最早的算盘，爬到了机械计较东西的颠峰，由于有了一些纪律，走到了通用计较机的繁荣。但这些体系于演化的历程中，毕竟需要甚么样的纪律？这是咱们需要思索的。

我先来先容第一个曲线，这是一个汗青的回首，咱们怎样从算盘成长到通用的电子计较机。

假如做一个简朴的罗列，人类汗青上第一小我私家造计较东西降生在中国公元1200年前，于它呈现以前，咱们只有数学（算术），没有Computing（计较）的观点。

第二步，帕斯卡及莱布尼兹发现了机械式加法器（1642）及乘法主动计较机（1673）。

第三步，1801年，杰卡德发现了首个可编程织布机——经由过程穿孔卡对于织布机举行编程。

第四步，1837年，巴贝奇设计了差分机与阐发机，虽然于工程上没有完全实现，但已经经可以完成很是繁杂的计较，好比经由过程多项式迫近对于数、指数及三角函数。

第五步，1843年，世界上第一名步伐员爱达设计了一个算法，用来计较伯努利数列的值。这是第一个使用计较机举行运算的算法步伐。

第六步，机械计较东西到了颠峰。二战时期，图灵为了破译暗码设计出“图灵甜点”解码机。

至此机械式计较东西到达了工程技能堆集的巅峰，直到呈现了三位伟年夜学者，他们的发现奠基了现代通用计较机工程科学的三年夜基石，别离是：

于观点性上的图灵机模子：提出了可以或许主动履行步伐的通用计较装配的科学道理。

于要害性上的冯诺依曼系统布局：为图灵机的实现提供了一个通用的系统布局——所有计较机分为输入装备、存储器、运算器、输出装备5个部门；采用存储步伐方式，将指令及数据存储在统一存储器。

于配合性上的肖克莱晶体管：可以或许实现计较机的数学基础布尔代数的开关器件。

从汗青的成长中，咱们可以看出，假如工程技能仅仅是一个无穷的经验堆集，年夜概会止步在机械计较东西的巅峰，也就是图灵甜点机。

第二条曲线，从超等计较机到高机能计较机时代。

咱们常常会混合这两个观点，想想咱们为何会发现两个名词来讲明一件事，可能就是对于在计较东西，咱们永远但愿它的计较速率越快越好。于汗青上，高机能计较装配可以简朴分成三个时代：于 CRAY时代，经由过程部件的并行向量化来提高机能；于MPP时代，经由过程年夜范围并行及定制化组件，把呆板机能做到极致；于机群时代，使用三年夜纪律把一个高真个装配酿成通用的计较部件。

这些历程是怎样发生的？一个极致的计较装配怎样酿成一个通用的计较设备呢？

从观点性、要害性及配合性三个方面来说，咱们认为应该有如下三点变化：

于观点性方面，要有一个牵引型的方针，也就是评价尺度从求最年夜极值改变为最年夜积分；

于要害性方面，机群架构应该是疏松耦合布局+尺度化的部件；

于配合性方面，机能工程要采用通用布局，并到达极致机能。

咱们超等计较机一般以单一的极限指标作为评价指标，任何一台计较机，先设计一个方针，谁的机能更高，谁的技能就更强。于汗青上有许多如许的指标，好比LINPACK（1993）、Graph500（2010）、Green500（2013）、HPCG（2014）、HPL-AI（2019）。寻求这些单一指标的“极值”显然不是求通用的一个驱动力。超算寻求的是计较能力，也就是求一个点的“极值”，让所有指标于访存计较比及饱及机能的二维布局里，一条线到达最高。但真实的通用，是需要反应很是多的计较及访存特征的，以是光一个点求最高是不敷的。那末，假如要造一个通用的容量计较体系，从线到面，咱们就需要一个近似在“积分最年夜”的体系，高效支撑多种运用。这是第一个变化。

第二个变化表现于要害性，也就是机群布局。机群布局需要有三个的基本前提，第一是布局是疏松耦合的；第二是每一个组件要可尺度化。假如部件是定制化的，可能不克不及顺应通用的运用场景；第三是高机能计较的要求，假如采用尺度的组件一般不太轻易建构出高机能的体系，以是还有要有一系列机能可拓展的要领。三者加起来才能做到通用高机能计较机。时间瓜葛，咱们简述一下尺度化的几个要害点。第一个是“造”尺度化，把机群基础软硬件货架化，包括软件尺度化、硬件尺度化、互联尺度化；第二个是“送”尺度化，让用户可以“轻易”获取算力；第三个是“用”的尺度化，经由过程屏蔽差别条理的细节实现“用” 的方针。

一般来说，从基础库及函数抽象，再到框架/范畴编程要领来实现尺度化，会带来所谓的“软件肿胀”，机能丧失很是年夜，以是咱们需要经由过程机能工程来获取一个极致的机能，这也就是适才提到的第三个变化。到今朝，通用布局获取极致机能的调优要领履历了三个阶段。早年利用的是单一模子要领，由图灵奖患上主Fra Allen于2006年提出的机能优化模子。厥后跟着负载特性变患上越发繁杂，美国工程院院士Jack Dongarra设计出了软件工程要领。而今朝采用的可能是智能调优技能，以应答越发碎片化的负载特性。

起首讲一下通用计较体系，也就是计较体系怎样变患上“更通用”？咱们认为重要是要形成“平台型计较装配”。计较机体系存于一个通用趋向或者纪律，咱们称之为“X as a Computer”，就是每一隔10年就会呈现一类新的计较机体系，包括新的编程平台、新的收集毗连，新的用户接口，新的利用方式。它们更廉价，运用规模更广泛，形成为了新的平台型通用计较机装配。

假如咱们把已往60年形成的纪律加以总结，年夜致可以分成三个时代。

起首是IT 1.0 时代，咱们把专用计较装配酿成了高机能计较机（Calculator as a Computer，CaaC），办事国度部分实现了信息化；把专用的制表装配酿成了一个通用办事器（Tabulator as a Computer，TaaC），实现了企业的信息化进级。

其次是 IT 2.0 时代，于这个时代里，人类社会及呆板于实际世界有了交互，称之为Co妹妹unication时代。咱们把专用办公装备用到PC端实现了办公信息化（Office as a Computer，OaaC）；把专用通讯装备移植到智能手机（Phone as a Computer，PaaC ），实现了消费者的信息化。

咱们此刻正于一个“人机物”三元交融的万物智能互联时代，也能够成为IT 3.0时代。咱们将为创造的各类装备，好比人造汽车，人造车床，智能硬件，提供一个“物端通用计较机（Thumb Computer）”。除了了人造装备外，咱们人体及天然物体也能够信息化（Body as a Computer）。如许整个世界及物理世界同一统一个重大的信息收集空间里。

根据上面的纪律，咱们发明于求通用装备的泛于演化的历程，形成为了当前信息社会的五个乐成的平台型计较装配：（1）用在要害部分的高机能计较机；（2）企业级办事器；（3）员工利用的PC；（4）公共智能手机；（5）工控/兵器设备利用的嵌入式计较机。将来可能还有会呈现第六个平台型计较设备。

第二，将来高机能计较这一类寻求极致机能的体系的成长有哪些共性要领，是否有章可循？

咱们认为要害于在Z级计较机怎样提高体系能效。当前求通用的高机能计较机撞上了一堵能耗墙，计较能力每一增长10倍，能耗曲线就会上移一个台阶，也就是说，算力晋升历程孕育发生了巨年夜的能源耗损。2020年《Science》曾经发表一篇文章，从新布局、新器件、新工艺及运用驱动四个维度总结了几种立异解决方案。

好比于工艺立异上，从此刻的集成电路成长到集成芯片，使用Chiplet等技能冲破单芯片晶体管数目的上限。

于器件立异上，经由过程超导电子器件把高频率运行体系的能耗降到最低。好比基在超导约瑟夫森坚固现的布尔逻辑计较体系，运行频率可以到达100GHZ，具备极高的能效。

于模子立异上，经由过程天然计较将对于应问题解演化为最低能量态。这里所说的天然计较，是使用相似性道理模拟天然纪律，或者使用物理质料，构建自顺应、自演化的动力体系，类似求解传统计较要领难在解决的高阶繁杂问题。

于布局立异上，到底起码有几个XPU？回归到计较机科学的三个基本问题，思索巴贝奇主动计较问题、布什广义联系关系问题及图灵测试问题，或许咱们有三种基础的xPU，好比SPU、DPU、NPU，经由过程三者组合可以或许笼罩所有运用场景的计较需求。此中，SPU布局可以解决计较访存特性的差异性；DPU布局解决数据通路的全局有序节制问题；NPU可以或许对于呆板进修负载运算加以抽象化，以和数据带宽自顺应的神经元。

借用1991年 Bruce G. Buchanan发表的一篇陈诉，陈诉中提出任何一个计较体系均可以经由过程两个维度，划分成四个象限（横坐标代表确定性及开导式算法，纵坐标暗示符号计较及数值计较），那末每一个求通用体系、求极致体系都是此中的一个圆圈。假如咱们把适才提到的计较体系成长的3个时代、7个通用体系以和面向差别运用场景的求极致体系搜集于一张表格里，咱们就能够从中发明每一个体系的一个定位。

末了，假如将来求极致的计较机体系实现了，下一个越发繁荣的通用体系会是甚么？这个问题此刻来看可能还有太遥远，但咱们没关系做一个斗胆的料想，从工程科学的三个基本要领来看，我认为起首于观点上，“体系熵”会让体系从无序变到有序，这是此刻AIoT成长带来的一种显著需求。于要害性方面，将来的体系布局应该以数据为中央，实现数据处置惩罚的内构安全，咱们用“高通量”来代表这种技能。末了于配合性上，咱们要解决繁杂体系的建模问题，并从已往以数据建模为焦点的第四范式，转向以建模繁杂体系为焦点的第五范式。

这就是我今天陈诉的全数内容，谢谢各人。

GAIR 2021年夜会首日：18位Fellow的40年AI岁月，一场技能前沿的传承与舌战

2021-12-10

致敬传奇：中国并行处置惩罚四十年，他们从无人区摸索走到计较的黄金时代 | GAIR 2021

2021-12-09

时间的气力——1991 人工智能年夜辩说 30 周年数念：主义再也不，共融互生｜GAIR 2021

2021-12-12

将来已经来，元宇宙比你想象中来患上更早丨GAIR 2021

2021-12-12

雷峰网雷峰网(公家号：雷峰网)

雷峰网原创文章，未经授权禁止转载。详情见转载须知。