米兰·(milan)中国官方网站-这项最新调查劝退效果拉满：67% 的 NLPer 怀疑自己的研究没价值
工业界垄断资源，NLP 隆冬 30 年内到来，可注释研究走错标的目的，NLPer：我太难了。
作者 | 李梅
编纂 | 陈彩娴一味寻求年夜模子是否是走错了路？
将来最有影响力的进展是会来自工业界还有是学术界？
语言模子到底有无理解语言？
我做的研究到底有无价值？
......
近来，一项针对于 NLP 社区的查询拜访反应了 NLPer 对于所有这些主要问题的见解。来自华盛顿年夜学、纽约年夜学及约翰霍普金斯年夜学的构成的研究团队，就 NLP 范畴的一些争议性问题征求了泛博研究者的定见，包括研究者于年夜模子、AGI（通用人工智能）、语言理解、将来标的目的等多个方面的见解。
查询拜访成果真是一看吓一跳，竟有多达 67 % 的 NLP 研究者对于本身所从事研究的科学价值抱有思疑立场！
还有有网友吐槽：连塔罗牌都比 NLP 靠谱。
其他受访者赞成比例相称高的不雅点还有有：
被援用至多的研究结果未来自工业界而不是学术界，如今工业界于引领 NLP 范畴成长进程方面的影响力过年夜；
否决最年夜化范围可以解决一切问题的假定；
“NLP 隆冬”将于将来 30 年内到临；
NLP 研究职员应该存眷 AGI；
NLP 研究职员应该更多思量整合来自临近学科（如语言学、认知科学）的看法；
已往 5 年发表的构建可注释模子的年夜大都研究都走错了标的目的；等等。
起首简朴先容一下本次查询拜访的受访者环境：
共有 480 位 NLPer 介入了这次查询拜访。此中 327 人于已往三年中至少发表过两篇 ACL 论文，这部门人是查询拜访的方针人群。
于地域漫衍上，受访者中的 58% 来自美国，23% 来自欧洲，8%来自亚洲。此中，来自中国的 NLP 研究者占 3%。
73% 的受访者来自学术界，22% 的受访者来自工业界，4% 从事非营利构造或者当局事情。此中，西席及高级治理职员占 41%，23% 是低级研究职员（包括博士后），33% 是博士生，2% 是硕士研究生或者本科生。
别的，受访者的男女比例别离为 67% 及 25%。
下面咱们来看本次查询拜访的具体成果及阐发：
1NLP 范畴的总体状态
图注：对于在每一个问题，图中底部显示赞成、弱赞成、弱差别意及差别意的比例。垂直的绿线（绿色数字）暗示赞成或者弱赞成该陈述的总百分比。工业界的范畴影响力
Q1-1：私营企业于引导该范畴的成长进程方面影响力过年夜。Q1-2：将来 10 年被援用至多的论文更有可能来自工业界，而不是学术界。
查询拜访成果显示，绝年夜大都人（86 %）都认为，将来 10 年，被援用至多的研究结果未来自工业界而不是学术界；但也有 77 % 的人认为，如今的私营企业于引领 NLP 范畴成长进程方面的影响力过年夜。
于很多人看来，一项事情的被援用次数其实不能很好地代表其价值或者主要性，并且，工业界对于该范畴的连续主导职位地方将孕育发生负面影响，好比于基础体系方面的绝对于节制职位地方，就像 GPT-3 及 PaLM。
不外，受访者对于这两个问题的回覆不合很年夜，于学术界人士中，认为工业界的影响力过年夜的人所占比重为 82 %，而于工业界这一比例为 58%。
NLP 隆冬什么时候到来？
受访者被扣问是否估计于不久的未来会呈现一个“NLP 隆冬”，即资金及就业时机较峰值降落至少 50%。
Q1-3：我估计将来 10 年内会呈现“NLP 隆冬”。Q1-4：我估计将来 30 年内将呈现“NLP 隆冬”。
有 30 % 的人赞成或者弱赞成隆冬将于将来 10 年内到来，此中仅有 7% 的人选择“赞成”；而信赖隆冬将于将来 30 年内到来的人要多患上多，比例为 62%。
只管 30 %不是一个年夜数字，但这也反应了这一部门 NLP 研究者的一种信念，即 NLP 研究将于不久的未来发生庞大变化（至少于谁提供资金以和提供几多资金方面）。为何他们的立场会相对于灰心？暗地里有很多可能缘故原由，好比因为工业界影响力过年夜而致使的立异阻滞，工业界将依附极少量资源足够的试验室来垄断行业，NLP 及其他 AI 子范畴之间的边界将消散，等等。
NLP 于科学上的价值
Q1-5：于 NLP 范畴发表的年夜部门事情于科学价值上值患上思疑。有67%的 NLP 研究者对于这一范畴研究事情的价值举行了反思，他们认为，年夜大都 NLP 事情于科学意义上是可疑的。
受访者对于“可疑”的界说多是多样的，包括底子不具备完备性的事情、所研究问题不得当、研究成果无心义，或者者研究发明其实不主要、不成靠等等。
作者匿名轨制的须要性
Q1-6：评审时期，作者匿名可包管对于研究的流传举行限定。ACL 集会的匿名政策比很多其他集会（如 NeurIPS、ICLR 及 ICML）要严酷患上多。查询拜访注解，只管争议许多，但 NLP 社区整体上是撑持这一政策的， 63% 的人认为匿名可以包管限定预印本的流传）。这个问题也显示出了较着的性别差异，有 77% 的女性暗示赞成，只有 58% 的男性暗示赞成。
2范围化、归纳误差及来自邻近范畴的开导
范围最年夜化是最终方案吗？
Q2-1：范围化（scaling）现实上可以解决任何主要问题。强化进修之父 Richard Sutton 于其文章 “The Bitter Lesson”中曾经发表一个广为人知的不雅点：使用计较的一般要领终极是最有用的，并且效率晋升幅度会很是年夜。于这类不雅点下，模子做患上愈来愈年夜，研究者指望于有充足练习数据及模子容量的环境下，与引入语言布局或者专家设计的归纳误差比拟，利用更少的、更通用的原则性进修机制是更优的方案。
然而，这项查询拜访的成果注解，NLP 研究者对于 Sutton 这类不雅点的承认水平现实上远远低在预期。仅有 17 % 的人赞成或者弱赞成：鉴在本世纪算力及数据的可能成长水平，扩展现有技能的实行范围将足以解决 NLP 的所有主要问题。于人人好像都对于年夜模子趋附者众确当下，这个数字是极低的。
语言理论及归纳误差的价值
Q2-2：以语言理论为基础的语言布局的离散暗示（如词义、句法或者语义图）对于在解决一些主要的实际世界问题或者 NLP 中的运用是须要的。Q2-3：专家设计的强归纳误差（如通用语法、符号体系或者受认知开导的计较原语）对于在解决一些主要的实际世界问题或者 NLP 中的运用是须要的。
Q2-4：到 2030 年，被援用次数至多的五个体系中至少有一个可能会从已往 50 年语言学或者认知科学研究成果中罗致明确的灵感。
与范围化的不雅点形成对于比，受访者对于在语言理论、归纳误差的撑持度现实上不低。50% 的人认为，语言布局对于在解决 NLP 问题是有须要的；51% 的人认为专家设计的归纳误差也很主要。很多 NLP 研究者好像认为，当前利用低归纳误差的神经收集架构举行端到端建模的趋向将会发生逆转。
此外，有 61% 的受访者暗示，2030 年被援用次数至多的五个体系极可能会从已往 50 年语言学或者认知科学研究中获取灵感。而事实上，当前体系对于认知科学的借鉴还有仅仅逗留于对于神经元、留意力、token 的大略注释上。
3AGI 和其危害
AGI 的争议
Q3-1：相识 AGI 的潜于成长和其好处/危害应该是 NLP 研究者的一个主要存眷事项。Q3-2：年夜范围呆板进修建模（例如语言建模及强化进修）的最新进展是 AGI 成长的主要体现。
GPT-3 及 PaLM 等年夜型预练习模子的多功效性及使人冷艳的语言输出，激发了人们对于通用人工智能 (AGI) 的巨年夜争议，包括猜测 AGI 什么时候会到来，咱们是否真的于朝着 AGI 进步，以和 AGI 的后果会是甚么，等等。
于关在 AGI 的问题上，受访者的定见漫衍比力平衡，58% 的人认为 AGI 该当是 NLP 研究者的一个主要存眷点，57% 的人信赖近来的研究显著鞭策了咱们向 AGI 标的目的成长。这两种不雅点具备高度正相干性。
AGI 会带来甚么？
Q3-3：于本世纪，由 AI/ML 的前进引起的劳动力主动化可能会致使具备工业革命范围的经济重组及社会厘革。Q3-4：于本世纪，由 AI/ML 体系做出的决议计划可能会激发一场周全核战役级另外严峻灾害。
73% 的受访者认为，AI 的主动化可能很快会带来革命性的社会厘革，这也是有那末多人认为 AGI 是一个主要问题的缘故原由。值患上留意的是，有 23% 的人只管认同这类厘革，但其实不赞成 AGI 的主要性，以是，关在 NLP 的会商也许没有须要牵涉进关在 AGI 的辩说中。
此外，约莫三分之一（36%) 的人认为，AI 决议计划可能会致使核战役级另外灾害。这注解，有相称一部门研究者都对于 AGI 暗示担心。
4语言理解
语言模子（LM）是否能理解语言？
Q4-1：对于在只于文本上练习的天生模子而言，只要有充足的数据及计较资源，就能够理解天然语言。Q4-2：对于在多模态天生模子（如一个颠末练习可以拜候图象、传感器及履行器数据等的模子）而言，只要有充足的数据及计较资源，就能够理解天然语言。
有一半（51%） 的人赞成 LM 理解语言，假如模子还有可以拜候多模态数据（图象等），赞成的人则占比更多，为 67%。
Q4-3：原则上，咱们可以经由过程跟踪模子于纯文天职类或者语言天生基准上的体现来评估模子对于天然语言的理解水平。比拟之下，只有 36% 的人认为，纯文本评估可以权衡语言理解。这注解于许多人看来，评估是一个自力的问题，理解多是可进修的，但不成丈量。
5存于的问题和将来标的目的
过在存眷范围化及基准
Q5-1：当前的 NLP 范畴过在存眷增年夜呆板进修模子。Q5-2。当前的 NLP 范畴过在存眷优化基准机能。
别离有 72% 及 88% 的 NLP 研究者认为，此刻各人对于范围化及优化基准机能的存眷过量。
NLP 标的目的走错了吗？
Q5-3：已往 5 年发表的年夜大都模子架构研究都走错了标的目的。Q5-4：已往 5 年发表的年夜大都开放式语言天生使命研究都走错了标的目的。
Q5-5：已往 5 年发表的构建可注释模子的年夜大都研究都走错了标的目的。
Q5-6：已往 5 年发表的年夜大都可注释黑盒模子的研究都走错了标的目的。
于模子架构、语言天生、可注释的模子、黑盒可注释性四个详细的研究标的目的上，受访的 NLP 研究者对于以上问题的赞成率别离为 37%、41%、50%、42%，争议较年夜。于可注释性模子问题上，社区成员的攻讦立场比力显著。
跨学科的价值
Q5-7：NLP 研究者该当越发器重整合相干范畴科学（如社会语言学、认知科学、人机交互）的看法及要领。有高达 82% 的人认为 NLP 研究需要借鉴更多相干范畴科学。问题是，虽然有这么多的人嘴上都夸大这一点，但现实上做患上却其实不怎么好，真实的问题可能不是 NLP 研究者没成心识到跨学科的主要性，而是咱们还有缺少能鞭策实行的常识及东西。
更多内容，点击下方存眷：扫码添加 AI 科技评论 微旌旗灯号，投稿 进群：
雷峰网原创文章，未经授权禁止转载。详情见转载须知。
-米兰·(milan)中国官方网站
