米兰·(milan)中国官方网站-对话推荐系统的进展与五个关键挑战
作者|谢明辉
保举体系旨于从用户的交互汗青辨认出用户的偏好，今朝已经经于工业界获得广泛运用。可是传统静态保举模子难以解决两个主要的问题。1，用户到底喜欢甚么？2，为何用户喜欢一个物品？由于静态的保举模子缺少用户的及时反馈及显式引导。
最近几年来，对于话保举体系正于逐渐解决这两个问题。于对于话保举体系中，体系可以或许经由过程天然语言及用户举行动态交互，能辨认出用户的切确偏好。虽然对于话保举体系(conversational reco妹妹ender systems)已经经获得一些成长，可是远没成熟。（下文CRS指对于话保举体系）
该篇文章将起首先容对于话保举体系，然后总结CRS中5个要害挑战：
1，基在问题的用户偏好辨认。
2，多轮对于话的计谋。
3，对于话理解及天生。
4，Exploration-exploitation trade-offs。
5，评估及用户模仿。文章还有对于将来有远景的标的目的举行了瞻望。
论文链接（已经收录在AI open）：https://www.aminer.cn/pub/600fe40f91e011256c955f6a
1先容对于话保举体系的界说
A reco妹妹endation system that can elicit the dynamic preferences of users and take actions based on their current needs through real-time multi-turn interactions.
一个有关对于话保举体系的简朴举例以下：
按照用户以前的偏好（喜欢周杰伦的歌），体系举行了保举。当用户及时反馈后，体系可以或许轻松的提供新的保举成果，来满意用户。
凡是，CRS由用户交互接口、对于话计谋模块、保举引擎三部门构成。用户接口作为用户及呆板的交互接口，从用户的对于话中提守信息，转化为呆板可理解的暗示；对于话计谋模块是CRS的年夜脑，卖力决议辨认用户偏好、维持多轮对于话及领导话题；保举引擎卖力建模实体间的瓜葛，进修用户偏好，从物品及它的属性中提守信息。CRS的5个要害挑战对于应了通用框架中的模块。
5个要害挑战及对于应的经典要领，以下图。
基在问题的用户偏好辨认
基在问题的偏好辨认是经由过程向用户扣问物品或者者物品的属性辨认出用户的偏好。
扣问物品
传统的保举体系直接向用户扣问物品自己，于此基础上，添加与用户的天然语言交互接口，成为对于话保举体系。
基在选择的要领
让用户从待选列表中选择本身喜欢的物品。用户选择偏幸的物品以后，体系按照用户的选择更新保举。尽可能让候选物品差别。
基在交互保举的要领
交互保举重要基在RL；一些研究者将多臂机（MAB）算法运用到CRS；一是由于MAB算法高效，且自然合适对于话场景；二是MAB算法可以或许摸索出用户可能喜欢可是从来没有测验考试的物品；但基在MAB的算法凡是假定用户的偏幸亏交互历程中连结稳定。为了建模动态的偏好及持久效用utility，一些研究者提出了将DQN(Deep Q-network)及DDPG(deep deterministic
经由过程直接向用户扣问物品来对于用户爱好举行建模的方式效率低，由于候选调集往往很年夜。并且于真正的CRS中，用户于对于话轮数多了以后，就会没法忍耐。以是更为现实的要领是扣问用户喜欢甚么属性。此刻的研究热门集中于基在扣问属性的要领。
扣问属性
该要领的基本假定是，假如用户喜欢一个物品，那末他也喜欢用户的属性。
扣问属性的要领更有用，由于用户是否喜欢某个属机能够很年夜水平上削减保举的候选物品数。该要领的要害于在怎样选择一系列属性对于用户举行扣问，来最小化当前用户的需求的不确定性。别的，每一次都扣问用户，具备最年夜不确定水平喜欢的属性，而不会扣问已经经喜欢或者不喜欢的属性。
从汗青交互中拟合模式
一个经典事情，Christakopoulou等人于2018年提出的question reco妹妹endation模子。每一轮体系让用户选择一个或者多个差别的话题，如NBA，美食等，然后从这些话题中选择物品保举给用户。模子包罗了trigger模块，来决议是否扣问属性，或者者做保举。这个算法已经经于YouTube部署，用来解决用户冷启动问题。近似的模子都利用预先设定好的对于话末班，由于焦点人物是保举，而非NLG。别的这些模子只是从汗青信息进修用户偏好，没有思量当用户拒绝保举成果后的回应。
减小不确定性基在评价的要领：传统的要领经由过程删除了不满意的属性，来缩小候选物品规模。基在神经收集向量的要领，将评价编码为隐向量，用来暗示物品可注释的属性。Wu等人于2019年提出了一种针对于平阿基的可注释的CF要领。他们利用NFC模子将用户i对于物品j的偏好编码成隐向量\hat z_{i,j}，然后利用\hat z_{i,j}计较出打分\hat r_{i,j}及可注释的属性向量\hat s_{i,j}.当用户不喜欢某个属性时，体系将对于应的属性向量\hat s_{i,j}对于应的维度设置为0。然后更新隐向量。
基在RL的要领
借助deep policy network，体系不仅选择属性而且节制何时转移话题。
图限定的候选实体(Graph-constrained Candidates)
图常常用来暗示差别实体之间的瓜葛。Lei等人于2020年提出一种于异构图举行交互的路径推理算法。用户及物品暗示为节点，瓜葛暗示为节点之间的边。对于话可以转化为图上的路径。作者比力差别属性之间的偏好，选择最不确定的属性举行扣问。用户对于某个物品的偏好建模为用户对于属性偏好的均值。使用图信息能充实减小搜刮空间。其他一些要领利用GNN近似的要领。
多轮对于话的技巧
问题驱动的要领存眷“问甚么”，而多轮对于话重要存眷“何时问”或者者“怎么维持对于话”。
什么时候问、什么时候保举
于交互中利用好的计谋，对于晋升用户体验很要害。Zhang等人于2018年提出SAUR模子。当对于用户需求置信度较高时，trigger会激活保举模块。于这里，trigger是于所有候选实体打分上的sigmoid值。可是，这类节制计谋过在简朴。Sun等人于2018年提出CRM模子，模子利用belief tracker对于用户输出举行追踪，然后输出暗示今朝会话状况的隐向量。然后将其输入到deep policy收集中决议何时举行保举。DPN利用policy gradient要领做决议计划。
更广泛的对于话技巧
以前的技巧仍缺少智能。缘故原由之一是，年夜大都CRS模子假定用户老是知道他们想要甚么，然后模子进修到用户的偏好。但用户有时辰都不清晰他们想要甚么，以是CRS还有需要指引话题，而且影响用户的生理。一些研究测验考试让CRS可以或许让话题更具吸引力，让用户有介入感。
多话题进修(Multi-topic learning in conversations)
Liu等人于2020年提出了多类型对于话的使命。他们提出的模子可以或许于差别类型对于话切换，如从闲谈式对于话切换到保举式对于话。他们提出了multi-goal driven conversation generation (MGCG) 框架，包罗了一个goal planning module及a goal-guided responding module。前者将保举作为重要方针，将话题转移作为短时间方针。给定上下文X，及末了一轮的方针g_{t-1}，模子转移到方针g_t的几率为P_{CG}(g_t \neq g_{t-1})，若几率值年夜在0.5，则转移。不然，连结稳定。针对于特定使命的数据集很是主要。Liu等人于2020年发布了一个多类型交互的数据集DuRecDial。zhou等人于2020年发布了一个话题指导的数据集。
非凡能力(Special ability: suggesting, negotiating, and persuading)
除了了偏好辨认及保举，还有有各类各样的使命需要CRS具备差别的能力。这些能力都是高级需求。例如，当用户扣问“Nissan GTR Price”，体系可以或许提供一些建议帮忙yoghurt完成一个使命，好比 How much does it cost to lease a Nissan GT-R? .这些问题建议可使用户带来各类各样的将来成果的沉浸式搜刮体验。Lewis等人于2017年提出一个能及用户举行构和的体系。他们将问题建模为分配问题：物品需要分配给两人，每一个物品对于在每一个人的价值差别。两人举行构和，告竣一个分配的和谈。
Dialogue understanding and generation
对于话理解
年夜部门CRS重要存眷的是焦点的保举逻辑及多轮对于话技巧，它们难以从原始对于话中提出用户用意，它们需要预处置惩罚的布局化的输入，如打分、YES/NO问题。而现实环境，用户的回覆或者发问往往多种多样。对于话理解要领有槽填充(Slot filling)，及用意辨认。槽填充(Slot filling)事前设定用意，利用模子按照用户输入填写模板的响应空值。用意辨认经常使用神经收集从用户的对于话中提取感情。
Response generation
CRS天生的回覆至少要满意两个条理的要求。低条理的要求是天生的回覆适合且准确；高条理的要求是天生的回覆包罗保举物品有价值的信息。重要分为Retrieval-based Methods及Generation-based Methods
Retrieval-based Methods
基在抽取的要领重要做法是从候选回覆中遴选适合的作为回覆。问题被建模成用户问题及候选回覆的匹配问题。一种要领是，利用神经收集别离进修用户问题及候选谜底的暗示，然后经由过程一个打分函数，获得二者的匹配水平；另外一种要领是，先交融二者的暗示，然后经由过程模子进修二者的深层瓜葛。两种要领各有益弊，前者实现更高效，更合适线上部署；后者更有用，由于匹配信息被深条理的挖掘。
Generation-based Methods
基础的天生模子是RNN，可以或许输入问题，逐个单词天生回覆。相较在基在抽取的要领，基在天生的要领有如下挑战：
1，天生的谜底可能不是有准确语法的语句。
2，人们轻易区别出呆板天生的语言及人类天生的语言，由于呆板缺少基本的知识、感情等。
3，模子偏向在天生安全回覆，也就是一些放之四海皆准的回覆，如 OK 4，怎样评价天生的回覆。对于在CRS，天生的回覆需要包罗保举物品。
Incorporating reco妹妹endation-oriented information
利用端到端框架的CRS的重要错误谬误是，只有于练习历程中呈现的物品才会被保举。是以，模子机能被练习数据的质量严峻限定。为此，Chen等人于2019年提出将范畴常识图谱融入到保举体系中，一方面可以帮忙保举体系从常识图谱中提守信息，另外一方面，可以帮忙对于话体系天生辨认出与物品相干的辞汇，天生更持续及可注释的回覆。
别的还有有些研究者测验考试增长回覆的多样性及可注释性，好比前面提到的多话题进修模子。
Exploration-exploitation trade-offs
Exploration-Exploitation (E E) trade-off重要被用在解决CRS的冷启动问题，经由过程Exploitation，体系返回最风行的选择；经由过程摸索，模子测验考试汇集一些未知选项的信息。MAB多臂机算法是E E一个经典算法，重要用来改善模子的保举效果。
多臂机先容
多臂机问题来历在赌博。山君机有K个摇臂，每一个摇臂以必然的几率吐出金币，且几率是未知的 。玩家每一次只能从K个摇臂中选择此中一个，且相邻两次选择或者奖励没有任何干系。玩家的目的是经由过程必然的计谋使本身的奖励最年夜。用户可以选择当前具备最年夜平均奖励的摇臂，或者者冒险测验考试另外一个摇臂。
多臂机于CRS的运用
待保举的物品可以看作MAB中的摇臂，体系可以选择当前用户偏好的物品，也能够冒险测验考试用户未知偏好的物品。传统MAB要领将物品看作彼此自力的，而且纰漏了物品特性信息，如属性。Li等人提出了第一个利用文本信息的多臂机算法，近似在协同过滤算法，使用了用户及物品的特性信息。
多臂机算法可以或许于线进修，几轮交互以后便能更新用户的偏好，调解对于话计谋。
Evaluate CRSs
对于CRS的评价分为两类。第一类是Turn-level的评价，评估每一轮的输出，是一个监视猜测问题；第二类是Conversation-level的评价，评估多轮对于话的技巧，是一个序列决议计划问题。
数据集及东西
经常使用CRS数据集
虽然数据集数目较多，可是仍不足以开发可以或许工业运用的CRS。除了了数据集范围太小，还有有就是数据集比力有法则，难以顺应真实世界的繁杂环境。
经常使用东西
zhou等人实现了开源东西包，CRSLab。东西包包罗了三个子使命：保举，对于话，计谋，对于应了CRS的三个部门。一些模子经由过程这三个使命实现。东西包还有包罗评估模块，不仅可以或许举行主动评估，还有能经由过程交互接口举行人工评估。
Turn-level evaluation
语言天生的评价
两个经常使用指标是BLEU及Rougue。BLEU权衡的是天生词的正确率，即天生的词有几多呈现于了准确谜底上。Rougue权衡的是天生词的召回率，准确谜底的词于天生回覆中呈现了几多。可是这两个指标是否可以或许有用评价语言天生使命具备争议，由于这两个指标只能评价辞汇变化，不克不及评价语义及语法上的变化。别的，CRS模子的使命不是猜测最可能的回覆，而是对于话的持久有用。以是，其他的一些指标，如多样性、持续性，反应了用户的满足水平可能越发合适评估CRS。
保举的评价
保举体系评价分为基在评分及基在排序的评价。基在评分的评价中，用户反馈是评分，如1-5分。经常使用的评价指标有MSE及RMSE；基在排序的评价中，用户反馈可所以隐式的点击，采办等操作。只需猜测物品的相对于挨次便可，于现实环境更经常使用。常见的基在排序的指标有点击率、F1分数，MRR、MAP等。
Conversation-level evaluation
差别在Turn-level evaluation，Conversation-level evaluation没有中间的监视旌旗灯号。是以需要于线用户或者者使用汗青数据举行用户模仿。
于线用户测试可以直接按照用户的真实反馈举行评价。经常使用的指标有，平均轮数（AT）及reco妹妹endation
success rate (SR@t)。平均轮数（AT）指体系为了乐成完成保举所需对于话轮数，而SR@t是指有几多对于话于第t轮完成为了保举。Off-policy evaluation也称为反事实推理。问题会设计成反事实问题，好比，假如咱们用\pi_{\theta}取代\pi_{\beta}，会发生甚么？
用户模仿凡是有4个技巧：
1，直接利用用户的交互汗青。将人类交互数据集的一部门作为测试数据集。
2，预计用户于所有物品的偏好。因为数据集中包罗的物品有限，数据集以外的物品往往被视为不喜欢的物品。为此，最佳是预计用户于所有物品的偏好。给定物品及它的信息，模仿用户于该物品上的偏好。
3，从所有效户的评价抽取。除了了用户举动以外，很多电商平台包罗许多文本评价数据，物品的评价会显式地说起物品的属性，可以或许反应用户于该物品上的偏好。可是，物品的错误谬误其实不能注释用户为什么采办该物品，是以只有踊跃的评价，才会被认为用户选择该物品的缘故原由。
4，模仿人类对于话的语料；CRS按照真正的人类对于话数据作为练习，进修模仿人类的能力。
3将来瞻望结合练习三个子使命
CRS的三个子使命保举、天然语言处置惩罚及天生使命、对于话技巧凡是被零丁研究。可是这三个子使命同享一些实体及数据。好比，用户的评价包罗富厚的语义信息，可是只会给保举引擎不雅点信息。
误差
保举体系包罗各类误差，好比 popularity bias，conformity bias等。这些误差可以于与用户交互历程中消弭，由于CRS可以直接扣问用户关在风行物品的属性，而不像传统保举体系直接向用户保举各人都喜欢的物品。exposure bias会致使用户只能连续消费保举体系暴光的物品。
繁杂多轮对于话技巧
今朝的对于轮对于话的技巧过在简朴。有些事情是基在手工设计的函数决议什么时候扣问，什么时候保举。有些基在DL的事情甚至没有显式的治理多轮对于话的模块。有些事情是基在强化进修，可是于设计动作、状况、奖励方面还有有较年夜的改良空间。
别的，引入外部常识也能够改良CRS。物品的属性信息及常识图谱中富厚的语义信息均可以帮忙CRS建模用户偏好。多模态数据也能够引入到以前基在文本的CRS，提供全新维度的信息。
更好的评估及用户模仿
CRS的评估需要用户的及时反馈，可是价钱昂贵。绝年夜大都CRS模仿用户，可是其实不能彻底到达真实用户的效果。一些可行的标的目的包括构建频仍的用户交互，于slate保举中建模用户的选择举动。
关在AI OpenAI Open是一个可自由拜候的平台，所有文章都永世免费提供应所有人浏览及下载。该期刊专注在分享关在人工智能理论和其运用的可行性常识及前瞻性不雅点，接待关在人工智能和其运用的所有方面的研究文章、综述、评论文章、不雅点、短篇交流及技能申明。AI Open将作为中国面向国际人工智能学术、财产界的交流渠道，流传人工智能的最新理论、技能与运用立异，提高我国人工智能的学术程度及国际影响力。AI Open今朝已经被DOAJ收录，今朝累计下载量已经经到达6w+，乐不雅估计1年内能进入SCI。
雷峰网(公家号：雷峰网)
雷峰网版权文章，未经授权禁止转载。详情见转载须知。
-米兰·(milan)中国官方网站
