您尚未登录账户请先登录您的atyun账户，方可使用该功能
您的企业账号申请正在审核中审核通过后即可使用此功能，请耐心等待~
微软的AI能根据上下文重写句子
2019年10月22日 由 TGS 发表
150745
0
上下文建模定义了上下文数据的结构和维护方式，在开放域对话中具有重要的作用。微软的研究人员最近开发了一种新的方法，能通过考虑上下文数据历史来改写一系列话语中的最后某句话。在一份预先出版的论文中，他们详细介绍了这项工作——为开放领域的对话进行无监督的上下文重写。他们声称经验结果表明，在重写质量和多轮响应生成方面，新方法已经达到了最先进的基线。
正如研究人员所解释的那样，会话上下文方法提出了在句子建模中不存在的挑战，例如：话题转换、共同引用等问题。大多数系统解决这类问题的方法是在最后一段话中添加关键字，或者使用AI模型学习数字表示，但这两种方法都不是完美的，会遇到障碍，比如：无法选择正确的关键字、无法正确处理较长的上下文。
微软团队的方法，可以通过考虑语境信息对会话中的最后一句话语进行重新表述，随后生成一句独立的话语，这个新话语既不存在相互参照，也不依赖于历史上的其他话语。从根本上避免话题转换、共同引用、以及句子间的相互依存关系等种种问题。研究人员设计了一个机器学习系统CRN，借以实现端到端的自动化。它由一个序列到序列的模型组成，该模型能将固定长度的话语映射到固定长度的重写句子，并使用一个独立的注意力机制，通过关注最后一句话语中的不同单词，帮助系统直接从上下文复制单词。
该团队首先使用了伪数据对模型进行训练，这些伪数据是通过将从上下文提取的关键字，插入到原始的最后话语中生成的。然后，为了让最终的反应影响重写过程，他们利用了强化学习人工智能训练技术，利用奖励机制来推动系统朝着目标前进。
在一系列的实验中，团队通过几个重写质量、多轮响应生成、多轮响应选择和基于端到端检索的任务评估了他们的方法。他们注意到模型在强化学习后，偶尔会变得不稳定，会变得喜欢从上下文中提取更多的单词，这会显著提高话语的多样性，从而导致任务难度增加。微软团队认为，他们的工作朝着更易于解释和控制的上下文建模迈进了一步，因为显式的上下文重写结果更容易调试和分析，在预出版论文中，研究人员写道：“我们的模型，可以从繁杂的语境中提取出重要的关键词，并将其插入到最后的话语中，这不仅易于控制和解释，而且还有助于将信息直接传递到最后的话语中。”
欢迎关注ATYUN官方公众号
商务合作及内容投稿请联系邮箱:bd@atyun.com
广告
广告
写评论取消
回复取消