人工智能（AI）和机器学习技术已被证明非常有希望完成许多任务，包括那些涉及处理和生成语言的任务。与语言相关的机器学习模型能够创建与人类交互和对话的系统，包括聊天机器人、智能助理和智能扬声器。
为了处理面向对话的任务，语言模型应该能够学习高质量的对话表示。这些表述总结了双方就特定主题以及这些对话的结构所表达的不同观点。
西北大学和AWS人工智能实验室的研究人员最近开发了一种自我监督学习模型，可以学习不同类型对话的有效对话表示。该模型在arXiv上预先发布的一篇论文中介绍，可用于使用有限的训练数据开发更通用、性能更好的对话系统。
“我们引入了对话句子嵌入（DSE），这是一种自我监督的对比学习方法，可以学习适用于各种对话任务的有效对话表征，”周志涵、张德娇、肖伟、尼古拉斯·丁沃尔、马晓飞、安德鲁·阿诺德和Bing Xiang在论文中写道。“DSE通过将同一对话中的连续话语作为积极对进行对比学习，从对话中学习。”
DSE是周和他的同事开发的自我监督学习模型，它从以前专注于对话模型的研究工作中获得了灵感。由于对话本质上是相互语义相关的连续句子或话语，该团队开发了一个模型，通过在同一对话中配对连续话语来学习对话表示。
通过一种称为对比学习的方法，这些对被用来训练模型。对比学习是一种自我监督的学习技术，它使用输入数据的扩充来设计几个相似的数据表示。
研究人员在论文中解释道：“尽管DSE很简单，但它比其他对话表示和通用句子表示模型具有更好的表示能力。”。
周和他的同事评估了他们的模型在五个不同对话任务上的表现，每个任务都侧重于对话表示的不同语义方面。然后，他们将该模型的性能与其他现有方法（包括TOD-BERT和SimCSE模型）进行了比较。
研究人员在论文中写道：“在少数放炮和零放炮设置下的实验表明，DSE的性能大大优于基线。”。“例如，它在6个数据集的单发意图分类中，与最强的无监督基线相比，平均性能提高了13%。”
在最初的测试中，学习对话表征的新模型取得了显著的性能。未来，它可以用来提高聊天机器人和其他对话系统的性能。
在论文中，周和他的同事还概述了他们的模型的局限性和潜在应用。未来的工作可以继续完善其方法，以克服其一些缺点。
研究人员补充道：“我们相信DSE可以作为对话表示模型（例如，文本编码器）的替代品，用于广泛的对话系统。”。
漏 2022科学X网络