返回顶部
今日    | 手机版 | 资讯 | 产品 | 企业 | 热点 | 商道 | 原料 |
返回首页
返回首页
home 您现在的位置: 首页 >配件与装备>技术中心 > 详细信息
自然语言处理(NLP)取得了长足进步-但是AI对其阅读的内容了解多少?
2021年04月18日    阅读量:2110     新闻来源:中国机械网 okmao.com    |  投稿

最近,自然语言处理(NLP)取得了长足进步-但是AI对其阅读的内容了解多少?据南加州大学计算机科学系的研究人员说,这比我们想象的要少。在最近的一篇论文中,助理教授项仁和博士生林雨辰发现,尽管有了进步,人工智能仍然不具备产生合理句子所需的常识。


林说:“当前的机器文本生成模型可以写一篇可能使许多人信服的文章,但是它们基本上是在训练阶段看到的中国机械网okmao.com。” “本文的目标是研究当前最先进的文本生成模型是否可以编写句子来描述我们日常生活中的自然场景。”


自然语言处理(NLP)取得了长足进步-但是AI对其阅读的内容了解多少? 中国机械网,okmao.com


了解日常生活中的场景


具体地说,Ren和Lin对模型的推理能力进行了测试,结果表明当前的文本生成模型与人类表现之间存在很大的差距。给定一组常见的名词和动词,使用最先进的NLP计算机模型来创建描述日常场景的可信句子。尽管这些模型生成的语法正确的句子,但它们在逻辑上常常是不连贯的。


例如,这是一个由最新模型使用“狗,飞盘,投掷,抓住”一词生成的示例句子:


“两只狗互相扔飞盘。”


该测试基于以下假设:如果没有更深的常识概念,就不可能产生连贯的想法(在这种情况下:“一个人扔飞盘,一只狗抓住飞盘”)。换句话说,常识不仅仅是对语言的正确理解-这意味着您不必在对话中解释所有内容。这是开发通用AI的目标的一项根本挑战-但除了学术界,它对消费者也很重要。


在不了解语言的情况下,基于这些最新自然语言模型构建的聊天机器人和语音助手很容易出现故障。如果机器人要在人类环境中出现更多,这也至关重要。毕竟,如果您向机器人询问热牛奶,您会希望它知道您要喝一英里,而不是整个纸箱。


Lin说:“我们还证明,如果生成模型在我们的测试中表现更好,它也可以使需要常识推理的其他应用程序受益,例如机器人学习。” “机器人在采取合理的行动与人互动之前,需要了解我们日常生活中的自然场景。”


南加州大学的王春书,沉明,周培和林和任一起出现在纸上。来自艾伦人工智能研究所的Chandra Bhagavatula;和艾伦人工智能研究所的Yeye Choi以及华盛顿大学保罗·艾伦计算机科学与工程学院。


常识测试


常识性推理或使用关于世界的基本知识进行推理的能力(例如狗不能互相飞盘的事实)抵制了AI研究人员数十年的努力。先进的深度学习模型现在可以达到90%左右的准确性,因此NLP似乎已经接近其目标。


但是,自然语言处理专家Ren和他的学生Lin都需要对该数据的准确性更具说服力。他们在11月16日发表在《自然语言处理中的经验方法的发现》(EMNLP)会议上的论文中,他们挑战了基准测试的有效性,因此挑战了该领域实际取得的进步。


林说:“人类通过学习理解和使用他们在周围环境中认识到的共同概念而获得了组成句子的能力。”


“获得这种能力被认为是人类发展的一个重要里程碑。但是我们想测试机器是否真的能够获得这种生成常识性推理能力。”


为了评估不同的机器模型,这对夫妇开发了一个称为CommonGen的约束文本生成任务,该任务可用作测试机器生成常识的基准。研究人员展示了一个数据集,该数据集包含35,141个概念以及77,449个句子。他们发现性能最好的模型仅达到了31.6%的准确率,而人类的准确率为63.5%。


林说:“令我们惊讶的是,这些模型无法回忆起简单的常识性知识,即'人扔飞盘'比狗做飞盘更合理。” “我们发现,即使是最强大的模型T5,在使用大型数据集进行训练之后,仍然可能犯傻的错误。”


研究人员说,以前的测试似乎并没有充分挑战模型的常识能力,而是模仿了他们在训练阶段所见。


任志刚说:“以前的研究主要集中在区分常识上。” “他们用选择题来测试机器,机器的搜索空间很小,通常是四到五个候选者。”


例如,区分常识测试的典型设置是多项选择题回答任务,例如:“成年人在哪里使用胶棒?” A:教室B:办公室C:书桌抽屉。


答案当然是“ B:办公室”。即使是计算机,也可以轻松解决此问题。相反,生成设置是开放性的,例如CommonGen任务,其中要求模型从给定的概念生成自然语句。


任先生解释说:“通过广泛的模型训练,在那些任务上表现出色是很容易的。与那些具有区别性的常识推理任务不同,我们提出的测试侧重于机器常识的生成方面。”


任和林希望该数据集将成为一个新的基准,以有益于将来在将自然语言引入常识方面的研究。实际上,他们甚至拥有一个排行榜,描述了各种流行模型所获得的分数,以帮助其他研究人员确定他们在未来项目中的可行性。


林说:“机器人在采取合理的行动与人互动之前,需要了解我们日常生活中的自然场景。”


“通过向机器引入常识和其他特定领域的知识,我相信有一天我们可以在电影《赫尔》中看到诸如萨曼莎(Samantha)这样的AI代理,这些代理会产生自然的反应并与我们的生活互动。”


标签:行业资讯今日头条产品资讯高端访谈人工智能市场评论技术中心机器人特种机器人配件与装备系统及软件
免责声明: 本文仅代表作者本人观点,与本网无关。本网对文中陈述、观点判断保持中立,不对所包含内容的准确性、可靠性或完整性提供任何明示或暗示的保证。请读者仅作参考,并请自行承担全部责任。本网转载自其它媒体的信息,转载目的在于传递更多信息,并不代表本网赞同其观点和对其真实性负责。如因作品内容、版权和其它问题需要同本网联系的,请在一周内进行,以便我们及时处理。客服邮箱:service@cnso360.com | 客服QQ:23341571

全站地图

深圳网络警察报警平台 深圳网络警
察报警平台

公共信息安全网络监察 公共信息安
全网络监察

经营性网站备案信息 经营性网站
备案信息

中国互联网举报中心 中国互联网
举报中心

中国文明网传播文明 中国文明网
传播文明

深圳市市场监督管理局企业主体身份公示 工商网监
电子标识