二维码
微世推网

扫一扫关注

当前位置: 首页 » 快闻头条 » 今日热点 » 正文

挑战机器阅读理解界的“ImageNet”,微软亚洲研究院重回榜单第一

放大字体  缩小字体 发布日期:2018-01-15 05:33:50    浏览次数:202
导读

斯坦福大学NLP小组发推特称,微软提交了最新一次SQuAD的测试成绩,再次夺回得了该数据集测试榜单第一的位置。自然语音理解长期以来被誉为“人工智能皇冠上的明珠”,让机器学会阅读和理解人类语言一直是研究者和业界

斯坦福大学NLP小组发推特称,微软提交了最新一次SQuAD的测试成绩,再次夺回得了该数据集测试榜单第一的位置。

自然语音理解长期以来被誉为“人工智能皇冠上的明珠”,让机器学会阅读和理解人类语言一直是研究者和业界关注的对象,今年以来更是受到了极大的追捧,热度不减。

由斯坦福大学李飞飞教授发起的ImagNet,是目前世界上图像识别最大的数据库,试图让冰冷的机器读懂照片背后的故事。而在斯坦福大学自然语言组发起的挑战赛SQuAD,行业内公认的机器阅读理解标准水平测试,也是该领域的顶级赛事,更是被誉为机器阅读理解界的”ImageNet”。

参赛者来自全球学术界和产业界的研究团队,包括微软亚洲研究院、艾伦研究院、IBM、Salesforce、Facebook、谷歌以及卡内基·梅隆大学、斯坦福大学等知名企业研究机构和高校,赛事对自然语言理解领域的学术进步和人才选拔都起到重要作用。

SQuAD比赛规则是怎样?对于机器的阅读理解,如何作答和评判?

SQuAD挑战赛通过众包的方式构建了一个大规模的机器阅读理解数据集(包含10万个问题),就是将一篇几百词左右的短文给人工标注者阅读,让标注人员提出最多5个基于文章内容的问题并提供正确答案;短文原文则来源于500多篇维基百科文章。

参赛者提交的系统模型在阅读完数据集中的一篇短文之后,回答若干个基于文章内容的问题,然后与人工标注的答案进行比对,得出精确匹配(ExactMatch)和模糊匹配(F1-score)的结果。得益于SQuAD提供的大规模高质量的训练数据以及层出不穷的模型,该挑战赛的榜单一次又一次刷新。

以下是最新排名,MSRA位居第一:

微软亚洲研究院常务副院长、NLP小组组长周明曾表示,从这个数据集成立之初MSRA就开始有所关注,这个数据集的规则是需要不停刷新排名,隔一段时间就要提交最新的测试成绩。MSAR连续多次位居数据集排名第一。

“虽然偶尔有一两天其它团队超过了我们的成绩,但我们也有最新的算法能够很快地进行更新,并取得更好的成绩,对于这一点我们的团队始终十分自信。”机器阅读理解研究的主要负责人、微软亚洲研究院自然语言计算研究组主管研究员韦福如曾这样说。

此外,国内业界代表科大讯飞也在关注并参与该数据集的比赛,7月份科大讯飞与哈工大联合实验室(HFL)提交的系统模型在测试中夺得第一名,同样实力不俗。足以可见自然语言处理领域竞争十分激烈。

自然语言处理领域一直是实现人机交互、人工智能的重要技术基石,机器阅读理解正是这一领域的一个研究焦点。如今异常火热的智能语音助手,最关键的除了“听清”就是“听懂”,语音技术在不断完善,而自然语言理解的进展则相对较为缓慢。万里长征可谓刚刚起步,NLP产业界和学术界均任重道远。

 
(文/小编)
免责声明
• 
本文仅代表发布者:个人观点,本站未对其内容进行核实,请读者仅做参考,如若文中涉及有违公德、触犯法律的内容,一经发现,立即删除,需自行承担相应责任。涉及到版权或其他问题,请及时联系我们删除处理邮件:weilaitui@qq.com。
 

Copyright©2015-2025 粤公网安备 44030702000869号

粤ICP备16078936号

微信

关注
微信

微信二维码

WAP二维码

客服

联系
客服

联系客服:

24在线QQ: 770665880

客服电话: 020-82301567

E_mail邮箱: weilaitui@qq.com

微信公众号: weishitui

韩瑞 小英 张泽

工作时间:

周一至周五: 08:00 - 24:00

反馈

用户
反馈