ICLR2020出大事,近半数审稿人遭质疑
2019年11月07日 由 TGS 发表
844949
0
最新消息,近日,素有深度学习顶会 “无冕之王” 美誉的ICLR会议,被曝ICLR 2020近半论文审稿人没有在本领域发表过文章。
消息一出,立时在业内引起波澜。据可靠消息,昨日,ICLR2020 的审稿结果终于放出。但放榜时间比预计的要晚了一天,原因在于今年的投稿数量非常之多,足足有 2600 篇,所以原有的审稿人手根本不够用。要知道,ICLR 2019 大会的投稿数是 1500 篇,而 ICLR 2018 才 900 多,两年时间增长了近两倍。因此,有人认为提交论文数量爆炸式增长,是如此荒唐事件的根本导因。
ICLR会议
ICLR,全称International Conference on Learning Representations,即国际学习表征会议,虽然资历尚浅,(2013 年才成立第一届),但已经被学术研究者们广泛认可,被认为是深度学习的顶级会议。
ICLR的论文审核主要分为单盲、双盲、开放评审等形式,单盲评审的含义非常简单,即评审知道作者的名字、学校等身份信息,但作者不知道评审论文的人是谁;而双盲评审则是双方都不知晓彼此的身份信息。这两种方式为较多学术会议及期刊评审论文的主要途径。
开放评审则不同,根据规定,所有提交的论文都会公开姓名等信息,并且接受所有同行的评价及提问,任何学者都可或匿名或实名地评价论文。而在公开评审结束后,论文作者也能够对论文进行调整和修改。ICLR并不是第一个使用该评审机制的会议,但在公开性、影响范围上却做得非常到家,很受业内人员好评。
马萨诸塞大学阿默斯特学院 Andrew McCAllum 为 ICLR 2013 牵头创办的一个公开评审系统——OpenReview.net,完整的保存着历届所有论文及评审讨论的内容,与此同时,它也是ICLR官方投稿入口。
该会议的公开同行评审、公开发表、公开来源、公开讨论、公开引导、公开推荐、公开 API 及开源等原则,在双盲或单盲的学术会议环境下可谓一股清流,迅速吸引了学界的注意,得到了许多业内大佬支持,如:Facebook、Google、NSF等科技巨头。
本次的审稿人质疑事件,对ICLR这种顶级会议来说,无疑是一个非常大的打击,然而,这并非是ICLR的第一次审稿问题。
双盲审稿事件
起因是一篇评分为“4,4,3”的论文。
一篇按理说处于绝对被拒范畴论文,竟然被AC一人之令决定录取,三位评审据理力争,年度大戏就此上演了。
最开始,有吃瓜群众A表示:既然AC一人就有录取权,那么还要三位评审做什么?测热闹吗?
吃瓜群众B表示:自己一篇“7,7,5”的论文被拒了……
吃瓜群众C表示:他还发现一篇“4,5,6”的论文也被录取了。
一篇评分为“4,4,3”论文,竟然被顶会录取,一时间掀起了完全不比这次小的波澜,对了,顺带一提,该事件的主角,这篇广受争议的论文题目是,《使用几何方法将目录树编码到词嵌入中》。
在这篇论文中,作者提出了一种新的方法,将树状结构的category信息隐式编码到词嵌入中,从而得到所谓的“超维球状表示”。 该方法具有两个标准:1、category之间的从属关系应隐式地表示为对应的n-balls之间的包含关系;2、对category关系的树结构进行精确编码。也就是说,能量损失应该为零。
该论文作者认为,该研究的贡献有三个方面:1、提出了一种构造/训练n-balls的新几何方法,将树状结构的范畴关系编码为能量损失为零的n-balls之间的包含关系;2、既考虑了n-balls的位置,又考虑了n-balls的大小,与实验中的余弦相似度相比更加精确;3、基于Glove创造了一个新的n-ball embedding基准数据集,从WordNet 3.0中提取目录树,可免费访问。
整篇论文有头有尾,完全么得问题,但却遭到了三位审稿人的拒绝,审稿人A表示:还可以,但不够好,拒绝。审稿人B表示:还可以,但不够好,拒绝。审稿人C表示:坚决拒绝!
到这里,正常来说,这篇论文是妥妥的被拒稿了,然而,结果往往就是这么的,让人意想不到,AC表示:作者提供了一种有趣的方法,可以将分层信息注入现有的单词向量中。这可能有助于处理需要知识库信息和文本共现计数的各种任务。尽管审稿人指出了本文的一些缺点,但我认为这可能只是没有将符号信息/集/逻辑/KB与神经网络联系起来造成的问题,因此我建议会议接收本文。
关于这篇论文的评审和录取结果在Reddit引发了热议,谁对谁错非专业人士不好评判,可无疑是有问题的。但与本次事件相比,双盲审稿事件不过是开胃菜,“洒洒水”而已。
近半数的“非专业”审稿人,审核专业论文,不管怎么想都是一场灾难,这跟让体育老师判高数卷子完全没有本质上的区别!
让外行人评判专业人士的专业能力,这一定是某个“天才”想出来的主意,ICLR2020结果究竟会如何,且让我们拭目以待。
参考来源:谷歌新闻、雷锋网、AI科技大本营、百度知道。