如何评价人工智能顶会审稿现状?

科技   2024-11-08 07:01   江苏  

点击上方“3D视觉工坊”,选择“星标”

干货第一时间送达

内容来自知乎,「3D视觉工坊」整理,如有侵权请联系删除 https://www.zhihu.com/question/484377579
作者:电光幻影炼金术

越想越觉得顶会的审稿跟狼人杀的道理是相通的。我们假设你是个好人,审稿人有普通平民和狼人,普通平民就是指按部就班的负责任的审稿人,狼人就是指不负责任的很消极的审稿人,领域主席(AC)是神牌。然后我们用这个模型来解释很多现象。

1、为什么在有人支持有人反对的情况下,文章经常会中不了?狼人杀原理,即便有人发金水(支持中稿),有人发查杀(支持拒稿),查杀的力度比金水要大。同时,狼人杀有个原则,“有查杀走查杀”,接了查杀,再怎么原地干拔都力度有限,难以说服别的神牌。

2、为什么很难说服审稿人回头?狼人杀原理,一般第一天盘你是狼的,再过几天也还是会把你票出局。很多人都坚持自己的第一看法。

3、为什么有时候审稿人一致同意接受,但是还是被领域主席拒绝了?狼人杀原理,经常有神职牌喜欢反向操作,比如盲毒一个好人,来彰显自己权威,这很符合人性。

4、反过来为什么相对很少有审稿人一致反对,但是领域主席坚持接受的论文?狼人杀原理,神牌虽然可以弄死一个好人,但是却很难阻止一个好人被票出去,尤其在有狼人带节奏的情况下。

5、为什么不要硬怼审稿人?狼人杀原理,狼人永远是狼人,好人要做的不是挽回狼人,而是说服其他的好人。如果说因为一点小问题就贴脸起状态,那么只能失去好人的信任,而不能斗倒狼人。

6、为什么一开始只有一个审稿人拒绝,后面都拒绝了?狼人杀原理,很多狼人第一天都不会冲票的,会装成好人(给一个borderline的分数),到关键时候才冲票(borderline转strong reject)。

——————————————————

1、理想中的审稿人:

周一打开论文,看看摘要,速读一遍,评估一下novelty。周二细细看方法,挑挑毛病。周三看一下实验,看看baseline的相关论文,查对实验细节。周四开始写审稿意见,决定审稿分数。周五补充一些审稿意见,提交审稿分数。

实际审稿人:

周一上午八点打开审稿论文,读了读摘要,感觉没什么novelty。看了看图片,感觉不看正文看不明白。翻到后面看了看实验数字,感觉提升也不大。看看方法,四页好多看不完。下午还有事,给个5分走人吧。周一上午十一点半结束审稿工作。

2、“论文well-written”和“论文confusing“都可以是客套话。同一篇文章,有的审稿人说写的很好,有的审稿人说写得很难看懂。

前者对应的审稿过程:打开审稿论文,做这个idea的好多篇。看看摘要,不interesting。看看实验数字,提升不大。看看方法,四页好多看不完。反正中不了多看浪费时间,下午还有事,给个5分挑挑毛病走人吧。什么还要我写优点?看起来没什么语法错误,写个well written鼓励一下吧。

后者对应的审稿过程:打开审稿论文……给个5分走人吧(同上)。实在论文太困惑了,午饭都吃不好了,必须complain一下论文真confusing。直接怼论文一团糟看不懂显得我很不尊重,我干脆写自己看不懂吧,这样也没法喷我。

3、审稿意见也可以夹杂乱码:


4、只用六个单词概括的神奇summary:



5、公开审稿可能导致公开撕逼:


https://openreview.net/forum?id=Hkx1qkrKPr


6、审稿追杀事件:你以为再投就可以避开我么?



7、关于novelty,大家都知道的潜规则:没涨点=不novel,和baseline点数差不多=incremental work,比baseline高一点=limited novelty,比baseline高很多=a novel work,比baseline高非常多=surprisingly novel。


8、rebuttal结束前突然多了个审稿人,并给了很低的分数,根本来不及回复。这种现象称为“空降审稿人”现象。这时候该怎么安慰自己:估计他是刚从COVID中恢复,所以突然来审稿发泄一下。如果还不能安慰自己:说不定是他得了重症已经过世,孩子接替了审稿事业,所以会空降审稿。


9、最怕有一个带节奏的负分审稿人战胜了其他四个正分审稿人,然而这种事情经常发生(墨菲定律)。



10、面对寥寥数语给个1分走人的审稿人,强忍怒气的你:



11、冷知识:2021年Neurips和AAAI有超过四百的投稿标题带有transformer。


12、不管什么优点审稿人都可以喷:

(1) 你预期的:novel empirical findings and insights    

审稿人:no mathematical proof  

(2)你预期的:novel approach in a novel problem          

审稿人:too few baselines

(3)你预期的:a simple yet effective idea         

审稿人:a merely known engineering trick

(4)你预期的:solid experiments with consistent improvements on imageNet 10k         

 审稿人:can you show the results on imageNet 21k?  

(5)  你预期的:outperform baselines by a large margin.          

审稿人:probably the comparison is not fair

13、如果你发现你的论文因为一些概念问题审稿人没理解被给了低分,(比如他不知道ResNet是什么等),有三种可能:

(1)审稿人是个本科生/低年级博士生,他看不懂这些概念。

(2)审稿人是个超级大佬,他很重视基础概念问题,并且他已经不做这个领域多年。

(3)审稿人是个超级大佬,但他没有时间,他交给了他的低年级博士学生来审稿。所以说,学术圈就是一个轮回,本科生的表现和超级大佬最像。

14、最悲哀的两种论文:

(1)做实验的论文被因为没有理论支撑而被拒绝。

(2)做理论的论文因为没有实验佐证而被拒绝。

15、知乎遇见审稿:每次在审稿出来的时候,都会有个问题“如何评价XX会议审稿意见?“然后总会有答主回复:“我8877,希望大不大?“(注:5以上就是接受的分数了)。知乎人均7分以上,果然厉害。记得有个热门评论回复:“希望不大,直接撤稿吧,放弃rebuttal。”

3D视觉工坊
专注于工业3D视觉、SLAM、自动驾驶、三维重建、无人机、具身智能、扩散模型等前沿技术分享与产业落地,力争打造为国内最专业的3D视觉社区。官网:www.3dcver.com 佳v:cv3d007 或 13451707958
 最新文章