点击上方“3D视觉工坊”,选择“星标”
干货第一时间送达
越想越觉得顶会的审稿跟狼人杀的道理是相通的。我们假设你是个好人,审稿人有普通平民和狼人,普通平民就是指按部就班的负责任的审稿人,狼人就是指不负责任的很消极的审稿人,领域主席(AC)是神牌。然后我们用这个模型来解释很多现象。
1、为什么在有人支持有人反对的情况下,文章经常会中不了?狼人杀原理,即便有人发金水(支持中稿),有人发查杀(支持拒稿),查杀的力度比金水要大。同时,狼人杀有个原则,“有查杀走查杀”,接了查杀,再怎么原地干拔都力度有限,难以说服别的神牌。
2、为什么很难说服审稿人回头?狼人杀原理,一般第一天盘你是狼的,再过几天也还是会把你票出局。很多人都坚持自己的第一看法。
3、为什么有时候审稿人一致同意接受,但是还是被领域主席拒绝了?狼人杀原理,经常有神职牌喜欢反向操作,比如盲毒一个好人,来彰显自己权威,这很符合人性。
4、反过来为什么相对很少有审稿人一致反对,但是领域主席坚持接受的论文?狼人杀原理,神牌虽然可以弄死一个好人,但是却很难阻止一个好人被票出去,尤其在有狼人带节奏的情况下。
5、为什么不要硬怼审稿人?狼人杀原理,狼人永远是狼人,好人要做的不是挽回狼人,而是说服其他的好人。如果说因为一点小问题就贴脸起状态,那么只能失去好人的信任,而不能斗倒狼人。
6、为什么一开始只有一个审稿人拒绝,后面都拒绝了?狼人杀原理,很多狼人第一天都不会冲票的,会装成好人(给一个borderline的分数),到关键时候才冲票(borderline转strong reject)。
——————————————————
1、理想中的审稿人:
周一打开论文,看看摘要,速读一遍,评估一下novelty。周二细细看方法,挑挑毛病。周三看一下实验,看看baseline的相关论文,查对实验细节。周四开始写审稿意见,决定审稿分数。周五补充一些审稿意见,提交审稿分数。
实际审稿人:
周一上午八点打开审稿论文,读了读摘要,感觉没什么novelty。看了看图片,感觉不看正文看不明白。翻到后面看了看实验数字,感觉提升也不大。看看方法,四页好多看不完。下午还有事,给个5分走人吧。周一上午十一点半结束审稿工作。
2、“论文well-written”和“论文confusing“都可以是客套话。同一篇文章,有的审稿人说写的很好,有的审稿人说写得很难看懂。
前者对应的审稿过程:打开审稿论文,做这个idea的好多篇。看看摘要,不interesting。看看实验数字,提升不大。看看方法,四页好多看不完。反正中不了多看浪费时间,下午还有事,给个5分挑挑毛病走人吧。什么还要我写优点?看起来没什么语法错误,写个well written鼓励一下吧。
后者对应的审稿过程:打开审稿论文……给个5分走人吧(同上)。实在论文太困惑了,午饭都吃不好了,必须complain一下论文真confusing。直接怼论文一团糟看不懂显得我很不尊重,我干脆写自己看不懂吧,这样也没法喷我。
3、审稿意见也可以夹杂乱码:
4、只用六个单词概括的神奇summary:
5、公开审稿可能导致公开撕逼:
https://openreview.net/forum?id=Hkx1qkrKPr
6、审稿追杀事件:你以为再投就可以避开我么?
7、关于novelty,大家都知道的潜规则:没涨点=不novel,和baseline点数差不多=incremental work,比baseline高一点=limited novelty,比baseline高很多=a novel work,比baseline高非常多=surprisingly novel。
8、rebuttal结束前突然多了个审稿人,并给了很低的分数,根本来不及回复。这种现象称为“空降审稿人”现象。这时候该怎么安慰自己:估计他是刚从COVID中恢复,所以突然来审稿发泄一下。如果还不能安慰自己:说不定是他得了重症已经过世,孩子接替了审稿事业,所以会空降审稿。
9、最怕有一个带节奏的负分审稿人战胜了其他四个正分审稿人,然而这种事情经常发生(墨菲定律)。
10、面对寥寥数语给个1分走人的审稿人,强忍怒气的你:
11、冷知识:2021年Neurips和AAAI有超过四百的投稿标题带有transformer。
12、不管什么优点审稿人都可以喷:
(1) 你预期的:novel empirical findings and insights
审稿人:no mathematical proof
(2)你预期的:novel approach in a novel problem
审稿人:too few baselines
(3)你预期的:a simple yet effective idea
审稿人:a merely known engineering trick
(4)你预期的:solid experiments with consistent improvements on imageNet 10k
审稿人:can you show the results on imageNet 21k?
(5) 你预期的:outperform baselines by a large margin.
审稿人:probably the comparison is not fair
13、如果你发现你的论文因为一些概念问题审稿人没理解被给了低分,(比如他不知道ResNet是什么等),有三种可能:
(1)审稿人是个本科生/低年级博士生,他看不懂这些概念。
(2)审稿人是个超级大佬,他很重视基础概念问题,并且他已经不做这个领域多年。
(3)审稿人是个超级大佬,但他没有时间,他交给了他的低年级博士学生来审稿。所以说,学术圈就是一个轮回,本科生的表现和超级大佬最像。
14、最悲哀的两种论文:
(1)做实验的论文被因为没有理论支撑而被拒绝。
(2)做理论的论文因为没有实验佐证而被拒绝。
15、知乎遇见审稿:每次在审稿出来的时候,都会有个问题“如何评价XX会议审稿意见?“然后总会有答主回复:“我8877,希望大不大?“(注:5以上就是接受的分数了)。知乎人均7分以上,果然厉害。记得有个热门评论回复:“希望不大,直接撤稿吧,放弃rebuttal。”