点击上方“小白学视觉”,选择加"星标"或“置顶” 重磅干货,第一时间送达
作者丨重剑无锋@知乎(已授权)
来源丨https://www.zhihu.com/question/529489400/answer/2456615831
转载自极市平台,仅用于学术分享
导读
学生生涯中老师总提醒我们不仅要做题,还要揣测出题人的想法,搞科研其实也是如此。本文精选了知乎问答下的一篇优质回答,看看从审稿人的角度是如何给工作评分的。
刚好前不久NIPS给我发了top reviewer award 就来分享一下我的心得
最主要的判断必须是基于文章本身,我认为几个类型:
1.颠覆了我的认知,让人有种脱口而出“卧槽”的冲动,我是肯定给8分起跳,至少strong accept,而且我会非常热心defend我的评分,主动说服其他reviewer。
这种work可能两年能有一篇被我审到,要么是告诉我一条崭新的技术路线,要么是打破我固有的观念。比如斯坦福有一篇差分隐私的文章将计算成本为普通训练几十倍的隐私计算压到了2倍,生生打破了我对隐私计算复杂度的理解。即时这篇paper没有任何理论而且不通用(比如无法用在CNN上)我也认为这是本领域spotlight。类似的例子还有transformer这种打破RNN传统sequential training路线的和adagrad这种第一次把adaptivity引入的文章。
2.增广了我的知识,让我觉得“我猜也是如此,谢谢你证实了” 大概是weak accept到accept。
可能70%的work都属于这一类,哪怕顶会顶刊绝大多数也是这类work,没有惊喜,但是详实的话也极有价值。
如果说第一类work的贡献是指出了科研未来的方向,那这第二类work的贡献就是降低了未来的不确定性,告诉大家:这个方向是对的,可以继续往前走,实验和理论我放这了,大家不用浪费资源/人口/算力了。
比如说如果有人做了两层神经网络的收敛性分析,那么做三层的或者把bound收紧就属于这一类。具体点比如NTK理论先搞出来了两层神经网络在MSE loss的GD的收敛,之后Allen Zhu做了极度扎实的框架,囊括了crossentropy loss和SGD等新情况 现在citation也600+还在持续攀升。
再比如说实验类empirical文章。可能我还没读到具体算法的时候,光看你大致思路,我就猜你这个改进大概只能涨一两个点 那么如果你涨了10%,我就送一句卧槽 (比如deepmind最近那个差分隐私的paper 没想到data augmentation能涨几十个点) 算你第一类文章。如果真的就涨了一两个点,那就weak accpet,如果突破了我的猜测一丢丢,比如涨了五个点,那就给accept。
3.对我的认知没啥影响,要么是做的老生常谈,新瓶装旧酒,要么“新意”纯粹就是模型-数据-任务排列组合。
这类work我会给borderline,看审稿的期刊会议档次。如果NIPS级我就borderline reject,除非文章很完整很正确,该有的实验和理论都有,唯独缺novelty那我还是给borderline accept。
4.除了让我叹气和疑惑啥也不是。
这类work最近送审的越来越多了,有的存在根本性错误,证明性的实验性的都有。比如测试集搞成训练集了,比如魔改了常规定义或者performance measure,比如baseline选了过时的过弱的。有的实验机理描述不清甚至前后矛盾,读完无法理解他做了什么,一般我会给个borderline reject提问题。如果能解答我的疑惑,再调分上去。如果让我更加疑惑那就对不起了,strong reject也是有的。
当然也有跟文章本身无关的极端情况,比如一稿多投、抄袭等学术不端。那不管文章质量多好都必须拒掉,这里就比较考验搜商了,记得拿到稿子都回去各个数据库比一下。
下载1:OpenCV-Contrib扩展模块中文版教程 在「小白学视觉」公众号后台回复:扩展模块中文教程,即可下载全网第一份OpenCV扩展模块教程中文版,涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。 下载2:Python视觉实战项目52讲 在「小白学视觉」公众号后台回复:Python视觉实战项目,即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目,助力快速学校计算机视觉。 下载3:OpenCV实战项目20讲 在「小白学视觉」公众号后台回复:OpenCV实战项目20讲,即可下载含有20个基于OpenCV实现20个实战项目,实现OpenCV学习进阶。 交流群
欢迎加入公众号读者群一起和同行交流,目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群(以后会逐渐细分),请扫描下面微信号加群,备注:”昵称+学校/公司+研究方向“,例如:”张三 + 上海交大 + 视觉SLAM“。请按照格式备注,否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告,否则会请出群,谢谢理解~