全球首位AI科学家震撼登场!150美元成本狂揽十篇学术大作

文摘   2024-08-31 18:11   陕西  


前几日,Sakana AI公司发布了《人工智能科学家:迈向全自动开放式科学发现》的报告,这也意味着世界上首位“AI科学家”,横空出世!

这位“AI科学家”的登场伴随着其自主生成的十篇完整的学术论文,每篇论文的成本约为 15 美元

不仅如此,该公司还额外搞出了个AI审稿人。审稿人能对AI写的论文进行评审、撰写反馈并提供改进意见

对此有网友提议,直接把一篇论文提交给AI顶会看看效果


如何生成一篇论文 

AI 科学家 可以执行创意生成、文献检索、实验规划、实验迭代、图表生成、手稿撰写和审阅,以生成富有洞察力的论文。

此外,AI 科学家 可以以开放式循环运行,利用其先前的想法和反馈来改进下一代想法,从而模仿人类科学界

AI 科学家有 4 个主要过程

创意生成。给定一个起始模板,AI 科学家首先“集思广益”出一系列新颖的研究方向。首先为 AI 科学家提供了一个现有主题的起始代码“模板”,然后 AI 科学家可以自由探索任何可能的研究方向。该模板还包括一个 LaTeX 文件夹,其中包含样式文件和章节标题,用于撰写论文。这一过程中AI科学家允许搜索 Semantic Scholar 以确保其想法是新颖的。

实验迭代。AI 科学家的第二阶段首先执行提议的实验,然后获取并生成图表以可视化其结果。它会记录每个图表包含的内容,从而使保存的图形和实验笔记能够提供撰写论文所需的所有信息。

论文撰写。最后,AI 科学家 以标准机器学习会议论文集的 LaTeX 格式,撰写一份简明扼要、内容丰富的论文,介绍其进展。它使用 Semantic Scholar 自主查找相关论文进行引用。

自动论文审阅。这项工作的一个关键方面是开发一个自动化的 LLM 审阅器,能够以接近人类的准确度评估生成的论文。生成的评论可用于改进项目或作为对后代开放式构思的反馈。这实现了一个连续的反馈循环,使 AI 科学家能够迭代地改进其研究成果。

论文示例

AI科学家生成的十篇论文中,有几篇优异的文章也值得研究。

第一篇,扩散模型方向,《双尺度扩散:低维生成模型的自适应特征平衡》
提出了一种自适应双尺度去噪方法,改进现有的扩散模型在低维空间中难以同时捕捉全局结构和局部细节的问题。


第二篇,语言模型方向,《StyleFusion:字符级语言模型中的自适应多样式生成》。
本文提出了一种名为Multi-Style Adapter的新方法,通过引入可学习的风格嵌入和风格分类头,增强了字符级语言模型的风格意识和一致性。
在所有数据集上达到了接近完美的风格一致性分数(shakespeare_char为0.9667,enwik8和text8为1.0),验证损失优于基线模型,但推理速度略有下降(约400 tokens/s vs. 基线670 tokens/s)


第三篇,Transformer与强化学习结合,《通过Q-Learning实现Transformers的自适应学习率》。
本研究探索了将强化学习应用于动态调整transformer模型训练中的学习率,使用验证损失和当前学习率作为状态,动态调整学习率以优化训练过程。
结果在所有数据集上都优于基线模型,在训练时间上也表现出优势。


第四篇,研究了谷歌团队提出大模型“领悟”(Grokking)现象,《解锁 Grokking:Transformer模型中权重初始化策略的比较研究》
本文首次系统研究了权重初始化对grokking的影响,比较了五种权重初始化策略,以优化神经网络学习动态。

这几篇论文配套的代码(也是由AI生成的),同样开源在GitHub上,突出一个可复现。

当然,目前AI科学家的研究还存在一些问题:

  1. AI Scientist 目前不具备任何视觉功能,因此无法修复论文或阅读图表的视觉问题。
  2. 人工智能科学家可能会错误地实施其想法或与基线进行不公平的比较,从而导致误导性的结果。
  3. AI Scientist 在编写和评估结果时偶尔会犯下严重错误。例如,它很难比较两个数字的大小。


未来影响

与许多新技术一样,人工智能科学家打开了潘多拉魔盒,关于AI科学家未来发展也有几点需要思考。

  1. 道德考量:AI科学家虽为研究助力,却易遭滥用。自动论文生成或加剧审稿负担,影响学术诚信与质量控制。此外,AI若被用于不道德研究,如未经监管的生物实验,可能带来未知危害。因此,AI生成的内容需明确标识,且需紧急学习如何安全、合规地应用这些系统。


  2. 开放模型:当前,专有模型如Sonnet在论文生成上表现优异,但开放模型如DeepSeek、Llama-3等因其成本低、可用性强、透明度高及灵活性大,展现出巨大潜力。随着技术竞争,预计所有模型将持续优化,目标是构建基于开放模型的自我改进AI研究体系。


  3. 科学家角色转变:展望未来,AI将在科研生态中扮演核心角色,但人类科学家的地位不会削弱,反而将向更高层次的指导与监管转型,确保科研的伦理与方向。



论文地址:
https://arxiv.org/abs/2408.06292
参考链接:
[1]https://x.com/SakanaAILabs/status/1823178623513239992
[2]https://sakana.ai/ai-scientist/


往期精彩推荐

1、300美元买50次论文引用?Nature揭露引文买卖黑市场

2、710人!中科协启动重要人才托举工程项目
3、大学老师评职称,新规来了!
4、注意!这7本期刊刚被WOS数据库剔除,别再投稿!
5、科研说| 揭秘学术界的“神秘数字”——H指数
6、注意!这7本期刊刚被WOS数据库剔除,别再投稿!

*本文内容参考量子位,仅用于学术分享,转载请注明出处。若有侵权,请联系后台删除或修改!


OAE往期精彩鉴赏



欢迎选择OAE服务

论文语言润色

      OAE拥有一支以英语为母语的专业语言润色编辑团队,团队成员拥有丰富的学术论文语言编辑经验和出色的沟通能力,专业背景涵盖生物医学、材料、化学、环境、工程和计算机科学等领域。每份稿件都将精准匹配相关研究领域的编辑进行严格处理,确保论文使用专业用语及书写。资深学科专家深度检查论文逻辑性,提高论文语言质量水平,高效交付助力论文发表。


图片设计、视频后期制作、活动策划

     OAE设计团队满足各种需求,包括图片设计(版面版式定制、文章摘要图、活动海报等);后期制作(企业宣传片剪辑、人物专访拍摄剪辑等);活动策划(校企庆典活动、开业活动、年会、线下各类活动全流程策划、场地搭建、物料制作、媒体宣发等。)我们注重创意构思,高效交付,全程把控,确保提供最满意的作品。

联系人:  梁经理   

联系电话: 18629456312


线下会议服务

      OAE会议团队经验丰富,可承接各类型会议,包括学术会议、论坛、产业大会、行业展会、科研学术赛事以及专业技能培训班。我们提供个性化的合作和承接方案,涵盖会前策划、统筹执行、预算管理、专家接待、现场管理到会后总结。期待为您提供全流程的办会服务。

联系人:彭经理

联系电话: 15190661158




关于OAE

OAE Publishing Inc. (OAE)于2015年在美国洛杉矶成立,是一家极具 "学术生态思维和学术使命感 "的学术出版公司。自成立以来, OAE肩负"传播科学研究,促进科学创新"的使命协同相关学科领域顶尖专家创办30多本学术期刊,涉及 "生物、医学、化学、材料、环境、计算机 "等多个学科 。更多信息请前往OAE官方网站:www.oaepublish.com了解详情。

OAE开放科学
OAE Publishing Inc.于2015年在美国洛杉矶成立,是一家多学科的开放获取出版公司,以“传播科学研究、促进科学创新”为使命。目前已出版了覆盖医学、机械、信息、生物、化学等学科的数本学术期刊,获得全球众多权威专家、机构的认同。
 最新文章