🤡 这个 Jarvis AI 助手,搜索,阅读,仿真,写作,这么多“学术”魔力?

学术   2024-08-21 21:58   安徽  

Jarvis,AI 学术助手!

今天分享青柠学术 ❷ 群用户的一个创业项目:Jarvis 学术 AI 助手,让我们一探它有哪些学术技能,如何加速你的科研。


(以下内容由该开发者供稿)

Jarvis AI 助手,我的创业作品。

作为大三就开始入坑科研的小青椒,做学术研究真的会让人头秃。

即便现在变成了老油条,从收集文献,理解文献,再到撰写文献,每一步都有着极大的工作量。

对于研究物理和 AI 的我,很早就想着能不能开发一款工具,让整个科研流程自动化....

在 1930 年代末发明了世界上第一台电脑的 John Atanasoff 教授就曾大大咧咧地宣称: 我太懒了,不喜欢运算,所以就发明了电脑。

同理,我太懒了,想要有人把知识喂到我的嘴里,于是我就发明了 Jarvis!

我相信拥有像科幻电影《钢铁侠》中的 Jarvis 那样的 AI 助手一直是人类的终极梦想。

Jarvis 是我的创业产品:

🤖
  • 它足够勤奋,能够帮你搜索成千上万个内容;
  • 它足够聪明,能帮你啃下一篇篇晦涩难懂的论文(它还会推导公式,做竞赛题图片);
  • 它任劳任怨,能够一键帮你把几十篇参考文献变成一篇完整的论文。

下面,我将从它的诞生聊到它的前景,希望你们能喜欢它。

我相信在各位钢铁侠股东的赞助下,Jarvis 会变得越来越全能,越来越强大图片。

Jarvis AI 的“学术”魔力

Tranformer的改进架构: 混合符号神经网络

无论是 ChatGPT,Claude,还是Gemini,它们的架构都基于Transformer。

这是一个统计学模型,它的工作方式就是单纯地预测下一个 Token(单词)出现的概率,从而补全文本。

这其中并没有逻辑性可言,这样就是为什么 GPT-4o 连比较 9.11 和 9.9 这两个数字哪个大都做不到的原因, 更不用说更为复杂的数学和科学场景了。

所以说,对于科研这种需要高逻辑性的场景,单纯的基于统计学模型的 AI 从根本上就无法很好地胜任。

所以我们需要对现有的框架进行革新,为此我基于 Google 的混合符合神经网络的思想开发了一款名为 Jarvis 的 AI 助手(灵感源于硅谷钢铁侠中的强人工智能 Jarvis)。

正如 Google 他们所描述的那样,AlphaGeometry 是一个神经符号混合系统,其中语言模型基于 Gemini,并从头开始训练,合成数据比其前身多一个数量级。

这有助于模型解决更具挑战性的几何问题,包括有关物体运动,和角度/比率/距离方程的问题。

AlphaGeometry 采用的符号引擎比其前身快两个数量级,当遇到一个新问题时,使用一种新颖的知识共享机制来实现不同搜索树的高级组合,以解决更复杂的问题。

这里,我跟 Google 的 Alpha 模型的不同之处在于:

🤖
  • Alpha 只使用了 Lean 语言作为神经符号求解器,而 Jarvis 用了 Lean,Wolfram,和 Matlab,分别用来处理数学,科学,和工程的问题;
  • 训练数据方面,我精选了"数学物理百科大全书","诺贝尔奖得主著作",和"物理学大题典"等优质内容,囊括了"数学/物理/化学/生物"的各方面知识,通过学习理工思维来增强推理能力;
  • Alpha 的统计基座模型用的是 Gemini,而我选择通过知识蒸馏 Llama-3.1-405B 来获得了一个高质量的轻量级模型,在同等算力下拥有更快的推理速度。(注: Llama-3.1-405B 是当前最大的模型,训练数据几乎涵盖了整个互联网,所以蒸馏它并不会导致模型的知识储备下降)

信息全面的多模态语义检索

搜索是一个刚需的功能,而相较于现有的搜索产品(如 Perplexity 和 Tavily-AI等),我们的区别在于:

(1) 会直接导入每一个链接的全文来进行阅读,而不是只浏览快照,这种方式等于没有搜索。

(2) 用并行化的方式快速地获取每一个连接的内容,而不使用 Rag 来压缩信息。

(3) 在检索层面就做了基于知识图谱的语义理解,而不是单纯的关键字匹配. 对于复杂的学术场景,能更好地提炼知识之间的深度关联。

(4) 信息源广泛,把付费内容给封装成了 API,并且作了质量筛查。


(a) 网页搜索至少会检索 20 个结果,然后AI会自动判断最有价值的部分反馈给用户,可以自主设置搜索数量和反馈深广度。

(b) 学术检索的数量没有限制,可以根据研究的深度来自主决定,这里未来方便演示就没有选择搜索过多的文献。

(c) 如果你发现有一篇文献很关键,你可以让 AI 进行相关性推荐,推荐结果由知识图谱语义计算结果决定,范围从几十篇到几百篇。同样,没有特殊说明 AI 会自动选择它认为最有价值的部分.

(d) 如果你想了解一个领域的最新进展,那么 AI 便会从 Arxiv 上检索文献,搜索数量没有限制. 如果没有要求,搜索语句和数量都由AI自己决定。

(e) 像 Medium,纽约时报,华尔街日报,和学术期刊等优质内容发源地,把他们都封装成 API 以增强检索的质量和信息源。

(f) 搜索结果不一定要是文本,也可以是图片,音频,和视频。

需要特别说明的是,为了方便演示,以上结果做了数量限制,而在实际使用中没有,可以完全自定义. 所有结果也都自带搜索源超链接。

更适合科研情况的长文本处理和推理能力

推理能力和长文本处理能力是 AI 大规模应用的前提,如果要进行学术研究要求则更高。

(1) 推理方面,我们使用混合符号神经网络的架构增强了 AI 的推理能力,可以自动修正调试代码,可以求解阿里巴巴全球数学竞赛题目。(能力上限有多少我也没有实测)

(2) 长文本方面,我们才有了 Google 的上下文缓存思想,让 AI 具有无限的输入输出,这个功能特别适用于处理和撰写学术论文。(但更长的输入或输入需要更多的响应时间)

(a) 现有的论文总结应用都只是简单的处理论文中的文本,对于其中更重要的公式/表格/图片却直接忽略不计,而且他们所使用的 AI 模型在长文本推理情况下的能力不佳。

为了解决这一痛点,我们直接通过视觉模态让 AI 读完整篇论文,因为我们的上下文足够长。

直接指定文献的本地路径即可,文件可以是一篇或多篇。

我们也可以查看完整的推理过程,对所有领域文献的推理我都设定让 AI 尝试进行公理化的公式推导。

(b) ChatGPT 连 9.9 和 9.11 比大小都做不到,那我们让 Jarvis 做些更复杂的数学题看看。

公式的输入和输出都支持 LaTex 渲染,而不是 dy/dx=sinxcosxexpx 这种形式。公式的输入除了打 LaTex 代码还支持数学面板的直观输入。

会自己用 Python 代码解释器验证结果。

(c) 2024 年阿里巴巴全球数学竞赛题,直接截图输入,然后求解。

(d) 跟人类一样会借助代码来解决问题,其中 Python 代码无任何报错,并自动弹出 Matplotlib的可视化结果。

(e) 证明题也不在话下。

跟Jarvis一起讨论一下哥德巴赫猜想。

(f) 自动执行并调试修正所有编程语言 Python,NodeJS,Shell,Rust,....的代码。

彩蛋: 如果你有一个库没有安装,Jarvis在执行代码的时候会自动帮你安装,而不是报错 no module named.....

(g) 最近很火的 Claude Artifact 功能,让 AI 根据截图复现源代码,或者让 AI 用 NodeJS 进行UI设计。AI 会自动执行 NodeJS 然后在浏览器中打开设计结果.

(h) 认真且深入地思考每一个问题。

(i) 通过你文献管理器中的参考文献直接生成一篇完整的论文。18 篇文献总共生成了 9 页的论文(这篇仅展示开头和结尾部分),论文排版可以根据期刊的 LaTex 模板而改变。这里为了测试,生成的论文没有公式和图表,实际使用的时候可以加入这些内容。

流程: AI 会对每一篇参考文献执行批判性思考(思考结果包括公理化推导),然后根据所有的思考结果汇总成一篇完整的论文。

不断改进中....

(a) 通过 API 在 OpenArtifacts 和 LobeChat 等前端使用

一句话生成 UI 界面

在 LobeChat 中执行搜索

(b) 之后准备完善各种功能,因为 AI 本就应该是全能的。

如何使用?

各位如果喜欢我的产品,请添加开发者(即粉丝)的微信G1431716698,价格为 10 美元/月(72 CNY/月),微信转账即可,不限量使用。

Jarvis AI 助手开发者(粉丝)的微信

有任何问题,包括学术和产品建议等,都可以随时在群聊中提出或直接找我交流。

我也收到过一些期刊的邀稿和审稿:

As Editors of Applied Physics Reviews (APR),we are reaching out to encourage you to propose a Review article for a new Special Issue....

青柠学术
专注于分享科研技巧、效率工具。博主:大学教师 / 浙大博士 / 剑桥大学交流生 / 国奖生 / Apple Fans。
 最新文章