Jarvis,AI 学术助手!
今天分享青柠学术 ❷ 群
用户的一个创业项目:Jarvis 学术 AI 助手,让我们一探它有哪些学术技能,如何加速你的科研。
(以下内容由该开发者供稿)
Jarvis AI 助手,我的创业作品。
作为大三就开始入坑科研的小青椒,做学术研究真的会让人头秃。
即便现在变成了老油条,从收集文献,理解文献,再到撰写文献,每一步都有着极大的工作量。
对于研究物理和 AI 的我,很早就想着能不能开发一款工具,让整个科研流程自动化....
在 1930 年代末发明了世界上第一台电脑的 John Atanasoff 教授就曾大大咧咧地宣称: 我太懒了,不喜欢运算,所以就发明了电脑。
同理,我太懒了,想要有人把知识喂到我的嘴里,于是我就发明了 Jarvis!
我相信拥有像科幻电影《钢铁侠》中的 Jarvis 那样的 AI 助手一直是人类的终极梦想。
Jarvis 是我的创业产品:
🤖
它足够勤奋,能够帮你搜索成千上万个内容; 它足够聪明,能帮你啃下一篇篇晦涩难懂的论文(它还会推导公式,做竞赛题图片); 它任劳任怨,能够一键帮你把几十篇参考文献变成一篇完整的论文。
下面,我将从它的诞生聊到它的前景,希望你们能喜欢它。
我相信在各位钢铁侠股东的赞助下,Jarvis 会变得越来越全能,越来越强大图片。
Jarvis AI 的“学术”魔力
Tranformer的改进架构: 混合符号神经网络
无论是 ChatGPT,Claude,还是Gemini,它们的架构都基于Transformer。
这是一个统计学模型,它的工作方式就是单纯地预测下一个 Token(单词)出现的概率,从而补全文本。
这其中并没有逻辑性可言,这样就是为什么 GPT-4o 连比较 9.11 和 9.9 这两个数字哪个大都做不到的原因, 更不用说更为复杂的数学和科学场景了。
所以说,对于科研这种需要高逻辑性的场景,单纯的基于统计学模型的 AI 从根本上就无法很好地胜任。
所以我们需要对现有的框架进行革新,为此我基于 Google 的混合符合神经网络的思想开发了一款名为 Jarvis 的 AI 助手(灵感源于硅谷钢铁侠中的强人工智能 Jarvis)。
正如 Google 他们所描述的那样,AlphaGeometry 是一个神经符号混合系统,其中语言模型基于 Gemini,并从头开始训练,合成数据比其前身多一个数量级。
这有助于模型解决更具挑战性的几何问题,包括有关物体运动,和角度/比率/距离方程的问题。
AlphaGeometry 采用的符号引擎比其前身快两个数量级,当遇到一个新问题时,使用一种新颖的知识共享机制来实现不同搜索树的高级组合,以解决更复杂的问题。
这里,我跟 Google 的 Alpha 模型的不同之处在于:
🤖
Alpha 只使用了 Lean 语言作为神经符号求解器,而 Jarvis 用了 Lean,Wolfram,和 Matlab,分别用来处理数学,科学,和工程的问题; 训练数据方面,我精选了"数学物理百科大全书","诺贝尔奖得主著作",和"物理学大题典"等优质内容,囊括了"数学/物理/化学/生物"的各方面知识,通过学习理工思维来增强推理能力; Alpha 的统计基座模型用的是 Gemini,而我选择通过知识蒸馏 Llama-3.1-405B 来获得了一个高质量的轻量级模型,在同等算力下拥有更快的推理速度。(注: Llama-3.1-405B 是当前最大的模型,训练数据几乎涵盖了整个互联网,所以蒸馏它并不会导致模型的知识储备下降)
信息全面的多模态语义检索
搜索是一个刚需的功能,而相较于现有的搜索产品(如 Perplexity 和 Tavily-AI等),我们的区别在于:
(1) 会直接导入每一个链接的全文来进行阅读,而不是只浏览快照,这种方式等于没有搜索。
(2) 用并行化的方式快速地获取每一个连接的内容,而不使用 Rag 来压缩信息。
(3) 在检索层面就做了基于知识图谱的语义理解,而不是单纯的关键字匹配. 对于复杂的学术场景,能更好地提炼知识之间的深度关联。
(4) 信息源广泛,把付费内容给封装成了 API,并且作了质量筛查。
(a) 网页搜索至少会检索 20 个结果,然后AI会自动判断最有价值的部分反馈给用户,可以自主设置搜索数量和反馈深广度。
(b) 学术检索的数量没有限制,可以根据研究的深度来自主决定,这里未来方便演示就没有选择搜索过多的文献。
(c) 如果你发现有一篇文献很关键,你可以让 AI 进行相关性推荐,推荐结果由知识图谱语义计算结果决定,范围从几十篇到几百篇。同样,没有特殊说明 AI 会自动选择它认为最有价值的部分.
(d) 如果你想了解一个领域的最新进展,那么 AI 便会从 Arxiv 上检索文献,搜索数量没有限制. 如果没有要求,搜索语句和数量都由AI自己决定。
(e) 像 Medium,纽约时报,华尔街日报,和学术期刊等优质内容发源地,把他们都封装成 API 以增强检索的质量和信息源。
(f) 搜索结果不一定要是文本,也可以是图片,音频,和视频。
需要特别说明的是,为了方便演示,以上结果做了数量限制,而在实际使用中没有,可以完全自定义. 所有结果也都自带搜索源超链接。
更适合科研情况的长文本处理和推理能力
推理能力和长文本处理能力是 AI 大规模应用的前提,如果要进行学术研究要求则更高。
(1) 推理方面,我们使用混合符号神经网络的架构增强了 AI 的推理能力,可以自动修正调试代码,可以求解阿里巴巴全球数学竞赛题目。(能力上限有多少我也没有实测)
(2) 长文本方面,我们才有了 Google 的上下文缓存思想,让 AI 具有无限的输入输出,这个功能特别适用于处理和撰写学术论文。(但更长的输入或输入需要更多的响应时间)
(a) 现有的论文总结应用都只是简单的处理论文中的文本,对于其中更重要的公式/表格/图片却直接忽略不计,而且他们所使用的 AI 模型在长文本推理情况下的能力不佳。
为了解决这一痛点,我们直接通过视觉模态让 AI 读完整篇论文,因为我们的上下文足够长。
直接指定文献的本地路径即可,文件可以是一篇或多篇。
我们也可以查看完整的推理过程,对所有领域文献的推理我都设定让 AI 尝试进行公理化的公式推导。
(b) ChatGPT 连 9.9 和 9.11 比大小都做不到,那我们让 Jarvis 做些更复杂的数学题看看。
公式的输入和输出都支持 LaTex 渲染,而不是 dy/dx=sinxcosxexpx 这种形式。公式的输入除了打 LaTex 代码还支持数学面板的直观输入。
会自己用 Python 代码解释器验证结果。
(c) 2024 年阿里巴巴全球数学竞赛题,直接截图输入,然后求解。
(d) 跟人类一样会借助代码来解决问题,其中 Python 代码无任何报错,并自动弹出 Matplotlib的可视化结果。
(e) 证明题也不在话下。
跟Jarvis一起讨论一下哥德巴赫猜想。
(f) 自动执行并调试修正所有编程语言 Python,NodeJS,Shell,Rust,....的代码。
彩蛋: 如果你有一个库没有安装,Jarvis在执行代码的时候会自动帮你安装,而不是报错 no module named.....
(g) 最近很火的 Claude Artifact 功能,让 AI 根据截图复现源代码,或者让 AI 用 NodeJS 进行UI设计。AI 会自动执行 NodeJS 然后在浏览器中打开设计结果.
(h) 认真且深入地思考每一个问题。
(i) 通过你文献管理器中的参考文献直接生成一篇完整的论文。18 篇文献总共生成了 9 页的论文(这篇仅展示开头和结尾部分),论文排版可以根据期刊的 LaTex 模板而改变。这里为了测试,生成的论文没有公式和图表,实际使用的时候可以加入这些内容。
流程: AI 会对每一篇参考文献执行批判性思考(思考结果包括公理化推导),然后根据所有的思考结果汇总成一篇完整的论文。
不断改进中....
(a) 通过 API 在 OpenArtifacts 和 LobeChat 等前端使用
一句话生成 UI 界面
在 LobeChat 中执行搜索
(b) 之后准备完善各种功能,因为 AI 本就应该是全能的。
如何使用?
各位如果喜欢我的产品,请添加开发者(即粉丝)的微信G1431716698
,价格为 10 美元/月(72 CNY/月),微信转账即可,不限量使用。
有任何问题,包括学术和产品建议等,都可以随时在群聊中提出或直接找我交流。
我也收到过一些期刊的邀稿和审稿:
As Editors of Applied Physics Reviews (APR),we are reaching out to encourage you to propose a Review article for a new Special Issue....