今天刚看到开源消息，就使用了云端的4090单卡来体验。如果不做SAT的话，需要36G显存，跑不起来，但是用SAT又太麻烦了，文档也不全。其实完全可以推出一个1B的模型版本。
我用streamlit启动的web端推理，能正常显示，但是实际推理会报内存不足。
安装过程有点费劲，一开始pip install -r requirements会有警告提示。安装成功后界面如下：
文档还是不太全，操作起来有点难度。
今天刚看到开源消息，就使用了云端的4090单卡来体验。如果不做SAT的话，需要36G显存，跑不起来，但是用SAT又太麻烦了，文档也不全。其实完全可以推出一个1B的模型版本。
我用streamlit启动的web端推理，能正常显示，但是实际推理会报内存不足。
安装过程有点费劲，一开始pip install -r requirements会有警告提示。安装成功后界面如下：
文档还是不太全，操作起来有点难度。
