资产统一管理: 一站式Hub统一管理模型文件、数据集、大模型应用代码。 研发生态兼容: 同时支持HTTPS和SSH协议的Git命令和Web界面操作,同时提供企业内完全兼容Hugging Face SDK的研发生态,确保不同用户均可方便使用。 大模型能力扩展: 原生支持版本化管理、模型格式转化、数据自动预处理、数据集预览等功能。 权限与安全: 支持与企业用户系统集成、支持资产可见范围设置、外内部接口鉴权设计,满足企业安全需求。 私有化部署支持: 无互联网依赖、无云厂商依赖等外部依赖,可一键启动私有化部署。 大模型原生设计: 支持自然语言交互、模型一键部署、Agent与Copilot App等资产管理。
CSGHub技术特点
CSGHub整合了多源Git Server、Git LFS大文件存储协议和对象存储OSS等技术,提供可靠的数据存储层、灵活的基础设施接入层和高兼容的研发工具支持。 通过服务化的架构,CSGHub提供CSGHub Server后台服务和CSGHub Web Service的管理界面,普通用户可以快速使用Docker compose或Kubernetes Helm Chart启动服务,实现生产级的资产管理。具备自研能力的用户可利用CSGHub Server进行二次开发,将管理功能集成到外部系统或自定义高级功能。 CSGHub借助Apache Arrow和DuckDB等优秀开源项目,支持Parquet数据文件格式的预览,便于算法研究人员和爱好者进行本地化数据集管理。 CSGHub提供直观的Web界面和面向企业组织架构的权限设计,用户可通过Web UI实现版本控制管理、在线浏览和下载,也可以设置数据集和模型文件的可见范围,实现数据安全隔离,还可以对模型和数据集发起话题讨论。
教程内容
注册和设置
访问CSGHub SaaS服务:打开OpenCSG主页(https://opencsg.com/),体验CSGHub SaaS服务。 注册账户:点击页面右上角的登录/注册按钮。填写账户信息(用户名、密码、手机号和邮箱)完成注册。 登录:使用用户名和密码登录。
添加SSH密钥:进入“账户设置 > SSH密钥”页面,点击添加SSH密钥。粘贴你的SSH公钥并保存。 使用Git命令:配置完成后,你可以使用Git推送和拉取仓库内容。
模型管理:创建、上传和下载
模型仓库的拥有者默认为用户名,但你可以从下拉菜单中选择组织名称。 模型名称和描述。 选择许可证类型。 选择是否将模型设为公开。
通过网页上传:点击添加文件,选择“创建新文件”或“上传文件”。 通过Git上传:确保本地已安装Git并配置Git账户信息,然后按照以下步骤进行:
首先通过Git下载模型仓库,然后将要上传的模型文件复制到相应的仓库。 假设你的模型文件在本地目录/work/my_model_dir中,可以通过以下命令将文件上传至平台创建的模型仓库:
cd test_model
cp -rf /work/my_model_dir/* .
git add .
git commit -m "commit message"
git push
通过网页下载:在文件列表页面点击下载按钮,直接下载文件。 通过Git下载: 通过SDK下载:CSGHub SDK提供了Python库,可以通过SDK下载数据。
git lfs install
git clone https://opencsg.com/models/demo/test_model.git
git lfs install
git clone ssh://git@hub.opencsg.com/models/demo/test_model.git
推理与微调
端点名称:可自定义,需唯一。 模型ID:CSGHub社区中的模型ID。 副本范围:1~5。 选择地区和资源配置。 选择推理框架。 选择是否将端点设为公开。
实例名称:可自定义,需唯一。 模型ID:CSGHub社区中的模型ID。 选择地区和资源配置。 选择运行时框架。
微调前:在聊天选项卡中,点击加载模型,在Web UI中与模型对话。输入想要询问的内容,点击提交。发送消息后,模型生成响应,但微调前可能无法正确回答中文问题。 微调后:点击卸载模型,然后点击加载模型,重新与微调后的模型对话。再次发送相同的内容,模型将根据数据集学习并能够正确回应中文问题。
欢迎加入传神社区
•贡献代码,与我们一同共建更好的OpenCSG
•Github主页
欢迎🌟:https://github.com/OpenCSGs
•Huggingface主页
欢迎下载:https://huggingface.co/opencsg
•加入我们的用户交流群,分享经验
扫描上方二维码添加传神小助手
“ 关于OpenCSG
关注OpenCSG
加入传神社区