无需自备或维护高昂的 GPU 资源,函数计算的按需付费模式让您无需担忧前期投入与运维开销,真正实现成本节约,同时享受云计算带来的无限可能与灵活性。尽情体验云计算带来的便利与灵活性。
适用客户
Cloud Native
寻求无代码途径快速探索 AI 大模型的业务人员
寻求构建 AI 大模型应用但缺乏 GPU 资源的开发者 寻求简化技术门槛以有效利用 AI 大模型的企业
使用产品
Cloud Native
函数计算 FC
文件存储 NAS
方案概览
Cloud Native
本方案利用函数计算的无服务器架构,您可以在函数计算控制台选择魔搭(ModelScope)开源大模型应用模板;同时,我们将利用文件存储 NAS ,为应用服务所需的大模型和相关文件提供一个安全的存储环境;最终通过访问提供的域名进行模型的调用与验证。仅需三步,即可玩转目前热门 AI 大模型。
本方案的技术架构包括以下基础设施和云服务:
函数计算:用于提供基于大模型的应用服务。
文件存储 NAS:用于存放 ModelScope 模型。
专有网络 VPC:用于配置专有网络,方便函数计算访问文件存储 NAS。
部署应用
Cloud Native
借助于函数计算应用模板,您可以便捷地将魔搭社区的开源大模型部署到函数计算上。
使用 LLM 应用
Cloud Native
部署完成后,您可以使用函数计算应用提供的域名访问服务,与模型进行对话。
重要:请注意保护域名的安全,不要泄露给其他人,以防产生额外费用。
***.devsapp.net 域名是 CNCF SandBox 项目 Serverless Devs 社区所提供,仅供学习和测试使用,不可用于任何生产使用;社区会对该域名进行不定期的拨测,并在域名下发 30 天后进行回收,强烈建议您绑定自定义域名以获得更好的使用体验,详细请见配置自定义域名。
2. 输入文本信息,然后单击 Submit,您可以看到模型的回答结果。第一次调用因为函数冷启动会花费比较长的时间大概 90s,后续回答速度会快很多。
说明:函数计算平台会在您调用结束后,自动将 GPU 实例置为闲置模式,无需您手动操作,并且会在下次调用到来时,将该实例唤醒,置为活跃模式进行服务。
总结
Cloud Native
[1] 函数计算应用模板
[2] modelscope 访问令牌页面
[3] ModelScope 官网
https://modelscope.cn/models