一款虚拟试衣应用Virtual Try-On App

文摘   2024-10-24 08:44   湖北  

项目简介

该存储库包含使用 Flask、Twilio 的 WhatsApp API 和带有 IDM-VTON 试戴模型的 Gradio 应用程序构建的虚拟试戴应用程序的代码。用户可以通过 WhatsApp 将图像发送到 Twilio,以虚拟方式试穿服装,然后将结果发送回给他们。


特征

  • 通过 WhatsApp 接收人和衣服的图像。

  • 使用 Gradio 的 API 生成虚拟试穿结果。

  • 通过 WhatsApp 将结果图像返回给用户。

  • 使用 Twilio Sandbox for WhatsApp 轻松进行原型设计和测试。


使用的技术

  • Flask :后端服务器,用于处理请求并与 Twilio 和 Gradio 交互。

  • Twilio API :发送和接收 WhatsApp 消息和媒体。

  • Gradio API :用于与虚拟试穿 Gradio 应用程序进行交互,该应用程序在底层使用 IDM-VTON(改进真实虚拟试穿的扩散模型)模型来生成准确的服装试穿结果。

  • Ngrok :用于将本地服务器公开到互联网以进行 WhatsApp 交互。


先决条件

在运行此项目之前,请确保您具备以下条件:

  • 具有 WhatsApp 沙箱设置的 Twilio 帐户。

  • Hugging Face 帐户使用 Gradio API。

  • 您的计算机上安装了 Python 3.6+。


Twilio 设置

  1. 创建一个Twilio 帐户。

  2. 激活WhatsApp 的 Twilio 沙箱:

  • 在 Twilio 控制台中,导航到“消息传递”部分,然后选择WhatsApp沙箱下的“试用” 。

  • 按照说明通过向提供的 Twilio 号码发送 WhatsApp 消息来加入沙箱。

  • 从 Twilio 控制台获取您的Twilio 帐户 SID身份验证令牌

    • 转到 Twilio 控制台中的“设置”以查找这些凭据。

  • 记下用于发送和接收 WhatsApp 消息的Twilio Sandbox 号码


  • 设置沙盒后,您可以开始向 WhatsApp 沙盒号码接收和发送消息,以测试您的虚拟试戴应用程序。


    Hugging Face设置

    1. 创建一个Hugging Face a帐户。

    2. 使用Nymbo 虚拟试穿模型作为 Hugging Face Spaces 上提供的 API:Nymbo 虚拟试穿。该 API 是使用 IDM-VTON(基于图像的虚拟试穿网络)模型构建的,该模型会拍摄两个人的图像以及一件可以产生真实试穿效果的服装。




    项目链接

    https://github.com/adarshb3/Virtual-Try-On-Application-using-Flask-Twilio-and-Gradio

    扫码加入技术交流群,备注开发语言-城市-昵称

    合作请注明


     

    关注「GitHubStore」公众号

    GitHubStore
    分享有意思的开源项目
     最新文章