MGDebugger:多粒度LLM代码调试工具

文摘   2024-10-19 10:05   湖南  

项目简介

MGDebugger 是一种分层LLM代码调试方法,旨在隔离、识别和解决各种粒度级别的错误。MGDebugger 采用分层自下而上的调试方法,系统地从各个子功能推进到整个系统,从而实现精确的错误检测和纠正。


通过MGDebugger,开发人员可以通过进行粒度分析来高效调试复杂的代码和函数,减少调试时间,提高解决复杂问题的成功率。

MGDebugger 系统架构概述

子功能调试模块


入门

先决条件

在运行 MGDebugger 之前,请确保您的环境满足以下要求:

  • Python :3.8 或更高版本。

  • vLLM :版本 0.6.0 或更高版本。模型加载和推理所需。您可以按照官方安装指南进行设置。

  • 其他依赖项:使用以下命令安装所有必需的 Python 包:

pip install -r requirements.txt


配置 vLLM 服务器

使用以下命令启动 vLLM 服务器 DeepSeek-Coder-V2-Lite-Instruct 模型,执行以下命令:

python -m vllm.entrypoints.openai.api_server \    --model deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct \    --trust-remote-code \    --dtype auto \    --api-key token-abc123s \    --port 18889

这将初始化模型并在端口18889上启动服务器。


用法

运行演示

我们准备了一个演示代码片段来展示 MGDebugger 的调试功能。启动vLLM服务器后,您可以通过执行以下命令来运行演示:

python demo.py


运行实验

vLLM 服务器启动并运行后,通过执行以下命令启动 MGDebugger:

python main.py


日志管理

MGDebugger 自动将所有调试和错误日志存储在output_data目录中。您可以查看这些日志以更深入地了解调试细节和性能分析。


项目链接

https://github.com/YerbaPage/MGDebugger

扫码加入技术交流群,备注开发语言-城市-昵称

合作请注明


 

关注「GitHubStore」公众号


GitHubStore
分享有意思的开源项目
 最新文章