项目简介
MGDebugger 是一种分层LLM代码调试方法,旨在隔离、识别和解决各种粒度级别的错误。MGDebugger 采用分层自下而上的调试方法,系统地从各个子功能推进到整个系统,从而实现精确的错误检测和纠正。
通过MGDebugger,开发人员可以通过进行粒度分析来高效调试复杂的代码和函数,减少调试时间,提高解决复杂问题的成功率。
MGDebugger 系统架构概述
子功能调试模块
入门
先决条件
在运行 MGDebugger 之前,请确保您的环境满足以下要求:
Python :3.8 或更高版本。
vLLM :版本 0.6.0 或更高版本。模型加载和推理所需。您可以按照官方安装指南进行设置。
其他依赖项:使用以下命令安装所有必需的 Python 包:
pip install -r requirements.txt
配置 vLLM 服务器
使用以下命令启动 vLLM 服务器 DeepSeek-Coder-V2-Lite-Instruct
模型,执行以下命令:
python -m vllm.entrypoints.openai.api_server \
--model deepseek-ai/DeepSeek-Coder-V2-Lite-Instruct \
--trust-remote-code \
--dtype auto \
--api-key token-abc123s \
--port 18889
这将初始化模型并在端口18889
上启动服务器。
用法
运行演示
我们准备了一个演示代码片段来展示 MGDebugger 的调试功能。启动vLLM服务器后,您可以通过执行以下命令来运行演示:
python demo.py
运行实验
vLLM 服务器启动并运行后,通过执行以下命令启动 MGDebugger:
python main.py
日志管理
MGDebugger 自动将所有调试和错误日志存储在output_data
目录中。您可以查看这些日志以更深入地了解调试细节和性能分析。
项目链接
https://github.com/YerbaPage/MGDebugger
扫码加入技术交流群,备注「开发语言-城市-昵称」
合作请注明
关注「GitHubStore」公众号