LlamaEdge 支持 tool call！调用外部工具

工具调用是从未有过的真正“LLM原生”的交互模式之一。它赋予了“思考”的大语言模型“行动”的能力——既能获取新知识，又能执行现实世界的操作。这对任何 agentic app 都至关重要。

开源LLM 在使用工具方面越来越出色。Llama 3 8B 模型让开发者在自己的笔记本电脑上实现可靠的工具调用成为可能！有了它，在Mac上就能用自然语言轻松下达指令完成不同任务，参考在社区月会上的demo⬇️

而本教程中，我们将展示一个简单的Python程序，该程序让本地 LLM 在本地计算机上运行代码和操作数据！

先决条件

按照本教程^[1]启动一个 LlamaEdge API 服务器。

第一步：通过以下命令行安装 WasmEdge^[2]。

curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install_v2.sh | bash -s -- -v 0.13.5 --ggmlbn=b3259

第二步：下载一个 API server 应用。它是一个可以在多种 CPU 和 GPU 设备上运行的跨平台可移植的 Wasm 应用。

curl -LO https://github.com/LlamaEdge/LlamaEdge/releases/latest/download/llama-api-server.wasm

第三步：我们需要一个能够调用工具的开源模型。Groq 微调过的Llama 3 8B模型是一个不错的选择。让我们下载模型文件。

curl -LO https://huggingface.co/second-state/Llama-3-Groq-8B-Tool-Use-GGUF/resolve/main/Llama-3-Groq-8B-Tool-Use-Q5_K_M.gguf

然后按照以下方式启动 LlamaEdge API 服务器。

wasmedge --dir .:. \
    --nn-preload default:GGML:AUTO:Llama-3-Groq-8B-Tool-Use-Q5_K_M.gguf \
    --nn-preload embedding:GGML:AUTO:nomic-embed-text-v1.5.f16.gguf \
    llama-api-server.wasm \
    --model-alias default,embedding \
    --model-name llama-3-groq-8b,nomic-embed \
    --prompt-template groq-llama3-tool,embedding \
    --batch-size 128,8192 \
    --ctx-size 8192,8192

请注意这里的 groq-llama3-tool 提示词模板。它把用户查询和LLM响应，包括工具调用的JSON消息，构造为模型微调遵循的正确格式。

运行 demo agent

Agent app^[3] 是用Python 写的。它演示了 LLM 如何使用工具操作SQL数据库。在这种情况下，它启动并操作一个内存中的SQLite数据库。数据库存储待办事项列表。

下载代码，并安装 Python 依赖：

git clone https://github.com/second-state/llm_todo
cd llm_todo
pip install -r requirements.txt

设置我们刚刚设置的 API 服务器和模型名称的环境变量。

export OPENAI_MODEL_NAME="llama-3-groq-8b"
export OPENAI_BASE_URL="http://127.0.0.1:8080/v1"

运行 main.py 应用并调出命令行聊天界面。

python main.py

使用 agent

现在，你可以要求 LLM 执行任务。例如，你可以说

User: 
Help me to write down it I'm going to fix a bug

LLM 能够理解你的需求需要在数据库中插入一条记录，并且以 JSON 格式返回工具调用响应。

Assistant:
<tool_call>
{"id": 0, "name": "create_task", "arguments": {"task": "going to fix a bug"}}
</tool_call>

agent app（即 main.py）在 JSON 响应中执行工具调用 create_task，并将结果为 Tool的角色发回。你无需在此处执行任何操作，因为它会在 main.py 中自动发生。agent app 执行工具调用时，SQLite 数据库会更新。

Tool:
[{'result': 'ok'}]

LLM 收到执行结果，然后回答。

Assistant:
I've added "going to fix a bug" to your task list. Is there anything else you'd like to do?

你可以继续对话。了解有关工具调用工作原理的更多信息，请参阅这篇文章^[4]。

代码拆解

main.py 脚本是一个很好的示例，可以展示工具调用应用程序的结构。

首先，有一个  Tools JSON 结构，它定义了可用的工具。每个工具都被设计为一个函数，有一个函数名称和一组参数。description 字段尤其重要。它解释了何时以及如何使用该工具。LLM“理解”此描述并使用它来确定是否应使用此工具来响应用户查询。LLM 将在需要时在其工具调用响应中包含这些函数名称。

Tools = [
    {
        "type": "function",
        "function": {
            "name": "create_task",
            "description": "Create a task",
            "parameters": {
                "type": "object",
                "properties": {
                    "task": {
                        "type": "string",
                        "description": "Task's content",
                    }
                },
            },
        },
    },
    ... ...
]

然后， eval_tools() 函数将 LLM JSON 响应中的工具函数名称和参数映射到需要执行的实际 Python 函数。

def eval_tools(tools):
    result = []
    for tool in tools:
        fun = tool.function
        if fun.name == "create_task":
            arguments = json.loads(fun.arguments)
            result.append(create_task(arguments["task"]))
        ... ...

    if len(result) > 0:
        print("Tool:")
        print(result)

    return result

Python 函数按预期执行 CURD 数据库操作。

def create_task(task):
    try:
        conn.execute("INSERT INTO todo (task, status) VALUES (?, ?)", (task, "todo"))
        conn.commit()
        return {"result": "ok"}
    except Exception as e:
        return {"result": "error", "message": str(e)}

使用 JSON 和 Python 中定义的工具调用函数，我们现在可以研究 agent 如何管理对话。用户查询通过 chat_completions 函数发送。

def chat_completions(messages):
    stream = Client.chat.completions.create(
        model=MODEL_NAME,
        messages=messages,
        tools=Tools,
        stream=True,
    )

    tool_result = handler_llm_response(messages, stream)
    if len(tool_result) > 0:
        for result in tool_result:
            messages.append({"role": "tool", "content": json.dumps(result)})
        return False
    else:
        return True

当收到响应时，它会调用 handler_llm_response() 来确定 LLM 响应是否需要工具调用。如果不需要工具调用，则只需向用户显示 LLM 响应。

但是，如果 LLM 响应中存在工具调用 JSON 部分，handler_llm_response() 函数负责通过调用关联的 Python 函数来执行它。每个工具调用执行结果都会自动作为带有 Tool 角色的消息发送回 LLM。然后，LLM 将使用这些 tool 结果消息来生成新的响应。

def handler_llm_response(messages, stream):
    tools = []
    content = ""
    print("Assistant:")
    for chunk in stream:
        if len(chunk.choices) == 0:
            break
        delta = chunk.choices[0].delta
        print(delta.content, end="")
        content += delta.content
        if len(delta.tool_calls) == 0:
            pass
        else:
            if len(tools) == 0:
                tools = delta.tool_calls
            else:
                for i, tool_call in enumerate(delta.tool_calls):
                    if tools[i] == None:
                        tools[i] = tool_call
                    else:
                        argument_delta = tool_call["function"]["arguments"]
                        tools[i]["function"]["arguments"].extend(argument_delta)
    if len(tools) == 0:
        messages.append({"role": "assistant", "content": content})
    else:
        tools_json = [tool.json() for tool in tools]
        messages.append(
            {"role": "assistant", "content": content, "tool_call": tools_json}
        )

    print()

    return eval_tools(tools)

使其稳健

LLM应用的关键挑战之一是LLM响应通常不可靠。如果

LLM无法生成正确的工具调用响应来回答用户查询。

在这种情况下，你可以调整和微调每个工具调用函数的描述。LLM根据这些描述选择其工具。编写与常见用户查询匹配的描述至关重要。

LLM出现幻觉并生成具有不存在函数名称或错误参数的工具调用。

Agent 应用应捕获此错误并要求LLM重新生成响应。如果LLM无法生成有效的工具调用响应， Agent 可以回答类似视频对不起，Dave，我恐怕办不到啊^[5]中，LLM为工具生成了格式错误的JSON结构。

与以上相同。Agent 应捕获并处理错误。

工具调用是新的agentic LLM应用领域的关键特性。我们非常期待看到你的新创意！