简单命令行搭建吴恩达的 LLM Translation Agent，测测开源模型哪家强

吴恩达教授的的Agenic Translation^[1]很好地展示了如何协调多个大模型“Agent”共同完成特定任务。它能让多个较小的 LLM（如Llama-3或Gemma-2）协同工作，产生比单个 LLM（如ChatGPT）更好的结果。

翻译 Agent^[2] 非常适合用 LlamaEdge^[3]，LlamaEdge 是一个轻量级^[4]、嵌入式^[5]、可移植^[6]和Docker原生^[7]的AI运行时环境，适用于许多不同类型^[8]的模型和硬件加速器。通过LlamaEdge，你可以构建并分发带有嵌入式 LLM 和提示词的翻译应用程序，这些应用程序可以在边缘设备上运行。

LLM 翻译 Agent 介绍

这个 LLM 翻译 Agent 是用于多语言间的准确和高效翻译。它使用开源的 LLM （大语言模型）来提供高质量的翻译。也可以使用自己的微调模型或Hugging Face上的任何 LLM ，如Meta的Llama 3。

关于启动和运行此 Agent 的详细命令行，请访问GitHub - Second State/translation-agent^[9]。

首先，clone 翻译 Agent。

git clone https://github.com/second-state/translation-agent.git
    
cd translation-agent
git checkout use_llamaedge

在这里，我们分别在本地运行 Llama-3-8B 、Gemma-2-9B和Phi-3-medium-128k，并在其上运行我们的翻译 Agent，展示各模型的翻译质量。我们测试一个简单的翻译任务以查看效果，以比较它们的翻译能力。你需要安装WasmEdge^[10]和LlamaEdge API server^[11]，才能在主要的GPU和CPU平台上运行这些模型。

curl -sSf https://raw.githubusercontent.com/WasmEdge/WasmEdge/master/utils/install_v2.sh | bash -s -- -v 0.13.5

curl -LO https://github.com/LlamaEdge/LlamaEdge/releases/latest/download/llama-api-server.wasm

你还需要以下配置和先决条件来运行 Agent 应用程序。

export OPENAI_BASE_URL="http://localhost:8080/v1"
export PYTHONPATH=${PWD}/src
export OPENAI_API_KEY="LLAMAEDGE"

pip install python-dotenv
pip install openai tiktoken icecream langchain_text_splitters

Demo 1：使用 Llama-3-8B 运行翻译 Agent

首先，让我们使用Meta AI 研发的 Llama-3模型运行翻译 Agent。此 Demo 选择了最小的 Llama-3-8B 模型。翻译任务是把我们的中文原文^[12]翻译成英文，文章是一篇中国故宫——紫禁城的简介。

步骤1.1：在你自己的设备上运行 Llama-3-8B

详细说明请参见：在你自己的设备上运行 Llama-3-8B^[13]

下载 Llama-3-8B 模型GGUF文件。由于模型大小为5.73 GB，可能需要一段时间下载。

curl -LO https://huggingface.co/second-state/ Llama-3-8B -Instruct-GGUF/resolve/main/Meta- Llama-3-8B -Instruct-Q5_K_M.gguf

接下来，使用以下命令启动模型的 API server 。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:Meta- Llama-3-8B -Instruct-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template llama-3-chat \
  --ctx-size 4096 \
  --model-name  Llama-3-8B 

步骤1.2 在 Llama-3-8B 上运行翻译 Agent

在你 clone 的 Agent repo中找到examples/example_script.py文件并查看其代码。这个文件会告诉 Agent 在哪里找到你的文档以及如何翻译它。将模型名称更改为你正在使用的名称，这里我们使用Llama-3-8B模型；还要更改你想要的源语言和目标语言（这里我们将Chinese作为源语言和English作为目标语言）。

import os
import translation_agent as ta
        
if __name__ == "__main__":
    source_lang, target_lang, country = "Chinese", "English", "Britain"
    
    relative_path = "sample-texts/forbiddencity.txt"
    script_dir = os.path.dirname(os.path.abspath(__file__))
    
    full_path = os.path.join(script_dir, relative_path)
    
    with open(full_path, encoding="utf-8") as file:
        source_text = file.read()
    
    print(f"Source text:\n\n{source_text}\n------------\n")
    
    translation = ta.translate(
            source_lang=source_lang,
            target_lang=target_lang,
            source_text=source_text,
            country=country,
            model=" Llama-3-8B ",
    )
    
    print(f"Translation:\n\n{translation}")

然后，你可以在clone 的repo中找到一个examples/sample-texts文件夹。将你想翻译的文件放在这个文件夹中并获取其路径。这里因为我们将我们的源文本命名为forbiddencity.txt，文档的相对路径将是sample-texts/forbiddencity.txt。

运行下面的命令将你的文件翻译成英文。

cd examples
python example_script.py

等待几分钟，你将在终端屏幕上看到完全翻译好的版本^[14]。

Demo 2：使用Gemma-2-9B运行翻译 Agent

使用LlamaEdge运行翻译 Agent的好处是用户可以选择并嵌入不同的 LLM 来完成不同的 Agent 任务。为了展示这一点，我们现在将翻译 Agent LLM 从 Llama-3-8B 更换为Google的Gemma-2-9b，这是一个大小相似但在许多与语言相关的基准测试中得分更高的模型。

翻译任务与之前相同。我们的原文^[15]是中文，简要介绍了中国古代皇宫——紫禁城。翻译目标是英文。

步骤2.1 在自己的设备运行 Gemma-2-9B

详细说明请参见这里：在你自己的设备上运行Gemma-2-9B^[16]

下载Gemma-2-9B-it模型GGUF文件^[17]。由于模型大小为6.40G，可能需要一段时间下载。

curl -LO https://huggingface.co/second-state/gemma-2-9b-it-GGUF/resolve/main/gemma-2-9b-it-Q5_K_M.gguf

启动模型的 API server 。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:gemma-2-9b-it-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template gemma-instruct \
  --ctx-size 4096 \
  --model-name gemma-2-9b

步骤2.2 在 Gemma-2-9B 之上运行翻译 Agent

在你clone 的 Agent repo中找到examples/example_script.py文件并查看其代码。它指示 Agent 在哪里找到你的文档以及如何翻译它。将模型名称更改为你正在使用的名称，这里我们使用gemma-2-9b模型；还要更改你想要的源语言和目标语言（这里我们将Chinese作为源语言和English作为目标语言）。

import os  
import translation_agent as ta  
    
if __name__ == "__main__":
    source_lang, target_lang, country = "Chinese", "English", "Britain"
    
    relative_path = "sample-texts/forbiddencity.txt"
    script_dir = os.path.dirname(os.path.abspath(__file__))
    
    full_path = os.path.join(script_dir, relative_path)
    
    with open(full_path, encoding="utf-8") as file:
        source_text = file.read()
    
    print(f"Source text:\n\n{source_text}\n------------\n")
    
    translation = ta.translate(
            source_lang=source_lang,
            target_lang=target_lang,
            source_text=source_text,
            country=country,
            model="gemma-2-9b",
    )
    
    print(f"Translation:\n\n{translation}")

然后，你可以在clone 的repo中找到一个examples/sample-texts文件夹。将你想翻译的文件放在这个文件夹中并获取其路径。这里因为我们将我们的源文本命名为forbiddencity.txt，文档的相对路径将是sample-texts/forbiddencity.txt。

运行下面的命令将你的文件翻译成英文。

cd examples    
python example_script.py

你可以在这里^[18]找到翻译好的英文结果。

Demo 3：使用 Phi-3-Medium 长上下文模型运行翻译 Agent

Llama-3和Gemma-2模型都是很棒的  LLM ，但它们的上下文窗口相对较小。Agent 要求所有文本都必须适应 LLM 的上下文窗口，这限制了它们可以翻译的文章大小。为了解决这个问题，我们可以选择一个具有大上下文窗口的开源 LLM 。对于这个Demo ，我们选择了Microsoft的Phi-3-medium-128k模型，它具有巨大的128k（超过10万个单词或几本书的长度）上下文窗口。

我们通过我们的翻译 Agent运行一篇关于紫禁城与凡尔赛宫合作的长篇中文文章^[19]，该 Agent 由我们在本地启动的Phi-3-medium-128k模型驱动。

步骤3.1：在你自己的设备上运行Phi-3-medium-128k

详细说明请参见这里：Getting Started with Phi-3-mini-128k^[20].

下载Phi-3-Medium-128k模型GGUF文件^[21]。

curl -LO https://huggingface.co/second-state/Phi-3-medium-128k-instruct-GGUF/resolve/main/Phi-3-medium-128k-instruct-Q5_K_M.gguf

运行以下命令启动模型的 API server ，该服务器具有128k上下文窗口。

wasmedge --dir .:. --nn-preload default:GGML:AUTO:Phi-3-medium-128k-instruct-Q5_K_M.gguf \
  llama-api-server.wasm \
  --prompt-template phi-3-chat \
  --ctx-size 128000 \
  --model-name phi-3-medium-128k

步骤3.2 clone 并在Phi-3-medium-128k上运行翻译 Agent

在你clone 的 Agent repo中找到examples/example_script.py文件并查看其代码。它指示 Agent 在哪里找到你的文档以及如何翻译它。将模型名称更改为你正在使用的名称，这里我们使用phi-3-medium-128k模型；还要更改你想要的源语言和目标语言（这里我们将Chinese作为源语言和English作为目标语言）。

import os  
import translation_agent as ta  
    
if **name** == "**main**":
    source_lang, target_lang, country = "Chinese", "English", "Britain"
    
    relative_path = "sample-texts/long_article.txt"
    script_dir = os.path.dirname(os.path.abspath(**file**))
    
    full_path = os.path.join(script_dir, relative_path)
    
    with open(full_path, encoding="utf-8") as file:
        source_text = file.read()
    
    print(f"Source text:\n\n{source_text}\n------------\n")
    
    translation = ta.translate(
            source_lang=source_lang,
            target_lang=target_lang,
            source_text=source_text,
            country=country,
            model="phi-3-medium-128k",
    )
    
    print(f"Translation:\n\n{translation}")

然后，你可以在clone 的repo中找到一个examples/sample-texts文件夹。将你想翻译的文件放在这个文件夹中并获取其路径。这里因为我们将我们的源文本命名为long_article.txt，文档的相对路径将是sample-texts/long_article.txt。

cd examples
python example_script.py

翻译结果令人印象深刻，^[22]翻译准确捕捉了原文的细微差别和上下文，具有高度的忠实度。

翻译质量评估

三个模型， Llama-3-8B 、Gemma-2-9B和Phi-3-medium，在从中文到英文翻译复杂的历史和文化内容时表现出不同水平。

Llama-3-8B  的翻译有效地捕捉了事实性内容，但语言偶尔显得僵硬，可能表明采用了直接翻译的方法，未能完全适应惯用表达。它没有保留原文的节标题和格式，并且某些部分未翻译。

相比之下，Gemma-2-9B 翻译得相当准确，保留了紫禁城简介文章的原意。Gemma-2-9B 的翻译展现出流畅自然的英语，表明对源语言和目标语言的语法结构有着深入的理解。Gemma-2-9B 输出中的词汇选择和句子结构表明具有高度的语言技巧，表明它可能非常适合翻译正式和具有历史细节的文本。

Phi-3-medium-128k模型可以将书籍长度的文本从中文翻译成英文。它在处理大量复杂内容方面表现出强大的能力，表明具有领先的内存处理和上下文意识。即使在文本长度增加的情况下，翻译质量也保持一致，表明Phi在需要广泛详细翻译的项目中的实用性。但你可以看到它犯了某些错误，比如在第一段中错误地将“文华殿”错误理解为紫禁城别称。

总的来说，每个模型都有其优势，Gemma-2-9B在语言技巧方面表现突出，而Phi-3-medium-128k在处理长文本方面表现出色。

结论

LlamaEdge^[23] 让你可以容易地将不同的开源大语言模型嵌入到自己的 Agent 应用中，充分发挥大模型针对特定任务的微调能力。结果应用程序可以适当打包并分发为单个应用程序，该应用程序可在主流的CPU和GPU设备上运行。