之前的篇章都是用SemanticKernel来连接OpenAI的API，当然是需要费用，另外还有使用限制，本篇来说明在SK中使用开源模型LLama3。
首先引入Nuget包，这里使用的是LLamaSharp这个三方包，因为没有显卡，只能跑在CPU上，所以也需要引入对应的Cpu包，最后引入SK的LLama版的包。
<ItemGroup><PackageReference Include="LLamaSharp" Version="0.11.2" /><PackageReference Include="LLamaSharp.Backend.Cpu" Version="0.11.2" /><PackageReference Include="LLamaSharp.semantic-kernel" Version="0.11.2" /></ItemGroup>
接下就是下载最新的LLama3了，扩展名是gguf，如下代码就可以轻松地跑起本地小模型了。
using LLama.Common;using LLama;using LLamaSharp.SemanticKernel.ChatCompletion;using System.Text;using ChatHistory = LLama.Common.ChatHistory;using AuthorRole = LLama.Common.AuthorRole;await SKRunAsync();async Task SKRunAsync(){var modelPath = @"C:\llama\llama-2-coder-7b.Q8_0.gguf";var parameters = new ModelParams(modelPath){ContextSize = 1024,Seed = 1337,GpuLayerCount = 5,Encoding = Encoding.UTF8,};using var model = LLamaWeights.LoadFromFile(parameters);var ex = new StatelessExecutor(model, parameters);var chatGPT = new LLamaSharpChatCompletion(ex);var chatHistory = chatGPT.CreateNewChat(@"这是assistant和user之间的对话。assistant是一名.net和C#专家，能准确回答user提出的专业问题。");Console.WriteLine("开始聊天:");Console.WriteLine("------------------------");while (true){Console.Write("user：");var userMessage = Console.ReadLine();chatHistory.AddUserMessage(userMessage);var first = true;var content = "";await foreach (var reply in chatGPT.GetStreamingChatMessageContentsAsync(chatHistory)){if (first){first = false;Console.Write(reply.Role + "：");}content += reply.Content;Console.Write(reply.Content);}chatHistory.AddAssistantMessage(content);}}
下面是具体的效果，除了慢点，没有GPT强大点，其他都是很香的，关键是没有key，轻松跑，不怕信用卡超支。
