LLM的本质是一个复杂的数学函数,它只做一件事:针对给出的任何文本,预测下一个单词。
【3B1B:LLM的本质是单词预测器】
要构建一个聊天机器人,你需要先给出一些文本,描述用户与假想的AI助手之间互动。
用户的输入是这次互动的开始,然后,你让模型反复预测AI助手会“说出”的下一个单词,这就是用户得到的输出结果。
但是,LLM 并非以确定方式预测下一个单词,而是为所有可能的下一个单词分别分配一个概率。
这样的话,如果你允许LLM以更随机方式,选择可能性更低的下一个单词,输出结果会看起来更自然。
因此,这意味着,对于一个固定的提示词,LLM 每次给出的答案通常是不同的。