llms.txt 就像一个为 AI 准备的网站地图，它帮助 LLM 更有效地理解和使用网站内容。 通过一个简单的 Markdown 文件，它列出了网站的核心信息和重要的链接，并建议为每个网页创建 Markdown 版本，让 LLM 的阅读体验更上一层楼。这类似于 robots.txt 引导搜索引擎爬虫的方式，预示着 LLM 内容消费的新时代。
LLM 的内容消费——机遇与挑战并存
正如吴恩达在 X 中提到的，越来越多的人开始创作专门供 LLM 消费的文本，这预示着内容消费的新时代已经到来。LLM，例如 ChatGPT 等，正在成为我们日常生活中不可或缺的信息处理工具。它们不仅能够生成文本，还能理解和分析文本，这为内容创作和消费带来了新的机遇和挑战。 LLM 的内容消费已经深入到我们生活的方方面面，从搜索引擎的智能问答到代码生成的自动补全，LLM 依赖于对文本的理解和处理。然而，LLM 也面临着被误导信息迷惑、曲解文本含义甚至被恶意利用的风险。如何确保 LLM 消费内容的质量和可靠性，如何避免 LLM 被滥用，是摆在我们面前的重要课题。
为 LLM 和人类写作的差异：两种“读者”的不同需求
为 LLM 写作和为人类写作存在显著差异。理解这些差异，是创作有效 LLM 内容的关键。 LLM 和人类在信息处理方式上的差异，决定了我们为它们创作内容的方式也应该有所不同。人类读者喜欢图文并茂、叙述生动的内容，而 LLM 更偏爱简洁明了、结构化的文本。 人类读者可以理解各种不同的语言风格，而 LLM 对文本格式的要求更为严格，需要清晰的语法和规范的格式。 例如，为人类编写的软件文档通常包含大量的解释性文字和图表，而为 LLM 编写的文档则更注重 API 的定义和使用方法，以便 LLM 快速准确地提取关键信息。
llms.txt：引导 LLM 的利器，开启内容理解新篇章
llms.txt 文件的出现，为 LLM 的内容消费提供了新的方向。它就像一个路标，指引 LLM 找到最 relevant 的信息，从而更高效地理解和利用网站内容。
从 robots.txt 到 llms.txt：网站与智能体交互的新方式
llms.txt 的灵感来源于 robots.txt 文件。robots.txt 告诉搜索引擎爬虫哪些页面可以访问，哪些页面不能访问。llms.txt 则更进一步，它告诉 LLM 哪些内容是重要的，哪些内容可以忽略，哪些链接需要优先关注。 这使得 LLM 可以更精准地获取所需信息，避免在海量数据中迷失方向，并最终提升网站在 LLM 生态中的地位。
llms.txt 的格式和使用方法：Markdown 的简洁与灵活性
llms.txt 文件使用易于人类和 LLM 阅读和解析的 Markdown 格式，包含网站的标题、描述、链接等信息，并建议网站为每个网页提供一个对应的 Markdown 版本 (.md 扩展名)，去除冗余信息，只保留核心文本内容。
# 我的网站
> 这是一个关于人工智能的网站。
## 主要内容
- [人工智能简介](/intro.md): 介绍人工智能的基本概念。
- [机器学习](/ml.md): 讲解机器学习的原理和应用。
- [深度学习](/dl.md): 探讨深度学习的最新进展。
## 其他内容 (Optional)
- [关于我们](/about.md): 介绍网站的创建者和团队。
- [联系我们](/contact.md): 提供联系方式和反馈渠道。llms.txt 与 SEO 的比较：殊途同归，共促内容可发现性
llms.txt 和 SEO 虽然目标不同，但却有一些相似之处。两者都旨在提高网站内容的可发现性，只不过 SEO 面向的是搜索引擎，而 llms.txt 面向的是 LLM。 随着 LLM 的普及，llms.txt 的重要性将日益凸显。
从 robots.txt 到 llms.txt：网站与智能体交互的新方式
llms.txt 的灵感来源于 robots.txt 文件。robots.txt 告诉搜索引擎爬虫哪些页面可以访问，哪些页面不能访问。llms.txt 则更进一步，它告诉 LLM 哪些内容是重要的，哪些内容可以忽略，哪些链接需要优先关注。 这使得 LLM 可以更精准地获取所需信息，避免在海量数据中迷失方向。
LLM 内容消费的未来，重塑信息世界
随着 LLM 的不断发展，LLM 的内容消费方式也会发生改变，并对信息世界产生深远的影响。我们需要积极探索 LLM 内容消费的新模式，构建 LLM 友好的内容生态，同时也要警惕 LLM 被滥用的风险，保障内容的伦理和安全。
相关链接
• llms.txt proposal: https://llmstxt.org/
• /llms.txt—a proposal to help LLMs use websites – Answer.AI: https://www.answer.ai/posts/2024-09-03-llmstxt.html
