llms.txt:AI时代的robots.txt!

旅行   2024-11-17 11:00   北京  

AI也需要「说明书」?

Jeremy Howard和Anthropic联手推出了一个新标准:llms.txt

这个小小的文本文件,竟然有望彻底改变AI与我们的交互方式!

llms.txt:AI的专属「说明书」

想象一下,如果你家里的每个电器都配有一本清晰明了的说明书,那该多方便啊!

llms.txt就是为AI准备的这样一本「说明书」。

它的核心理念很简单:在网站根目录放置一个名为llms.txt的文件,里面用Markdown格式整理好关键信息。这样一来,AI就能快速理解你的网站结构和内容,就像翻阅一本精心编写的指南一样。

一个mock 的示例是:

# Title
> Optional description goes here
Optional details go here
## Section name
- [Link title](https://link_url): Optional link details
## Optional
- [Link title](https://link_url)

为什么需要llms.txt?

随着AI的普及,我们越来越需要一种方法让AI更好地理解和使用我们的内容。llms.txt应运而生,它的优势显而易见:

  • 结构清晰:采用Markdown格式,既方便人类阅读,又适合AI解析。

  • 标准统一:类似robots.txt,为AI提供了一个固定的信息获取入口。

  • 灵活可扩展:可以根据需要添加不同的章节,满足各种场景需求。

llms.txt的独特之处

llms.txt不仅仅是一个静态文件,它还提出了一些创新的建议:

  • Markdown版网页:建议在普通网址后加.md,提供纯文本版本,方便AI阅读。

  • 分段处理:考虑到AI的上下文限制,提供了分段处理长文本的方案。

  • 兼容性:与robots.txt和sitemap.xml等现有Web标准完美兼容。

实践中的llms.txt

为了让llms.txt更加实用,开发者们也没闲着:

  • llms-txt工具:专门用于解析llms.txt文件,让开发者更容易集成这一标准。

  • 实例展示:Anthropic已经在其文档中应用了llms.txt,你可以在https://docs.anthropic.com/llms-full.txt 看到实际效果。

llms.txt的未来

llms.txt 标志着我们正在进入一个全新的AI友好时代。它不仅仅是一个文件格式,也是一种思维方式的转变。

未来,我们可能会看到更多网站采用这一标准,让AI更容易理解和利用网络上的信息。这不仅会提高AI的效率,也会让我们的数字世界变得更加有序和智能。

准备好为你的网站添加llms.txt了吗?

相关链接:https://llmstxt.org/


👇

👇

👇

👇

本文同步自知识星球《AGI Hunt》

星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容,并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。

  • 每天约监控6000 条消息,可节省约800+ 小时的阅读成本;

  • 每天挖掘出10+ 热门的/新的 github 开源 AI 项目;

  • 每天转译、点评 10+ 热门 arxiv AI 前沿论文。

星球非免费。定价99元/年,0.27元/天。(每+100人,+20元。元老福利~)

  • 一是运行有成本,我希望它能自我闭环,这样才能长期稳定运转;

  • 二是对人的挑选,鱼龙混杂不是我想要的,希望找到关注和热爱 AI 的人。

欢迎你的加入!

AGI Hunt
关注AGI 的沿途风景!
 最新文章