AI能理解颜色吗?——将色彩进行嵌入的研究

旅行   2024-10-17 00:00   北京  

AI 居然也懂得色彩美学?

Jina AI 最近玩了一把"变色龙"游戏,让我们看到了 AI 眼中的缤纷世界!

你可能会问:AI 怎么可能理解颜色呢?它又不是人类,哪来的"眼睛"?

让我们一起来看看这个有趣的实验。

AI 的调色盘:从文字到色彩的奇妙跳跃

Jina AI 的研究团队做了一件看似简单却很有意思的事:

  1. 收集了 500 个颜色名称(从"棱镜红"到"光子白")

  2. 用 jina-embeddings-v3 模型将这些名称转换成向量

  3. 通过 UMAP 算法将高维向量压缩到二维平面

  4. 最后用原始的十六进制颜色代码在平面上绘制散点图

看似平平无奇的操作,结果却令人惊叹!

色彩星图:AI 眼中的调色板

生成的图像简直就像一幅抽象艺术画:

  • 边缘区域:形成了清晰流畅的色彩集群,纯色占据主导地位

  • 中心区域:犹如打碎的万花筒或彩色玻璃窗,色彩混合异常复杂

这个结果让研究人员大吃一惊。

要知道,jina-v3 模型可是在通用文本上训练的,而不是专门针对颜色的数据

这意味着什么?

它证明了 AI 模型能够从普通语言中捕捉到颜色的语义信息,而且做得相当不错!

深入探索:AI 的色彩认知

研究团队还发现:

  • 模型似乎能够很好地识别"原型"颜色(比如纯红、纯蓝)

  • 但在处理混合色彩时,情况就变得复杂起来

这种表现方式,与人类对颜色的认知惊人地相似。我们也更容易识别和命名纯色,而对于微妙的色彩变化则较难描述。

实验复现:你也来当个 AI 调色师

如果你也想亲自体验这个有趣的实验,Jina AI 贴心地提供了 Google Colab 链接:

https://colab.research.google.com/drive/19cV0ZnRDPF1Qhi48RZ2ahlqg4TodVDih#scrollTo=DhMol-SG6Gob

你可以尝试使用不同的 LoRA 适配器,看看它们会如何影响色彩流形。

500 个颜色名称的列表也公开了,感兴趣的朋友可以去看看:

https://gist.github.com/hanxiao/ba498a60eca5ea79a2d225ed9d3b23cc

这项研究不仅有趣,还可能对 AI 的色彩理解产生诸多影响。它揭示了嵌入模型是如何感知和标记颜色的,为我们打开了一扇了解 AI "思维"的新窗口。

Jina AI 的这项研究再次证明:AI 的能力远不止于处理冰冷的数字和文字,它正在逐步理解这个丰富多彩的世界,用自己独特的方式诠释着色彩的魅力。

👇

👇

👇

👇

本文同步自知识星球《AGI Hunt》

星球实时采集和监控推特、油管、discord、电报等平台的热点AI 内容,并基于数个资讯处理的 AI agent 挑选、审核、翻译、总结到星球中。

  • 每天约监控6000 条消息,可节省约800+ 小时的阅读成本;

  • 每天挖掘出10+ 热门的/新的 github 开源 AI 项目;

  • 每天转译、点评 10+ 热门 arxiv AI 前沿论文。

星球非免费。定价99元/年,0.27元/天。(每+100人,+20元。元老福利~)

  • 一是运行有成本,我希望它能自我闭环,这样才能长期稳定运转;

  • 二是对人的挑选,鱼龙混杂不是我想要的,希望找到关注和热爱 AI 的人。

欢迎你的加入!

AGI Hunt
关注AGI 的沿途风景!
 最新文章