AI 对准“太阳穴”

科技   2024-11-26 13:03   北京  

邓布利多使用接骨魔杖尖对准太阳穴附近,从脑袋里挑出散发光芒的记忆丝,然后将它们放入冥想盆中。

哈利波特轻轻俯下身子,让脸靠近冥想盆,通过视觉和感官能看到邓布利多的过去回忆。

冥想盆是哈利波特中巫师用于保存头脑中的想法和记忆的工具。邓布利多在思绪繁杂或者经历了重要时刻,都会把思绪抛入冥想盆中,方便回忆。

为什么会提到哈利波特中电影中的情节?近期有一个开源项目叫做 Pensieve(冥想盆),它解决的问题和电影中的冥想盆如出一辙。

01

Pensieve(冥想盆)
开源项目 “冥想盆” 没有邓布利多的冥想盆那么强大,没办法回溯人类的记忆,但是它能回溯你电脑的记忆。
“冥想盆” 的工作原理是:当你部署了这个开源项目,它会间隔 5 秒对当前屏幕进行截屏,并把截屏图片放到本地的一个目录里面。
在保证电脑性能的前提下,对截屏进行 OCR 提取文字处理,这样就能理解截屏中的内容和关键词。后面你就可以在 “冥想盆” 中通过检索的方式,来找到之前访问过页面或内容。
开源地址:https://github.com/arkohut/pensieve

02

如何使用

① 安装初始化

通过如下命令来安装该开源项目,并进行初始化相关配置和  SQLlite 数据库。初始化后,后面产生的数据会存放在 ~/.memos 目录中。
pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple memos
memos init

② 选择模型

“冥想盆” 通过嵌入模型来提取语义信息,并构建支持索引。对于中文场景,可以使用 jina-embeddings-v2-base-zh 模型。

模型链接:https://huggingface.co/jinaai/jina-embeddings-v2-base-zh
打开 config.yaml文件,并修改 embedding 配置,设置使用模型的名称等等。

③ 启动服务

启动服务后,“冥想盆”就会开始对屏幕进行记录,并把这个服务设置成开机启动。

memos enable
memos start

③ 访问 Web 界面

打开浏览器,访问 http://localhost:8839,在这里你就能检索电脑的记忆了。

如果你按照上面的方式来安装配置,“冥想盆” 仅启用 OCR 插件来提取截图中的文字并建立索引。
这种方式轻量但是对于视觉搜索并不全面,你需要兼容多模态 AI 大模型来进行图片理解,本地大模型 Ollama 正好可以完美胜任这项工作,具体使用方法不赘述了,可以在开源项目中看到相关指引。

03

优缺点
类似「电脑记忆回溯」的产品比如 Windows Recall 和 Rewind。
但是Pensieve(冥想盆)更关注数据安全和用户隐私,毕竟日常使用电脑会涉及很多个人隐私,比如输入银行卡密码、账号密码、聊天记录等等。
冥想盆”的数据全部保存到本地,使用的模型也都是可以本地离线运行的大模型,Pensieve 可以确保数据的存储和处理完全由你掌控,防止数据泄露。
但是使用 “冥想盆” 如果想接入视觉大模型,作为视觉数据理解的底层能力(也就是接入 Ollama ),需要有至少 8GB 显存的 NVIDIA 显卡或 M 系列芯片的 Mac,将占用约 5.5GB 存储空间,如果使用 CPU 模式,会导致系统严重卡顿。

04

关注我,和我聊天

欢迎关注逛逛 GitHub,老逛带你逛遍 GitHub 。

这个公众号历史发布过很多有趣的开源项目,如果你懒得翻文章一个个找,你直接和逛逛 GitHub 对话聊天就行了:





逛逛GitHub
每天推荐一个好玩的 GitHub 开源项目,给我发消息获取各种项目。
 最新文章