邓布利多使用接骨魔杖尖对准太阳穴附近,从脑袋里挑出散发光芒的记忆丝,然后将它们放入冥想盆中。
哈利波特轻轻俯下身子,让脸靠近冥想盆,通过视觉和感官能看到邓布利多的过去回忆。
冥想盆是哈利波特中巫师用于保存头脑中的想法和记忆的工具。邓布利多在思绪繁杂或者经历了重要时刻,都会把思绪抛入冥想盆中,方便回忆。
为什么会提到哈利波特中电影中的情节?近期有一个开源项目叫做 Pensieve(冥想盆),它解决的问题和电影中的冥想盆如出一辙。
01
开源项目 “冥想盆” 没有邓布利多的冥想盆那么强大,没办法回溯人类的记忆,但是它能回溯你电脑的记忆。“冥想盆” 的工作原理是:当你部署了这个开源项目,它会间隔 5 秒对当前屏幕进行截屏,并把截屏图片放到本地的一个目录里面。在保证电脑性能的前提下,对截屏进行 OCR 提取文字处理,这样就能理解截屏中的内容和关键词。后面你就可以在 “冥想盆” 中通过检索的方式,来找到之前访问过页面或内容。开源地址:https://github.com/arkohut/pensieve
02
① 安装初始化
通过如下命令来安装该开源项目,并进行初始化相关配置和 SQLlite 数据库。初始化后,后面产生的数据会存放在 ~/.memos 目录中。pip install -i https://mirrors.tuna.tsinghua.edu.cn/pypi/web/simple memos
memos init
② 选择模型
“冥想盆” 通过嵌入模型来提取语义信息,并构建支持索引。对于中文场景,可以使用 jina-embeddings-v2-base-zh 模型。
模型链接:https://huggingface.co/jinaai/jina-embeddings-v2-base-zh
打开 config.yaml文件,并修改 embedding 配置,设置使用模型的名称等等。③ 启动服务
启动服务后,“冥想盆”就会开始对屏幕进行记录,并把这个服务设置成开机启动。③ 访问 Web 界面
打开浏览器,访问 http://localhost:8839,在这里你就能检索电脑的记忆了。
如果你按照上面的方式来安装配置,“冥想盆” 仅启用 OCR 插件来提取截图中的文字并建立索引。这种方式轻量但是对于视觉搜索并不全面,你需要兼容多模态 AI 大模型来进行图片理解,本地大模型 Ollama 正好可以完美胜任这项工作,具体使用方法不赘述了,可以在开源项目中看到相关指引。03
类似「电脑记忆回溯」的产品比如 Windows Recall 和 Rewind。但是Pensieve(冥想盆)更关注数据安全和用户隐私,毕竟日常使用电脑会涉及很多个人隐私,比如输入银行卡密码、账号密码、聊天记录等等。
“冥想盆”的数据全部保存到本地,使用的模型也都是可以本地离线运行的大模型,Pensieve 可以确保数据的存储和处理完全由你掌控,防止数据泄露。但是使用 “冥想盆” 如果想接入视觉大模型,作为视觉数据理解的底层能力(也就是接入 Ollama ),需要有至少 8GB 显存的 NVIDIA 显卡或 M 系列芯片的 Mac,将占用约 5.5GB 存储空间,如果使用 CPU 模式,会导致系统严重卡顿。04
欢迎关注逛逛 GitHub,老逛带你逛遍 GitHub 。
这个公众号历史发布过很多有趣的开源项目,如果你懒得翻文章一个个找,你直接和逛逛 GitHub 对话聊天就行了: