客户案例丨Milvus与CLIP模型在转转风控的应用

文摘 2024-10-15 19:01 上海

01. 背景介绍

电商公司的风控部门承担着维护平台内容安全的职责。因为政策的调整，或者一些突发情况，我们需要回溯线上历史的商品图片、用户头像信息等，确保平台图片内容的合规性。

以前的方案是让算法同学离线将平台数据用相关的模型跑一遍，但是这会用到大量的计算资源，并且会花费几天甚至更长的时间。

我们是否有更便捷的办法对图片做搜索，比如像普通的数据库那样，通过内容甚至另一张图去搜索图片呢？可否将文本、图片等信息转换成另一种可以对比，可以计算的形式呢？

解决方案：可以通过深度模型提取出图像的特征向量，建立向量库，然后用目标文本或图片的特征向量进行搜索匹配，得出最接近的结果。CLIP模型提供了生成文本和图片特征向量的能力，Milvus向量数据库提供了对海量向量的存储、管理和检索能力。

02. CLIP模型

2.1 关于CLIP模型

CLIP（Contrastive Language-Image Pretraining）模型是一种由OpenAI开发的多模态预训练模型，结合了图像和文本的理解能力。CLIP的目标是让模型能够理解图片和文本之间的关联关系，从而能够在语言和视觉任务上表现出色。CLIP模型的主要作用是在图像和文本领域实现多模态的交叉理解能力，拓展了计算机视觉和自然语言处理的边界，为各种任务提供了更全面和准确的解决方案。

2.2 CLIP模型的应用

转转风控主要使用CLIP对图像根据文本提示词进行分类风险识别，同时因为CLIP模型输出为特征向量，所以同时使用Milvus向量数据库保存这些图片的特征向量。

03. Milvus

3.1 什么是Milvus

Milvus是一款云原生向量数据库，它具备高可用、高性能、易拓展的特点，用于海量向量数据的实时召回。Milvus 基于 FAISS、Annoy、HNSW 等向量搜索库构建，核心是解决稠密向量相似度检索的问题。

3.2 Milvus核心概念

非结构化数据：非结构化数据指的是数据结构不规则，没有统一的预定义数据模型，不方便用数据库二维逻辑表来表现的数据，包括文本、音频、视频等。非结构化数据可以使用深度学习模型或者机器学习模型转化为向量后进行处理。

特征向量：向量又称为embedding vector，是指由embedding技术从离散变量转变而来的连续向量。在数学表示上，向量是一个由浮点数或者二值型数据组成的n维数组。

向量相似度检索：相似度检索是指将目标对象与数据库中数据进行比对，并召回最相似的结果。同理，向量相似度检索返回的是最相似的向量数据。近似最近邻搜索（ANN）算法能够计算向量之间的距离，从而提升向量相似度检索的速度。如果两条向量十分相似，这就意味着他们所代表的源数据也十分相似。

Collection-集合：包含一组Entity，可以等价于关系型数据库系统中的表。

Entity-实体：包含一组Field。Field与实际对象相对应。对应关系型数据库中的行。

Field-字段：Entity的组成部分。Field可以是结构化数据，例如数字和字符串，也可以是向量。对应关系型数据库中的表字段。

Partition-分区：分区是集合（Collection）的一个分区。Milvus 支持将收集数据划分为物理存储上的多个部分。

索引：索引基于原始向量数据构建，可以提高对Collection数据搜索的速度。支持倒排列表、k-d树以及高维哈希等。这种索引结构可以在大规模向量数据集中高效地定位相似向量。

3.3 相似性计算原理

常用的向量相似度度量方法包括余弦相似度、欧氏距离、汉明距离等。此处以欧氏距离为例：中学学过的二维空间的欧氏距离：

三维空间的欧式距离：

以此类推，多维空间的欧式距离：

3.4 Milvus系统架构

Milvus 2.0 是一款云原生向量数据库，采用存储与计算分离的架构设计，所有组件均为无状态组件，极大地增强了系统弹性和灵活性。

整个系统分为四个层次：

接入层（Access Layer）：系统的门面，由一组无状态 proxy 组成。对外提供用户连接的 endpoint，负责验证客户端请求并合并返回结果。

协调服务（Coordinator Service）：系统的大脑，负责分配任务给执行节点。协调服务共有四种角色，分别为 root coord、data coord、query coord 和 index coord。

执行节点（Worker Node）：系统的四肢，负责完成协调服务下发的指令和 proxy 发起的数据操作语言（DML）命令。执行节点分为三种角色，分别为 data node、query node 和 index node。

存储服务（Storage）：系统的骨骼，负责 Milvus 数据的持久化，分为元数据存储（meta store）、消息存储（log broker）和对象存储（object storage）三个部分。各个层次相互独立，独立扩展和容灾。

3.5 选择Milvus的理由

高性能：性能高超，可对海量数据集进行向量相似度检索。Milvus不但集成了业界成熟的向量搜索技术如Faiss和SPTAG，Milvus也实现了高效的NSG图索引。同时，Milvus团队针对Faiss IVF索引进行了深度优化，实现了CPU与多GPU的融合计算，大幅提高了向量搜索性能。Milvus可以在单机环境下完成SIFT1b十亿级向量搜索任务。

高可用、高可靠：Milvus支持在云上扩展，其容灾能力能够保证服务高可用。

混合查询：Milvus支持在向量相似度检索过程中进行标量字段过滤，实现混合查询。

开发者友好：支持多语言、多工具的Milvus生态系统。Milvus提供了向量数据管理服务，以及集成的应用开发SDK（Java/Python/C++/RESTful API）。相比直接调用Faiss和SPTAG那样的程序库，Milvus开发使用更便捷，数据管理更简单。

04. 转转风控的实践

背景

向量维度：512 float类型

单场景：约400-500G的数据大小

数据使用场景：后台使用图片或者词进行检索，查询频率低，产品、运营同学后台手动触发

4.1 Milvus的部署方式

Milvus支持基于Docker Compose的单例部署模式，以及基于k8s的集群部署模式。目前我们使用的是单例部署模式，并且开启了mmap。原因有以下几点：一是对于我们的使用场景而言，单机性能够用；二是使用场景对时效要求不高；三是机器资源有限。

4.2 特征向量的生成

前文已经说过我们使用CLIP模型来进行特征向量的生成。原因主要有两个，一是节省计算资源，CLIP模型已经在线上应用，再用其它模型进行特征向量生成需要再进行一次计算，浪费计算资源；二是CLIP模型本身提供了非常好的文本和图片交叉理解能力，为文搜图提供了基础。

4.3 索引结构的选择

索引的选择对于向量召回的性能至关重要，Milvus支持了Annoy，FAISS，HNSW，DiskANN等多种不同的索引，用户可以根据对延迟，内存使用和召回率的需求进行选择。对于我们的使用场景，我们对响应时长要求不高，主要为离线或后台使用，但是要求100%召回，不能漏召回，所以使用近似查找的压缩索引都不符合要求，只能使用FAISS的Flat索引。

4.4 数据过滤的实现

基于产品的使用的数据过滤需求，以及需要对历史数据进行定期清理的目标，目前我们是根据时间以及数据源类型创建的分区。

为什么没有使用Milvus的标量过滤特性去做过滤呢？

主要是基于性能考量，Milvus使用的是前过滤，即先做标量过滤生成Bitset，在向量检索的过程中基于Bitset去除掉不满足条件的Entity。在一些场景下标量过滤不仅不会加速查询反而会导致性能变差。而且目前我们的过滤场景很确定，用指定分区来实现数据过滤的方式可以获得更好的性能。

4.5 关于MMAP

上面提到了我们单个场景有接近500G的数据大小，使用常规模式的话，再在load的时候需要将数据全部加载到内存，我们单机没有这么大的内存，或者使用多台机器分开部署，不过这样会需要更多的机器成本和开发成本，而该这些数据的使用频率又极低，这种使用/投入比显然极低。MMAP功能恰好可以完美解决我们这个场景的问题，简单来说该功能就是以时间换取对内存空间的需求，是我们可以以更小规格的机器去处理更大的数据量。详细内容请见官方文章数据处理量翻倍！Milvus MMap 一触开启。

4.6 一次搜索结果展示

图片为以萨摩耶为搜索词，搜索2023-11-19至2023-11-23的商品数据得出的相似度最高的top20的结果。

作者介绍

许作红

转转风控后端研发工程师

Zilliz

Simply The Fastest Vector Database for AI. Period.

最新文章

手把手系列丨如何使用Milvus Backup备份向量数据

聊一聊：ChatGPT搜索引擎会取代谷歌和百度吗？

一文读懂什么是RAG，如何搭建多模态RAG降低大模型幻觉

AI校园新星直通车再启动：Zilliz助您踏上开源舞台

Milvus 表情包上线啦！加入开源社区，用表情传递热情！

算法打败文盲，我用向量数据库与RAG，做了个“鲁迅没说过”

报名进行中丨11月2日深圳Unstructured Data Meetup

手把手系列丨在Kubernetes部署Milvus开源向量数据库

GenAI 生态系统现状：不止大语言模型和向量数据库

Forrester Wave™ 向量数据库报告：Zilliz 进入领导者象限

年度重磅：「非结构化数据峰会」报名正式启动

如何处理海量数据？基于Milvus向量数据库的高度可扩展性

(内含福利!!)11月2日深圳Unstructured Data Meetup等你来！

智联招聘×Milvus：向量召回技术提升招聘匹配效率

还能报名：向心力｜中美 AI 应用与落地分享沙龙

里程碑丨Milvus在GitHub上的Stars数量突破30,000！

开源向量数据库性能对比: Milvus, Chroma, Qdrant

聊一聊：如何精确搜索到表达金桂飘香的古诗词

如何使用OpenAI文本Embedding模型构建AI系统

叮，这是一份来自Zilliz的近期活动高光回放

深度解读GraphRAG：如何通过知识图谱提升 RAG 系统

客户案例丨Milvus与CLIP模型在转转风控的应用

Milvus×Dify半小时轻松构建RAG系统

直播预告丨大模型与向量数据库会碰撞出怎样的火花

从Naive RAG到Agentic RAG：基于Milvus构建Agentic RAG

聊一聊：距离诺贝尔文学奖颁给AI还有多远？

孙悟空 + 红楼梦 - 西游记 = ？一文搞懂什么是向量嵌入

上海站nMeetup开始报名 | 10月26日下午，Zilliz与你相约Database+AI Infra

使用Milvus和Llama-agents构建更强大的Agent系统

不容错过：向心力｜中美 AI 应用与落地分享沙龙

知识图谱融入向量数据库，带来RAG效果飞升

Deep Dive丨多副本功能：提升QPS和系统可靠性

手把手系列丨如何利用 Milvus 实现多模态搜索

Forrester Wave™ 向量数据库报告：Zilliz 获评领导者象限最高分

我们是向量数据库的领军企业，我们只招TOP人才

快速实现AI搜索！Fivetran 支持 Milvus 作为数据迁移目标

如何全面洞察集群状态？Zilliz Cloud 发布监控告警系统新特性

如何更高效传输非结构化数据？Zilliz 推出全新数据迁移服务

直播预告丨Milvus在OPPO的语音与图像检索实践

Deep Dive | Zilliz Cloud正式推出 Serverless 版

科技企业如何做好全球化？Zilliz、Fotor、Answer.ai的经验与建议

活动预告｜Data Fun Summit 2024，Gen AI时代的向量数据库要怎么做

朋友圈装腔指南：如何用向量数据库把大白话变成古诗词

手把手系列｜一篇文章教会你使用有RAG功能的CAMEL框架

客户案例｜Zilliz Cloud 助力 MindStudio 搭建无代码平台，革新 AI 应用开发方式

使用 Milvus、vLLM 和 Llama 3.1 搭建 RAG 应用

官宣：Zilliz 在亚马逊云科技中国区正式开服！

图像与文本并存，多模态检索如何带来新的搜索革命

聊一聊：你最想用大模型实现的功能是什么

分类

时事

民生

政务

教育

文化

科技

财富

体娱

健康

情感

旅行

百科

职场

楼市

企业

乐活

学术

汽车

时尚

创业

美食

幽默

美体

文摘

原创标签

时事社会财经军事教育体育科技汽车科学房产搞笑综艺明星音乐动漫游戏时尚健康旅游美食生活摄影宠物职场育儿情感小说曲艺文化历史三农文学娱乐电影视频图片新闻宗教电视剧纪录片广告创意壁纸头像心灵鸡汤星座命理教育培训艺术文化金融财经健康医疗美妆时尚餐饮美食母婴育儿社会新闻工业农业时事政治星座占卜幽默笑话独立短篇连载作品文化历史科技互联网

发布位置

广东北京山东江苏河南浙江山西福建河北上海四川陕西湖南安徽湖北内蒙古江西云南广西甘肃辽宁黑龙江贵州新疆重庆吉林天津海南青海宁夏西藏香港澳门台湾美国加拿大澳大利亚日本新加坡英国西班牙新西兰韩国泰国法国德国意大利缅甸菲律宾马来西亚越南荷兰柬埔寨俄罗斯巴西智利卢森堡芬兰瑞典比利时瑞士土耳其斐济挪威朝鲜尼日利亚阿根廷匈牙利爱尔兰印度老挝葡萄牙乌克兰印度尼西亚哈萨克斯坦塔吉克斯坦希腊南非蒙古奥地利肯尼亚加纳丹麦津巴布韦埃及坦桑尼亚捷克阿联酋安哥拉