文｜庞德公
编辑｜郭嘉
向量数据库的主要好处在于它能够通过比较向量的矢量距离来执行快速和精确的相似性搜索。与依赖精确匹配或预定义标准进行查询的传统数据库不同，向量数据库擅长查找上下文或语义相似的数据。
举个例子，“我不是很饿，但是还能够吃点”和“我才吃得七分饱”这两句话若是按正常的数据库匹配，数据库根本不认为它们表达意思相近。但是通过Embedding Model之后用魔法棒将它们变成两串[1.4, 6.7, ……, 9.1]和[9.8, 2.5, ……, 1.9]的向量，若是EM模型很棒的话，那么在这个空间中，这两个向量应该是很接近的。
上图为写入流程和查询流程，向量在这个过程就是桥梁。回到现实业务场景中，事先可以将很多私域的资料录入向量数据库，这些内容会被提炼索引（向量）一起存储；当用户发出一个问题的查询请求时候，EM对查询内容进行Embedding，然后利用这个查询向量在向量数据库中检索相似内容，返回和查询相关的内容片段；最后可以采用Prompt技术将查询和这些检索出来的内容片段拼接在一起，输入大模型以便获取更加精准的回答。这就是RAG！
到此大家应该可以明白，向量数据库有个很重要组件就是EM模型，正因为EM才使得向量数据库对于图像检索、自然语言理解和推荐系统等任务特别有利，而这是传统数据库无法企及的。
高质量的数据和嵌入对于向量数据库的准确性和有效性至关重要。嵌入的质量（即数据的向量表示）直接影响相似性搜索的性能。质量差的嵌入可能导致不准确或不相关的结果，从而降低效用。确保高数据质量涉及预处理步骤，例如归一化、清理和转换，以消除噪音和不一致。在多样化和有代表性的数据集上训练的模型往往会产生更可靠的嵌入。
向量检索方法一般采用近似最近邻 （ANN）搜索。Embedding
和执行ANN搜索是计算密集型过程。Embedding涉及通过复杂的机器学习模型运行原始数据，这需要大量的处理能力、内存和存储。对于具有许多参数的大型数据集或模型尤其如此。
ANN 搜索虽然针对速度进行了优化，但也需要大量的计算资源来有效地遍历高维向量空间并保持性能。这些操作受益于并行处理能力和高性能计算环境，例如GPU和分布式计算集群。
使用技巧1：选择合适的机器学习模型来生成向量嵌入，以下是一些准则：
数据类型：对于文本数据，通常使用 BERT、GPT和Word2Vec等模型。对于图像，像ResNet或VGG这样的卷积神经网络很受欢迎。对于音频，Wav2Vec或Mel频率倒谱系数 （MFCC） 等模型是有效的。对于表格数据，CatBoost或TabNet等模型可能更合适。 应用需求：如果应用需要理解细微的语言上下文，则基于Transformer的模型（如 BERT 或 GPT）是合适的。对于涉及图像识别或分类的任务，ResNet等深度学习模型。 性能和资源限制：更复杂的模型通常会产生更好的嵌入，但需要更多的计算资源。考虑模型复杂性和可用计算能力之间的平衡。
预训练模型与自定义模型：预训练模型可以节省时间和资源，并且对一般用途有效。对于特定领域的应用程序，可能需要微调预训练模型或训练自定义模型。
规范化：将数据标准化为通用比例，这对于数值数据尤其重要，以确保没有特定特征不成比例地影响嵌入。
清理：去除噪音，例如不相关或不正确的数据、重复项和异常值，以确保数据的质量和一致性。
标记化：对于文本数据，将句子分解为可以通过嵌入模型进行处理的标记（单词或子单词）。
小写和删除标点符号：通过转换为小写和删除标点符号来标准化文本数据，以减少数据中的可变性。
处理缺失值：插补或删除缺失值，以防止不完整的数据扭曲嵌入。
图像和音频处理：对于图像，这可能包括调整大小、规范化和增强。对于音频，可以采用降噪、归一化和分割。
特征提取：从原始数据中识别和提取相关特征，可以提高嵌入的质量，特别是对于复杂的数据类型。<很多的RAG变种都是在这个基础上进行迭代创新。>
