从RAG到TAG:探索表增强生成(TAG)的力量

文摘   2024-11-16 07:45   福建  

.01

概述
在人工智能(AI)不断发展的时代,数据的交互与利用方式也随之演变。在AI驱动的数据检索领域,出现了两种重要的方法:检索增强生成(RAG)和最近崭露头角的表增强生成(TAG)。尽管RAG通过将AI与外部数据检索系统结合,实现了有效的信息获取,但TAG则通过使大型语言模型(LLM)能够直接与结构化数据库交互,提供了一种全新的范式。
在这篇文章中,我们将深入探讨TAG,分析其如何超越RAG,并介绍由TAG-Research开发的强大LOTUS库,提供一些使用LOTUS的理论代码示例。同时,我们还将探讨TAG在各个行业(包括金融)中的实际应用,展现其变革潜力。

.02

理解RAG与TAG
什么是检索增强生成(RAG)?
检索增强生成(RAG)将检索系统与LLM相结合。它使用基于向量的嵌入方法搜索和检索相关文档,然后利用这些文档增强LLM的回答。这种方法在LLM需要访问训练数据之外的最新信息时特别有效。
RAG的工作原理:
    • 查询编码:用户的自然语言查询被转换为向量表示。
    • 文档检索:系统在文档数据库中搜索与查询向量最相似的文档。
    • 响应生成:LLM使用检索到的文档和自身知识库生成回答。
应用案例:
    • 客户支持系统获取相关政策更新。
    • 聊天机器人提供基于最新新闻文章的信息。

什么是表增强生成(TAG)?
表增强生成(TAG)提供了一种更直接和结构化的方法,允许LLM使用SQL或其他数据库特定查询语言查询数据库。TAG让LLM能够:
    • 直接访问结构化数据:从关系数据库中检索精确的数据点。
    • 处理复杂查询:管理涉及聚合、排序和多字段操作的查询。
    • 综合有意义的响应:根据精确数据生成详细答案。
TAG的工作原理:
    • 查询合成:LLM解释用户的自然语言查询并将其转换为SQL命令。
    • 查询执行:SQL查询在数据库上执行,以检索精确数据。
    • 答案生成:LLM根据查询结果生成自然语言响应。
TAG的优势:
    • 精准性:直接访问结构化数据确保更高的准确性。
    • 复杂性:能够处理涉及多种操作的多面查询。
    • 效率:通过消除嵌入的需求,减少计算开销。

.03

为什么TAG优于RAG?
1. 直接访问结构化数据带来更高的精准度
RAG通过向量嵌入近似数据检索,这可能导致结果不够精确,尤其在处理细微查询时。相比之下,TAG直接访问结构化数据库,允许其检索精确的数据点。
示例:
    • RAG:搜索“被认为是经典的高票房浪漫影片”可能会检索提到这些影片的文档,但未必提供准确的排名。
    • TAG:执行SQL查询直接从数据库过滤和排名影片,确保结果准确且量身定制。
2. 处理复杂、多面查询
TAG在管理涉及多个字段和操作(如排序、过滤和聚合)的复杂查询方面表现优异,而RAG由于依赖相似度检索在这方面有所欠缺。
示例:
    • 金融分析:生成季度增长排名前几的股票清单需要聚合和排序数据,而TAG能够轻松处理这些任务。
    • 医疗研究:确定不同人群的某项手术的平均恢复时间涉及复杂的数据处理,更适合使用TAG。
3. 降低对嵌入的依赖
像RAG这样的基于嵌入的检索系统在处理大型数据集时可能资源密集,而TAG通过使用SQL查询直接访问数据,降低计算成本,提高速度。
优势:
    • 效率:更快的数据检索,在实时环境中至关重要。
    • 可扩展性:在处理大型数据集时表现更佳。

.04

引入LOTUS:增强TAG的能力
由TAG-Research开发的LOTUS库是一个强大的语义查询引擎,旨在扩展TAG的能力。它提供了一个灵活且声明式的编程模型,能够使LLM无缝交互结构化和非结构化数据。
LOTUS的关键特性
    • 语义操作符:针对表格数据的自然语言处理专用函数。
    • sem_filter:根据自然语言条件过滤行。
    • sem_join:使用基于语言的标准连接表。
    • 类似Pandas的API:提供与Pandas相似的接口,方便熟悉Python的数据科学家和工程师使用。
    • 与LLM集成:与包括OpenAI在内的各种LLM配置,利用AI进行自然语言解释和数据处理。
优势:
    • 简化需要对数据进行复杂推理的AI驱动应用的开发。
    • 增强TAG在传统SQL能力之外处理复杂数据查询的实用性。

.05

使用Azure OpenAI SDK和LOTUS实现TAG:实践示例
为了说明TAG的实现,我们将提供使用Azure OpenAI SDK和LOTUS库的代码示例。
前提条件
    • Azure账户:访问Azure OpenAI服务。
    • Python环境:Python 3.6或更高版本。
    • 数据库设置:访问关系数据库(例如,SQL Server、PostgreSQL)。
安装所需库
pip install azure-ai-openai lotus-nlp pyodbc pandas
设置环境
# Azure OpenAI SDK
from azure.identity import DefaultAzureCredential
from azure.ai.openai import OpenAIClient

# LOTUS Library
import lotus
# Database Libraries
import pyodbc
import pandas as pd
# Set up Azure OpenAI Client
endpoint = "https://your-openai-resource.openai.azure.com/"
credential = DefaultAzureCredential()
openai_client = OpenAIClient(endpoint=endpoint, credential=credential)
# Set up LOTUS with OpenAI LLM
llm = lotus.OpenAI(azure_openai_client=openai_client)
# Database Connection
conn = pyodbc.connect(
    'DRIVER={ODBC Driver 17 for SQL Server};'
    'SERVER=your_server;DATABASE=your_database;UID=your_username;PWD=your_password'
)```
将数据加载到LOTUS
假设我们有一个电影表:
# Load data into a Pandas DataFrame
movies_df = pd.read_sql_query("SELECT * FROM movies", conn)

# Create a LOTUS table
movies_table = lotus.Table.from_dataframe(movies_df, name="movies", llm=llm)```
示例1:寻找高票房浪漫经典
自然语言查询:
“列出票房最高的前5部被认为是经典的浪漫影片。”
使用LOTUS:
# Apply semantic filter
filtered_movies = movies_table.sem_filter("genre is romance and is considered a classic")

# Sort and select top 5
top_movies = filtered_movies.sort_values(by="box_office", ascending=False).head(5)
print(top_movies[['title''box_office']])
解释:
    • sem_filter:利用LLM解释自然语言条件。
    • 排序和选择:标准的Pandas操作。
示例2:复杂的金融查询
让我们在金融背景下展示TAG的一个示例用例。
自然语言查询:
“识别上个季度收入增长超过20%且市盈率低于15的科技公司。”
实现:
# Load financial data
stocks_df = pd.read_sql_query("SELECT * FROM stocks", conn)
stocks_table = lotus.Table.from_dataframe(stocks_df, name="stocks", llm=llm)

# Apply semantic filter
filtered_stocks = stocks_table.sem_filter(
    "sector is technology and revenue growth last quarter above 20% and P/E ratio below 15"
)
print(filtered_stocks[['company_name''revenue_growth''pe_ratio']])
解释:
    • 直接交互:TAG借助LOTUS允许直接查询复杂条件。
    • 不需要复杂的SQL:自然语言条件就足够了。

.06

TAG的实际应用
1. 医疗和医学研究
用例
查询:“找出50-60岁患者在X手术后的平均恢复时间。”
TAG优势:直接查询各个维度的患者数据,确保分析准确和相关。
实现
# Assuming patient_data_table is a LOTUS table
filtered_patients = patient_data_table.sem_filter(
    "age between 50 and 60 and underwent Procedure X"
)

average_recovery = filtered_patients['recovery_time'].mean()
print(f"Average Recovery Time: {average_recovery} days")
2. 客户支持
用例
查询:“找出客户投诉的主要问题。”
TAG优势:通过分析客户支持表,识别投诉模式。
实现
# Assuming customers_table is a LOTUS table
high_value_customers = customers_table.sem_filter(
    "purchases over $1,000 last month and high engagement"
)

print(high_value_customers[['customer_id''total_purchases''engagement_score']])

.07

结语
表增强生成(TAG)正快速成为AI驱动数据检索的新标准,通过直接与结构化数据交互,提升了准确性和处理复杂查询的能力。通过LOTUS库的引入,TAG进一步扩展了其潜力,使开发人员能够构建高效的、基于数据的应用程序,满足不断增长的行业需求。
随着企业在利用数据获取竞争优势的过程中,TAG的实施将不仅限于提升用户体验,更将成为推动行业创新的核心驱动力。在金融、医疗和客户支持等领域,TAG的实际应用展现了其变革性的潜力,未来将为更多行业的数字化转型铺平道路。
  

参考:

  1. https://github.com/TAG-Research/LOTUS
  2. https://github.com/TAG-Research/TAG-Bench





Halo咯咯
专注于技术知识整理,包含人工智能、大模型、机器学习、深度学习、大数据等多个领域的技术知识,以及各种开源的内容~
 最新文章