.01
.02
查询编码:用户的自然语言查询被转换为向量表示。 文档检索:系统在文档数据库中搜索与查询向量最相似的文档。 响应生成:LLM使用检索到的文档和自身知识库生成回答。
客户支持系统获取相关政策更新。 聊天机器人提供基于最新新闻文章的信息。
直接访问结构化数据:从关系数据库中检索精确的数据点。 处理复杂查询:管理涉及聚合、排序和多字段操作的查询。 综合有意义的响应:根据精确数据生成详细答案。
查询合成:LLM解释用户的自然语言查询并将其转换为SQL命令。 查询执行:SQL查询在数据库上执行,以检索精确数据。 答案生成:LLM根据查询结果生成自然语言响应。
精准性:直接访问结构化数据确保更高的准确性。 复杂性:能够处理涉及多种操作的多面查询。 效率:通过消除嵌入的需求,减少计算开销。
.03
RAG:搜索“被认为是经典的高票房浪漫影片”可能会检索提到这些影片的文档,但未必提供准确的排名。 TAG:执行SQL查询直接从数据库过滤和排名影片,确保结果准确且量身定制。
金融分析:生成季度增长排名前几的股票清单需要聚合和排序数据,而TAG能够轻松处理这些任务。 医疗研究:确定不同人群的某项手术的平均恢复时间涉及复杂的数据处理,更适合使用TAG。
效率:更快的数据检索,在实时环境中至关重要。 可扩展性:在处理大型数据集时表现更佳。
.04
语义操作符:针对表格数据的自然语言处理专用函数。 sem_filter:根据自然语言条件过滤行。 sem_join:使用基于语言的标准连接表。 类似Pandas的API:提供与Pandas相似的接口,方便熟悉Python的数据科学家和工程师使用。 与LLM集成:与包括OpenAI在内的各种LLM配置,利用AI进行自然语言解释和数据处理。
简化需要对数据进行复杂推理的AI驱动应用的开发。 增强TAG在传统SQL能力之外处理复杂数据查询的实用性。
.05
Azure账户:访问Azure OpenAI服务。 Python环境:Python 3.6或更高版本。 数据库设置:访问关系数据库(例如,SQL Server、PostgreSQL)。
pip install azure-ai-openai lotus-nlp pyodbc pandas
# Azure OpenAI SDK
from azure.identity import DefaultAzureCredential
from azure.ai.openai import OpenAIClient
# LOTUS Library
import lotus
# Database Libraries
import pyodbc
import pandas as pd
# Set up Azure OpenAI Client
endpoint = "https://your-openai-resource.openai.azure.com/"
credential = DefaultAzureCredential()
openai_client = OpenAIClient(endpoint=endpoint, credential=credential)
# Set up LOTUS with OpenAI LLM
llm = lotus.OpenAI(azure_openai_client=openai_client)
# Database Connection
conn = pyodbc.connect(
'DRIVER={ODBC Driver 17 for SQL Server};'
'SERVER=your_server;DATABASE=your_database;UID=your_username;PWD=your_password'
)```
# Load data into a Pandas DataFrame
movies_df = pd.read_sql_query("SELECT * FROM movies", conn)
# Create a LOTUS table
movies_table = lotus.Table.from_dataframe(movies_df, name="movies", llm=llm)```
# Apply semantic filter
filtered_movies = movies_table.sem_filter("genre is romance and is considered a classic")
# Sort and select top 5
top_movies = filtered_movies.sort_values(by="box_office", ascending=False).head(5)
print(top_movies[['title', 'box_office']])
sem_filter:利用LLM解释自然语言条件。 排序和选择:标准的Pandas操作。
# Load financial data
stocks_df = pd.read_sql_query("SELECT * FROM stocks", conn)
stocks_table = lotus.Table.from_dataframe(stocks_df, name="stocks", llm=llm)
# Apply semantic filter
filtered_stocks = stocks_table.sem_filter(
"sector is technology and revenue growth last quarter above 20% and P/E ratio below 15"
)
print(filtered_stocks[['company_name', 'revenue_growth', 'pe_ratio']])
直接交互:TAG借助LOTUS允许直接查询复杂条件。 不需要复杂的SQL:自然语言条件就足够了。
.06
# Assuming patient_data_table is a LOTUS table
filtered_patients = patient_data_table.sem_filter(
"age between 50 and 60 and underwent Procedure X"
)
average_recovery = filtered_patients['recovery_time'].mean()
print(f"Average Recovery Time: {average_recovery} days")
# Assuming customers_table is a LOTUS table
high_value_customers = customers_table.sem_filter(
"purchases over $1,000 last month and high engagement"
)
print(high_value_customers[['customer_id', 'total_purchases', 'engagement_score']])
.07
参考:
https://github.com/TAG-Research/LOTUS https://github.com/TAG-Research/TAG-Bench