本文将图结构转化为图片，利用视觉语言模型（VLM）进行一般化地图推理, 开创了“视觉语言图推理”这一属于 VQA 和图推理交叉的子领域。 核心贡献 1：GITA 框架；通过自动将图结构转化为文本图描述和视觉图像，使用图文并举的方式，首次实现平滑地将视觉语言模型纳入图推理的赛道与基于文本的大模型进行竞争，并揭示了视觉语言模型在使用相同图结构信息量时相比纯文本大模型的模式提升，其尤其擅长对局部子结构和模式的捕获和识别。 核心贡献 2：本文同时提出该领域的第一个大规模对齐数据集 GVLQA，其以视觉语言问答对（VQA）的形式组织，可用于图推理领域中视觉和文本对齐，以及广泛评估 MLLM 的图推理性能。 核心贡献 3：在 GVLQA 上微调出的 GITA-7B/13B 模型与 llava 具有相同的模型架构，可以直接加载作为预训练模型基座用于下游的对图结构理解有要求的 llm/vlm 任务。checkpoint 公开可用。
核心贡献 3：在 GVLQA 上微调出的 GITA-7B/13B 模型与 llava 具有相同的模型架构，可以直接加载作为预训练模型基座用于下游的对图结构理解有要求的 llm/vlm 任务。checkpoint 公开可用。
论文标题：
GITA: Graph to Visual and Textual Integration for Vision-Language Reasoning
论文链接：
https://arxiv.org/abs/2402.02130
代码链接：
https://github.com/WEIYanbin1999/GITA/
GVLQA数据集地址：
https://huggingface.co/collections/Yanbin99/gvlqa-datasets-65c705c9488606617e246bd3
项目主页：
http://v-graph.github.io/
图推理任务在推荐系统、社会网络分析、知识图推理等领域是至关重要的。从浅层嵌入方法，到先进的图神经网络（GNN）和图 Transformer，虽然这些模型擅长于图形推理任务，但它们往往缺乏通用性、灵活性和用户友好性。
使用这些模型实现良好的性能通常需要特定于领域的调优，这限制了它们跨不同领域进行泛化的能力。此外，这些模型难以使用相同的架构来处理不同的任务。每个任务通常都需要专门的设计，包括特定于任务的数据处理和解码器，从而导致有限的灵活性。最后，与能够与用户进行对话的大型语言模型（LLM）不同，这些模型不那么可解释和用户友好。
相比之下，大语言模型（LLM）在各种推理任务中显示出了强大的泛化能力，通过将任务特定的需求封装在一套内聚和可解释的文本提示中，大语言模型在一个统一的架构下，可以无缝处理不同的任务，这是现有的专有图方法所欠缺和追求的。因此，结合大语言模型的泛化能力和对图结构数据的理解能力成为了有潜力的新兴方向。
尽管已有不少使用 LLM 的图推理方法和基准，但它们往往借助语言模型本身，将图结构转化为自然语言描述，借助 LLM 对语序的理性感知进行图结构的感知。然而，这种感知方式忽视了直观和快速的视觉感知，这是人类在理解结构信息时的重要方式，这种直观快速的感知方式已经在各种视觉推理场景中验证了其有效性。
因此，我们自然地提出以下问题并试图发展基于视觉-语言的图推理设置，即：
（1）合并视觉信息是否有利于一般的图推理场景？（2）如果是这样，我们如何有效地将视觉模态整合到图形推理中？
为了回答这些问题，我们创新地提出了一个通用框架，称为图可视化和文本集成（GITA）。
一、GITA：图可视化和文本集成的视觉语言推理
图1：不同图可视化器和生成出的 Visual Graph可视化图
图二：基于 GITA 框架的视觉语言图推理流程
接下来，由基于任务的提问者（Task-based Questioner）通过任务特定的提示模板，将图描述器输出的图结构的文本描述嵌入到问题提示词中，产生任务特定的提问查询（Task-specified Query）。
最终，可视化图和蕴含图文本描述的提问查询一起， 被输入给 VLM 进行推理。
因此在 GITA 框架下，可视化图（视觉图表示）和图文本描述（文本图表示）分别从视觉和文本两种模态表达了相同的图结构信息，它们被 VLM 同时接受，用于推理。
因此，GITA 框架下的视觉语言模型可以同时受益于快速直观的视觉感知，和序列敏感的文本理解，我们将这种方式称为视觉语言图推理，并将其归类为一个从属于 VQA 和图推理的交叉领域。
GITA 是端到端的推理框架，因此支持直接进行特定数据的微调。值得注意的是，由于图可视化器和图描述器具备高度自动化的实现方式，因此，GITA 可以直接运行在裸图结构上，而不要求在初始阶段就具备可视化的图表示，这使得其可以适用于大多数的图场景，包含下游任务，如节点分类和链接预测。
二、GVLQA（注释：历史版本原称GITQA）：首个视觉语言图推理VQA数据集
图三：GVLQA数据集概览
GVLQA 数据集包括 526K 个样本，每个样本由一个可视化图、一个文本查询和相应的答案组成。它被分为五个子集：GVLQA-BASE，和四个增强子集 GVLQA-AUGLY，GVLQA-AUGNS，GVLQA-AUGNO，和 GVLQA-AUGET。
在 GVLQABASE 中，视觉图的样式是一致的。其余的 4 个增强子集中的图结构与 GVLQA-BASE 中一致，但分别通过 4 种不同的可视化图增强，即分别在 6 种不同的图布局算法（GVLQA-AUGLY）、3 种节点形状（GVLQA-AUGNS）、4 种节点轮廓样式（GVLQA-AUGNO）和 4 种边的厚度（GVLQA-AUGET）下进行数据增强。
每个子集都包含 7 个具有代表性的一般图推理任务，包括图连通性判断（Connectivity），闭环检测（Cycle），拓扑排序（Topological Sort，TS），最短路（Shortest Path，SP），最大流（Maximum Flow，Flow），二分图匹配（Bipartite Graph Matching，BGM）和哈密顿路径（Hamilton Path，HP）。
三、视觉语言图推理的有效性
我们在 GVLQA 和五个下游任务数据集（包含节点分类和链接预测）上的实验，验证了 GITA 框架下，视觉语言图推理的优越性。
四、视觉语言图推理领域的特有数据增强：布局增强
通过对比 GITA 在 GVLQA 的增强子集上与在未增强的 GVLQA-Base 上进行微调获得的性能，我们发现，基于 GITA 的 VLM 的视觉语言图推理能力对于图的节点颜色，节点样式和边厚度均不敏感，未表现出明显的风格偏好。
作者：卫焱滨 来源：公众号【PaperWeekly】
“AI技术流”原创投稿计划
TechBeat是由将门创投建立的AI学习社区（www.techbeat.net）。社区上线500+期talk视频，3000+篇技术干货文章，方向覆盖CV/NLP/ML/Robotis等；每月定期举办顶会及其他线上交流活动，不定期举办技术人线下聚会交流活动。我们正在努力成为AI人才喜爱的高质量、知识型交流平台，希望为AI人才打造更专业的服务和体验，加速并陪伴其成长。
投稿内容
// 最新技术解读/系统性知识分享 //
// 前沿资讯解说/心得经历讲述 //
投稿须知
稿件需要为原创文章，并标明作者信息。
我们会选择部分在深度技术解析及科研心得方向，对用户启发更大的文章，做原创性内容奖励
投稿方式
发送邮件到
melodybai@thejiangmen.com
或添加工作人员微信（yellowsubbj）投稿，沟通投稿详情；还可以关注“将门创投”公众号，后台回复“投稿”二字，获得投稿说明。
