一、知识图谱推理
节点:代表现实世界中的实体(如人、地点、事物、概念等),每个实体通常由一个唯一的标识符表示。
边:表示这些实体之间的关系。
二、多模态推理任务
什么是多模态推理任务(Multi-Modal Reasoning Task)?多模态推理任务是指利用多种感知模态的信息进行综合分析和判断的过程。
VQA是一个典型的多模态问题,融合了计算机视觉(CV)与自然语言处理(NLP)的技术,计算机需要同时学会理解图像和文字。
为了回答某些复杂问题,计算机还需要了解常识,并基于常识进行推理(common-sense resoning)。
二、视觉常识推理(Visual Commonsense Reasoning,VCR)
视觉常识推理需要在理解文本的基础上结合图片信息,基于常识进行推理。给定一张图片、图中一系列有标签的bounding box,VCR实际上包含两个子任务:{Q->A}根据问题选择答案;{QA->R}根据问题和答案进行推理,解释为什么选择该答案。
VCR数据集由大量的“图片-问答”对组成,主要考察模型对跨模态的语义理解和常识推理能力。
预训练任务可能包括将BERT经典的MLM和NSP预训练任务扩展到多模态场景等。
三、视觉语言导航(Vision Language Navigation)
视觉语言导航是一种技术,它结合了计算机视觉、自然语言处理和自主学习三大核心技术,使智能体能够跟随自然语言指令进行导航。
智能体不仅能够理解指令,还能理解指令与视角中可以看见的图像信息。
智能体需要在环境中对自身所处状态进行调整和修复,最终做出对应的动作,以达到目标位置。