极市导读
字节跳动与华东师范大学联合提出的TextHarmony模型，这是一个统一的多模态文字理解与生成大模型，它通过创新的Slide-LoRA技术和两阶段训练方法，有效地解决了多模态生成中的模态不一致问题，并在视觉文本感知、理解、生成和编辑方面展现出卓越性能。 >>加入极市CV技术交流群，走在计算机视觉的最前沿
01 研究背景与挑战
在人工智能领域，赋予机器类人的图像文字感知、理解、编辑和生成能力一直是研究热点。目前，视觉文字领域的大模型研究主要聚焦于单模态生成任务。尽管这些模型在某些任务上实现了统一，但在 OCR 领域的多数任务上仍难以达成全面整合。
例如，Monkey 等视觉语言模型（VLM）擅长文字检测、识别和视觉问答（VQA）等文本模态生成任务，却无法胜任文字图像的生成、抹除和编辑等图像模态生成任务。反之，以 AnyText 为代表的基于扩散模型的图像生成模型则专注于图像创建。因此，OCR 领域亟需一个能够统一多模态生成的大模型。
论文链接：
https://arxiv.org/abs/2407.16364
代码开源：
https://github.com/bytedance/TextHarmony
02 关键问题
2.1 多模态生成的内在矛盾
研究人员发现，多模态生成大模型面临视觉与语言模态之间的固有不一致性，这往往导致模型性能显著下滑。如图所示，在文本生成任务上，多模态生成模型相比单模态生成模型效果降低 5%，在图像生成上降低了 8%。
为应对这一挑战，近期的一些研究采用了特定模态的监督微调，从而分别优化文字生成和图片生成的模型权重。然而，这种方法与统一视觉理解与生成的初衷相悖。
为解决这一难题，字节跳动与华东师范大学的联合研究团队提出了创新性的多模态生成模型——TextHarmony。该模型不仅精通视觉文本的感知、理解和生成，还在单一模型架构中实现了视觉与语言模态生成的和谐统一。
2.2 TextHarmony：突破性贡献
TextHarmony 的核心优势在于其成功整合了视觉文本的理解和生成能力。传统研究中，这两类任务通常由独立模型处理。TextHarmony 通过融合这两大类生成模型，实现了视觉文字理解和生成的同步进行，从而统筹了 OCR 领域的多数任务。
研究表明，视觉理解和生成之间存在显著差异，直接整合可能导致严重的模态不一致问题。具体而言，多模态生成模型在文本生成（视觉感知、理解）和图像生成方面，相较于专门的单模态模型，性能出现明显退化。
数据显示，多模态生成模型在文本生成任务上较单模态模型效果降低 5%，图像生成任务上最高降低 8%。而 TextHarmony 成功缓解了这一问题，其在两类任务上的表现均接近单模态专家模型水平。
03 技术创新
TextHarmony 采用了 ViT、MLLM 和 Diffusion Model 的组合架构：
1. ViT 负责图像到视觉 token 序列的转换。
2. MLLM 处理视觉 token 和文本 token 的交叉序列，输出两类 token：
文本 token 经文本解码器转化为文本输出。
视觉 token 与文本 token 结合，作为 Diffusion Model 的条件指引，生成目标图像。
这种结构实现了多模态内容的全面理解与生成。
3.1 Slide-LoRA：解决方案
为克服训练过程中的模态不一致问题，研究者提出了 Slide-LoRA 技术。该方法通过动态整合模态特定和模态无关的 LoRA（Low-Rank Adaptation）专家，在单一模型中实现了图像和文本生成空间的部分解耦。
Slide-LoRA 包含一个动态门控网络和三个低秩分解模块：
模态特定 LoRA 专家聚焦于特定模态（视觉或语言）的生成任务。 模态无关 LoRA 专家处理跨模态的通用特征。 动态门控网络根据输入特征，灵活调度不同专家的参与度。
● DetailedTextCaps-100K：高质量数据集
为提升视觉文本生成性能，研究团队开发了 DetailedTextCaps-100K 数据集。该集利用闭源 MLLM（Gemini Pro）生成详尽的图像描述，为模型提供了更丰富、更聚焦于视觉和文本元素的训练资源。
3.2 训练策略
TextHarmony 采用两阶段训练方法：
首阶段利用 MARIO-LAION 和 DocStruct4M 等图文对预训练对齐模块和图像解码器，构建基础的文本生成与图像生成能力。
次阶段运用视觉文本的生成、编辑、理解、感知四类数据进行统一微调。此阶段开放 ViT、对齐模块、图像解码器和 Slide-LoRA 的参数更新，以获得统一的多模态理解与生成能力。
04 实验评估
研究者对 TextHarmony 在视觉文本场景下进行了全面评估，涵盖理解、感知、生成与编辑四个维度：
1. 视觉文本理解：TextHarmony 显著优于多模态生成模型，性能接近 Monkey 等专业文字理解模型。
2. 视觉文本感知：在 OCR 定位任务上，TextHarmony 超过了 TGDoc、DocOwl1.5 等知名模型。
3. 视觉文本编辑与生成：TextHarmony 大幅领先于现有多模态生成模型，且与 TextDiffuser2 等专业模型相当。
4.1 文字生成效果对比
4.2 文字编辑效果对比
4.3 文字图像感知与理解可视化
05 总结与展望
TextHarmony 作为 OCR 领域的多功能多模态生成模型，成功统一了视觉文本理解和生成任务。通过创新的 Slide-LoRA 技术，它有效解决了多模态生成中的模态不一致问题，在单一模型中实现了视觉与语言模态的和谐统一。
TextHarmony 在视觉文字感知、理解、生成和编辑方面展现出卓越性能，为复杂的视觉文本交互任务开辟了新的可能性。
这项研究不仅推动了 OCR 技术的进步，也为人工智能在理解和创造方面的发展提供了重要参考。未来，TextHarmony 有望在自动文档处理、智能内容创作、教育辅助等多个领域发挥重要作用，进一步推动人工智能的应用。
公众号后台回复“数据集”获取100+深度学习各方向资源整理
极市干货
点击阅读原文进入CV社区
收获更多技术干货
