本文提出了Janus框架，这是一种统一的多模态理解与生成模型，旨在通过解耦视觉编码路径来提升性能。与以往依赖单一视觉编码器的多模态模型不同，Janus为多模态理解和生成任务分别设计了独立的视觉编码器，同时使用统一的Transformer架构进行处理。这种设计不仅缓解了两类任务对视觉表示需求的冲突，还提高了模型的灵活性和扩展性。实验表明，Janus在多个基准测试中超过了现有的统一模型，并且在某些情况下表现优于专门为特定任务设计的模型，展示了它作为下一代多模态模型的潜力。
1 多模态框架Janus
Janus框架通过解耦视觉编码，将多模态理解和生成任务分开处理。理解任务使用高维语义特征，而生成任务则专注于细粒度的空间结构和纹理细节。两者通过统一的Transformer架构连接，从而避免了同一视觉编码器处理两类任务时的冲突。Janus框架设计简单灵活，可以扩展到处理其他输入类型，如点云、脑电图或音频数据。
Janus采用自回归模型，训练过程中使用交叉熵损失，在推理阶段，Janus模型采用逐步预测的方式完成文本理解和视觉生成任务。其训练过程分为三个阶段：
- 阶段1：训练理解和生成任务的适配器以及图像生成头部，保持视觉编码器和语言模型的参数冻结 。
- 阶段2：统一预训练，包括多模态理解和生成数据 。
- 阶段3：监督微调，结合指令调优以提升多模态任务的性能 。
2 结语
本文提出了Janus框架，通过解耦视觉编码路径来提升多模态理解与生成性能，并超越现有统一模型。
论文题目： Janus: Decoupling Visual Encoding for Unified Multimodal Understanding and Generation
论文链接： https://arxiv.org/abs/2410.10486
PS: 欢迎大家扫码关注公众号_，我们一起在AI的世界中探索前行，期待共同进步！
精彩回顾
1. 从图形频谱角度重新审视对话中的多模态情感识别
2. 基于多模态生理信号的跨个体情感识别多层解缠网络
3. 机器人故障的多模态一致性解释生成