前言
传统的大语言模型（LLM）如GPT、LLaMA等主要处理文本序列，基于Transformer架构在自然语言处理任务上取得了巨大成功。然而，现实世界的信息是多模态的——文字、图像、音频、视频等多种形式共同构成了人类的认知输入。如何在现有大模型的基础上扩展多模态能力，成为了AI发展的关键技术挑战。
核心问题：如何让文字专家学会"看"和"听"
大语言模型天生只懂文字，就像一个只会阅读的学者。多模态进化的本质问题是：如何让这个"文字专家"学会处理图像、音频等完全不同的信息形式？
面临的挑战：不同模态的数据具有完全不同的表示形式，如何建立统一的语义表示空间？
（1）文本数据的特点： 离散的token序列，维度相对较低
# 文本数据示例text = "一只可爱的小猫在阳光下睡觉"# 经过tokenization后变成：tokens = [101, 1037, 1506, 2031, 1996, 2235, 4937, 1999, 3103, 2091, 3637, 102]# 形状: [seq_len] = [12]# 每个token是离散的整数，词汇表大小通常是50k-100k（2）图像数据的特点： 连续的像素矩阵，维度高且具有空间结构
# 图像数据示例import torchimage = torch.randn(3, 224, 224) # RGB图像# 形状: [channels, height, width] = [3, 224, 224]# 每个像素值是0-255的连续值（或标准化后的浮点数）print(f"图像数据维度: {image.numel()}") # 150,528个数值（3）音频数据的特点： 时序连续信号，具有频域和时域特征
# 音频数据示例import numpy as np# 采样率16kHz，3秒音频audio_waveform = np.random.randn(48000) # 时域信号# 转换为频谱from scipy.fft import fftaudio_spectrum = fft(audio_waveform) # 频域特征print(f"音频时域维度: {audio_waveform.shape}") # (48000,)print(f"音频频域维度: {audio_spectrum.shape}") # (48000,)
解决的方法：万物皆可Token化
大语言模型的处理单元是Token（词块），从大语言模型进化为多模态大模型的关键是把所有信息都转换成Token。
文字 ：天然就是Token序列
- “Hello world” → [Hello, world]
图像：切块变Token
- 把图片分割成16×16像素的小块
- 每个图块编码成一个视觉Token
- 一张224×224的图片 → 196个视觉Token
音频：切段变Token
- 按时间窗口分割音频
- 每段音频特征编码成听觉Token
- 1秒音频 → 约50个听觉Token
统一处理**：所有Token拼接后输入同一个Transformer架构**
为什么这样可行？注意力机制（Attention）
大语言模型的核心是注意力机制，它本质上是在学习Token之间的关系。无论Token来自文字、图像还是音频，注意力机制都能学会它们之间的语义关联。
架构设计：多模态大模型的技术路线
为什么需要重新设计架构？
传统大语言模型的架构Transformer是为处理文本序列而设计的，在面对多模态数据时存在根本性限制。
（1）输入格式限制：Transformer期望统一的张量格式
Transformer要求输入必须是[batch_size, seq_len, hidden_dim]格式。
文本数据经过Tokenization后天然符合这种格式。但图像是[channels, height, width]的像素矩阵，音频是一维采样点序列，视频是[frames, channels, height, width]四维张量。
这些异构数据无法直接输入传统LLM，必须设计新的编码方式统一格式。
（2）位置编码不匹配：一维序列vs多维结构
文本使用一维位置编码，其他模态具有不同结构特征。
图像具有二维空间结构，需要(x,y)坐标表示位置关系；音频具有时序结构，存在时间先后和频域特征；视频同时具有时空两个维度。
一维位置编码无法表达多维位置关系，导致模型无法理解空间布局和时序模式。
（3）注意力机制局限：序列依赖vs空间局部性
标准Self-Attention是为序列依赖关系设计的。
文本Attention捕捉词汇间的语义和语法关系。图像Attention需要建模空间局部性和视觉层次结构。音频Attention需要考虑时域连续性和频域谐波关系。
标准Attention没有针对其他模态的结构特征优化，效率低且难以捕捉关键关系。
如何设计统一架构方案（Unified Architecture）？
通过模态特定的编码器将不同类型数据转换为统一的Token表示，所有token在同一序列中排列，由统一的Transformer backbone处理。
（1）模态统一编码机制
文本编码：保持传统的subword tokenization方式，每个token对应词汇表中的一个ID，通过embedding layer转换为固定维度向量。
图像编码：采用Vision Transformer的patch-based方法。将图像切分为固定大小的patches（通常16×16像素），每个patch通过线性投影层转换为token。一张224×224的图像会产生196个视觉token。
音频编码：将音频信号按时间窗口分割，每个时间段提取特征（如MFCC、mel-spectrogram）后编码为音频token。采样率16kHz、时长3秒的音频通常产生约150个音频token。
视频编码：结合空间和时间维度，既要对每一帧进行patch分割，又要建模帧间的时序关系。通常采用时空patch的方式，产生的token数量是图像的数倍。*
（2）序列构建与处理流程
Token序列拼接：将不同模态的token按照特定顺序拼接成一个长序列。通常的顺序是：特殊token（如[CLS]） + 文本token + 图像token + 音频token + 任务相关token。
统一维度对齐：所有模态的token必须具有相同的隐藏维度（如768或1024），通过各自的投影层实现维度统一。
位置编码设计：为不同模态设计不同的位置编码策略。文本使用一维位置编码，图像使用二维位置编码表示patch的空间位置，音频使用时序位置编码，最后将这些位置信息加到对应的token embedding上。
（3）注意力机制的适配
全局注意力：标准的self-attention允许任意两个token之间产生注意力连接，这使得文本token可以直接关注到相关的图像区域或音频片段。
模态感知注意力：通过attention mask或者模态特定的attention bias，控制不同模态间的交互强度。例如，可以增强文本描述与对应图像区域之间的注意力权重。
分层注意力：在浅层主要进行模态内的特征提取，在深层增强跨模态的信息交互。这种设计符合人类认知的层次化特点。
