外观
概念定义 · 什么是视觉语言模型(VLM)?
视觉语言模型(VLM, Vision-Language Model) 是既能看图又能聊天的多模态大模型。它最经典的搭建方式(如 LLaVA)是“眼睛 + 翻译桥 + 大脑”三件套:先用视觉编码器(CLIP / SigLIP / ViT)把图片切成补丁提取视觉特征,再通过一个轻量的模态连接器(Projector / Q-Former) 把视觉向量翻译成语言模型能听懂的“视觉词元”,直接和文字拼在一起喂给 LLM;最新一代则演进到从零统一训练的原生早期融合多模态。
01 为什么要发明它:帮文字天才“睁开眼睛”
大语言模型能写诗、能写代码、能做奥数,但它天生是个“盲人”——它的世界里只有离散的文本词元(Token)。现实中大量信息却根本不在纯文本里:一张密密麻麻的报错截图、一份跨页财务报表 PDF、一道带辅助线的几何证明题,或者一段十秒钟的监控视频。
传统计算机视觉模型(比如 ResNet 或早期分类器)虽然能看图,但它只认识提前写死的 1000 个物体标签(“猫”“汽车”“消防栓”),既读不懂漫画里的幽默梗,也不能顺着你的追问展开多步逻辑推理。研究者于是想到:能不能把视觉感知嫁接到千亿参数的大语言模型身上,让它既能“看清像素”,又能“开口推理”?
类比 · 博学盲人学者与“同声传译”
早期最成功的拼接式 VLM(如 LLaVA),就像给一位极度博学的盲人语言学者(LLM)配了一位眼神极好的“视觉翻译官”(视觉编码器 + 模态连接器)。
翻译官先扫一眼照片,把画面里的物体、排版和文字翻译成一串学者听得懂的“通用语义词向量”,再夹在文字提问中间一起递给学者,学者瞬间就能滔滔不绝地看图说话、读图表、解几何题。
核心设问
像素是连续、高维、长宽比千奇百怪的二维信号,而 LLM 吃的是离散的一维词向量序列。怎样把任意分辨率的图像“翻译”进语言模型的语义空间,既不把小字压糊,又不让视觉词元数量把显存撑爆?
02 核心直觉:VLM 进化的“三级跳”
过去五年,视觉语言模型(VLM)的架构沿着一条非常清晰的路线完成了三级跳:
第一跳:先让眼睛听懂人话(CLIP & SigLIP)
如果把一个只做过物体分类的普通图像网络直接接给 LLM,它吐出来的视觉特征和语言世界完全鸡同鸭讲。CLIP(Radford et al., 2021) ↗ 用海量互联网“图片 + 配文”做对比预训练,把视觉编码器(ViT)的特征空间强行拉齐到文字语义空间——哪怕只看一张猫的照片,ViT 输出的向量也天然靠近“cat”。
后来的 SigLIP(arXiv:2303.15343 ↗)更进一步,把昂贵的全局 Softmax 换成轻快的成对 Sigmoid 二分类,不必非要凑齐 64K 超大 Batch 就能训出更细粒度的 OCR 眼力和局部属性感知。
第二跳:告别正方形裁剪,看清超清长图(AnyRes & NaViT)
初代 LLaVA(2023) ↗ 最大的硬伤是把所有图硬压成
- AnyRes 动态切图(如 LLaVA-NeXT、InternVL):按原图长宽比挑一个最合适的网格(如
),把大图切成几张高清局部瓦片分别送进 ViT,再附带一张全局缩略图保住整体构图; - NaViT / 原生任意分辨率(arXiv:2307.06304 ↗、Qwen2-VL ↗):干脆弃用固定绝对位置编码,直接在 ViT 内部引入 2D-RoPE 二维旋转位置编码 并做变长序列打包,让模型原汁原味吞下任意长宽比,彻底告别切图裂缝。
第三跳:从“外挂翻译官”进化为“原生双语者”(Early-Fusion)
拼接式 VLM 终究只能“看图说话”,没法在一段对话里随手画图或吐出语音。以 Chameleon(arXiv:2405.09818 ↗)和 Omni 系列为代表的原生早期融合架构拆掉外挂,把图像块、文本词元、音频帧从第一层神经网络起就揉进同一个词表和同一个 Transformer 主干里混合预训练,并用 QK-Norm 稳住多模态梯度冲突。
类比 · 压缩视觉词元的两种流派:折纸 vs 写摘要
一张高清图经 ViT 切完可能冒出 5000 个视觉 Patch,全扔进 LLM 会慢如蜗牛。连接器怎么给 LLM 减负?
- Q-Former / Resampler(写摘要流派):不管原图多大,强制只派 64 个固定提问员把画面浓缩成 64 个词元。极省算力,特别适合塞进几十帧视频,但容易把财务报表里的细小数字压丢;
- 2×2 空间合并 + MLP(折纸流派):把相邻
四个像素块的通道折进同一个向量,视觉词元数量直接砍掉 ,却一比特信息都没丢,再过两层 MLP 对齐维度——如今顶尖 OCR 强模型几乎全投奔了这一派。
03 把关键公式读成人话
先看新一代视觉底座标配的 SigLIP 成对对比损失:
把公式读成直觉:- 一个 Batch 里有
- 原版 CLIP 必须算出整张
大表的全局 Softmax,多卡训练时跨机器同步巨慢;SigLIP 直接把每一对 拆成独立的“是 / 否”二分类,算完各自求平均,既省通信又好扩规模。 - 可学习的负偏置
(初始约 )是神来之笔:因为 对里绝大多数都是负样本,开局先给所有人打一个低分底色,就能稳住初期梯度不爆炸。
再看如今最流行的 两层 MLP 模态连接器(LLaVA 范式):
把公式读成直觉:-
- 这两层简单到令人惊讶的线性变换 + 激活函数,干的活就是跨语种词典翻译:把视觉空间的坐标精准旋转、缩放、映射到语言模型的 词嵌入空间
里,生成一排“软视觉词元(Visual Tokens)”,直接和文字 Token 首尾相接送进 LLM。
04 它在模型里怎么工作 & 与上下游的关系
VLM 站在语言与感知的交汇口,串起了整张多模态技术版图:
- 上游基石:视觉端(ViT)与语言端共享 Transformer 骨干;动态高分空间坐标依赖 2D-RoPE / M-RoPE;而把视觉词元教会听懂人类指令,则遵循经典的 两阶段训练——Stage 1 冻住大脑和眼睛只训连接器“学认字”,Stage 2 解冻联调做 视觉指令微调(SFT)。
- 推理协同:一张 4K 高清图动辄生成两三千个视觉 Token,线上服务对同一张图的多轮追问高度依赖 KV Cache 前缀复用。
- 下游延伸:当原生多模态进一步把“看懂图”和“画出图”合二为一,就与 扩散模型与流匹配生成 汇流;在应用侧,VLM 让 LLM Agent 智能体 长出了看懂电脑屏幕(GUI Computer Use)的眼睛,同时也给 多模态安全评测 带来了视觉越狱的新战场。
05 演化对比与避坑备忘
| VLM 架构流派 | 视觉 Token 预算 | 细小文字 / OCR | 能否原生生图 | 代表模型 |
|---|---|---|---|---|
| 固定 ViT + MLP (arXiv ↗) | 固定(256 / 576) | 弱(缩放发糊) | 否 | LLaVA-1.5 |
| AnyRes 切图 + 合并 | 随切片数增长 | 强 | 否 | LLaVA-NeXT, InternVL |
| NaViT (2D-RoPE) + Merger (arXiv ↗) | 随面积动态伸缩 | 极强(无切图缝) | 否 | Qwen2.5-VL |
| Q-Former / Resampler | 恒定 | 较弱(信息压缩) | 否 | BLIP-2, Flamingo |
| 原生早期融合 (arXiv ↗) | 图文语音交错流 | 中强 | 是(统一输出) | Chameleon, Omni |
三个最容易踩的实战坑:
- 只喂图文数据做微调,LLM 会“变傻”:如果在 Stage 2 全部用简短的看图问答训练,原本文科理科全能的语言底座会迅速发生灾难性遗忘(代码写不动、数学算不对)。务必在微调配方里混入 15%–30% 的高质量纯文本指令数据 保住智商。
- 小心“语言先验压倒双眼”导致的视觉幻觉:画一只三条腿的狗问模型“它有几条腿?”,如果画面稍糊,LLM 会压根不看图,顺嘴按常识回答“四条腿”。必须引入高清微调、负样本拒答数据与多模态偏好对齐来纠正“看图靠猜”。
- 解冻 ViT 必须用差分学习率,线上必须限
max_pixels:想把 OCR 刷到极致需要解冻 ViT,但 ViT 学习率必须压到 LLM 的– 才不会训崩;线上推理若不限制输入最大像素,用户随手传一张 8K 长截图就能瞬间打出几千个视觉 Token,直接拖垮首字延迟。
想查看 CLIP 对称交叉熵完整公式、Chameleon 的 QK-Norm 稳训机制,以及可直接运行的
SigLIPLoss和SpatialMergeMLPProjectorPyTorch 代码?按快捷键M或点击顶部技术 Wiki随时切换。
视觉语言模型(Vision-Language Model, VLM / MLLM) 打破了大语言模型只能读写纯文本的边界,使其能够联合理解高分辨率图像、文档图表、多帧视频乃至语音信号,并输出自然语言推理结果。过去五年间,VLM 经历了从双塔图文对齐(CLIP/SigLIP)、“视觉编码器 + 连接器 + LLM”拼接范式(LLaVA 系列),到原生早期融合统一多模态(Early-Fusion Native Multimodal) 的快速架构演进。
直观理解
拼接式 VLM(如 LLaVA)好比给一位精通语言的文字学者配了一位“视觉翻译官”:ViT 编码器先看图提取视觉特征,连接器(Projector)再把这些特征翻译成 LLM 听得懂的“外语词汇向量”插进输入序列。而原生早期融合模型(如 Chameleon / Omni)则是从小同时学习视觉与语言的“原生双语者”,图像块与文字词元从第一层神经网络开始就共享同一套注意力与权重。
问题动机与演进背景
早期的视觉理解模型(如 ResNet + 分类头)只能识别预设的有限类别标签,缺乏开放世界语义理解与多步逻辑推理能力。要让千亿参数的 LLM “睁开眼睛”,工程上需要依次攻克四个核心难题:
- 跨模态语义空间对齐:像素空间是高维连续且高度冗余的信号,如何预训练出与自然语言语义高度同构的视觉编码器?
- 分辨率与长宽比失真:早期 ViT 强制将任意图像缩放裁剪为
或 正方形,导致密集文档 OCR、细小公式和长截图文字彻底糊化不可读。 - 视觉 Token 数量与信息保真度权衡:高分辨率图像会产生数千个视觉 Patch,如何设计模态连接器在控制 LLM 计算成本的同时保留细粒度空间细节?
- 深层跨模态交互与统一生成:仅靠浅层拼接难以支持图文交错输出与原生图像生成,推动架构向早期融合(Early-Fusion)演进。
核心原理与数学推导
1. 图文对比预训练:CLIP 与 SigLIP
绝大多数现代 VLM 的视觉底座源自大规模图文对对比预训练。给定一个包含
- CLIP(Softmax 对称交叉熵):在 Batch 内做双向对比分类(以图搜文 + 以文搜图):
CLIP 的工程痛点在于 Softmax 分母依赖全局 Batch 归一化,训练时必须通过全局 all_gather 同步巨大 Batch(如 32K–64K)才能获得足够负样本,通信开销极高。
- SigLIP(Sigmoid Pairwise Loss):彻底移除全局 Softmax,将每对
独立转化为二分类逻辑回归问题(正样本标签 当且仅当 ,其余 ),并引入可学习温度 与偏置 (通常初始化为负值如 以缓解正负样本极度不平衡):
SigLIP 支持分块(Chunked)异步损失计算,在中等 Batch Size 下收敛更稳且对细粒度图文匹配(如 OCR 与局部属性)显著优于原版 CLIP。
2. ViT 分块编码与动态分辨率(AnyRes / NaViT)
标准 Vision Transformer(ViT) 将尺寸为
- 动态切图(AnyRes / Dynamic High-Resolution,如 LLaVA-NeXT、InternVL):根据原图宽高比从预设网格集合(如
)中匹配最接近的网格,将大图切分为若干固定尺寸的高清子图(Local Crops)独立送入 ViT,同时拼入一张缩小的全局缩略图(Global Thumbnail)保留整体构图上下文。 - 原生任意分辨率(NaViT / Native Dynamic Resolution,如 Qwen2-VL / Qwen2.5-VL):摒弃固定绝对位置编码与强行切图,直接在 ViT 内部引入 2D-RoPE(二维旋转位置编码) 并利用 Sequence Packing(Patch n' Pack)将任意长宽比、不同分辨率图像的变长 Patch 序列打包进同一 Batch,在保持完整空间连续性的同时彻底消除切图边界割裂与无效填充计算。
3. 三类核心模态连接器(Modality Connector)
视觉编码器输出特征
- MLP Projector(线性 / 两层 MLP,LLaVA-1.5 范式):
常配合 Pixel Shuffle(空间
- Q-Former(BLIP-2)与 Perceiver Resampler(Flamingo):引入固定数量
(如 )的可学习查询向量 ,通过交叉注意力从变长视觉特征中主动提取固定长度的压缩表征:
优点是将任意视频帧或高分图压缩为恒定 Token 预算,极省 LLM 算力;缺点是过度压缩容易丢失密集文本和细微空间坐标(现代主流强模型已普遍回归 MLP + 局部空间合并 路线)。
4. LLaVA 两阶段训练与原生早期融合(Early-Fusion)
LLaVA 经典两阶段训练流水线:
- Stage 1(跨模态特征对齐预训练):冻结 ViT 与 LLM 全部权重,仅训练轻量化 Projector(使用数十万至数百万图文描述对),让视觉特征快速对齐到 LLM 的 词嵌入空间,防止随机初始化投影层的剧烈梯度破坏 LLM 原有语言能力。
- Stage 2(端到端视觉指令微调):解冻 Projector 与 LLM(在高清场景下常同时以更小学习率解冻 ViT 顶层或全层),在包含多轮对话、OCR、图表推理、数学几何的视觉指令集上执行 监督指令微调(SFT)(仅对助手文本回答 token 计算 Loss,屏蔽图像占位符
`<image>`与用户提问)。
原生早期融合多模态(Early-Fusion,如 Chameleon、GPT-4o、Qwen-Omni): 摒弃独立预训练 ViT 外挂结构,通过离散图像分词器(VQ-VAE / VQGAN)或轻量 Patch 线性嵌入,直接将文本词元、图像 Patch、音频帧映射进同一个统一的 Transformer 词表与主干网络,从预训练第一天起就在混合多模态文档(图文交错网页、视频音频流)上进行统一自回归建模,逐步打通 视觉生成与扩散/自回归范式,也为 多模态评测与安全 和 GUI Agent 奠定感知基座。为解决多模态混合训练中的梯度尺度冲突与 Logit 爆炸,Chameleon 等架构引入了 QK-Norm(对 Query 与 Key 施加 LayerNorm) 与 Z-Loss 正则化以稳定千亿级多模态训练。
算法架构与数据流图
下图对比了当前工业界最主流的 拼接式动态高分 VLM(LLaVA / Qwen-VL 范式) 与 原生早期融合多模态架构(Early-Fusion):
图表加载中...
复杂度与横向对比表
设视觉编码器输出
| 架构 / 组件方案 | 输入 LLM 视觉 Token 数 | OCR 与细粒度空间感 | 多帧视频扩展性 | 图文统一生成能力 | 代表模型 |
|---|---|---|---|---|---|
| 固定分辨率 ViT + Linear MLP | 固定(如 256 / 576) | 弱(缩放糊化) | 一般 | 仅理解 | LLaVA-1.5 |
| AnyRes 切图 + MLP / PixelShuffle | 强 | 中等 | 仅理解 | LLaVA-NeXT, InternVL2.5 | |
| NaViT (2D-RoPE) + 2x2 Merger | 极强(无切图割裂) | 强(支持 3D 卷积合并) | 仅理解 | Qwen2.5-VL | |
| Q-Former / Perceiver Resampler | 恒定 | 较弱(信息瓶颈) | 极强(帧预算可控) | 仅理解 | BLIP-2, Flamingo |
| 原生早期融合(离散/混合 Token) | 动态交错序列 | 中强(受分词器重建上限影响) | 强 | 极强(原生多模态输出) | Chameleon, Emu3, Gemini |
核心 PyTorch 参考实现
以下实现 SigLIP Sigmoid 对比损失 与 现代 VLM 标配的
python
import torch
import torch.nn as nn
import torch.nn.functional as F
class SigLIPLoss(nn.Module):
"""SigLIP 成对 Sigmoid 图文对比损失(无需全局 Softmax 归一化)。"""
def __init__(self, init_log_temp: float = 2.3026, init_bias: float = -10.0):
super().__init__()
# 初始温度 exp(2.3026) ~= 10.0,负偏置抑制初期海量负样本梯度冲击
self.log_temp = nn.Parameter(torch.tensor(init_log_temp))
self.bias = nn.Parameter(torch.tensor(init_bias))
def forward(self, image_emb: torch.Tensor, text_emb: torch.Tensor) -> torch.Tensor:
"""
Args:
image_emb: [B, D] 视觉全局表征
text_emb: [B, D] 文本全局表征
"""
v = F.normalize(image_emb, p=2, dim=-1) # [B, D]
t = F.normalize(text_emb, p=2, dim=-1) # [B, D]
temp = self.log_temp.exp()
logits = temp * torch.matmul(v, t.T) + self.bias # [B, B]
# 对角线正样本标签为 +1,非对角线负样本为 -1
B = v.size(0)
labels = 2.0 * torch.eye(B, device=v.device, dtype=v.dtype) - 1.0 # [B, B]
# -log(sigmoid(z * logits)) = softplus(-z * logits)
loss = -F.logsigmoid(labels * logits).sum() / B
return loss
class SpatialMergeMLPProjector(nn.Module):
"""
2x2 空间合并(Pixel Shuffle 思想)+ 两层 MLP 模态连接器。
将 H_p x W_p 个视觉 Patch 压缩为 (H_p/2) x (W_p/2) 个视觉 Token(数量减少 4 倍),
同时在通道维完整保留 2x2 局部空间几何细节。
"""
def __init__(self, vision_dim: int, llm_dim: int, merge_size: int = 2):
super().__init__()
self.merge_size = merge_size
merged_dim = vision_dim * (merge_size ** 2)
self.norm = nn.LayerNorm(merged_dim)
self.mlp = nn.Sequential(
nn.Linear(merged_dim, llm_dim),
nn.GELU(),
nn.Linear(llm_dim, llm_dim),
)
def forward(self, visual_feats: torch.Tensor, grid_h: int, grid_w: int) -> torch.Tensor:
"""
Args:
visual_feats: [B, grid_h * grid_w, vision_dim] ViT 输出的 Patch 序列
grid_h, grid_w: 视觉 Patch 网格高宽(需能被 merge_size 整除)
Returns:
visual_tokens: [B, (grid_h//2) * (grid_w//2), llm_dim]
"""
B, N, D = visual_feats.shape
m = self.merge_size
assert N == grid_h * grid_w and grid_h % m == 0 and grid_w % m == 0
# 还原二维空间网格并执行相邻 m x m 通道折叠
x = visual_feats.view(B, grid_h // m, m, grid_w // m, m, D)
x = x.permute(0, 1, 3, 2, 4, 5).contiguous()
x = x.view(B, (grid_h // m) * (grid_w // m), m * m * D) # [B, N/4, 4*D]
return self.mlp(self.norm(x)) # [B, N/4, llm_dim]
if __name__ == "__main__":
# 1. 验证 SigLIP 损失
siglip = SigLIPLoss()
loss = siglip(torch.randn(8, 512), torch.randn(8, 512))
print(f"SigLIP Loss: {loss.item():.4f}")
# 2. 验证 2x2 空间合并投影器: 24x24=576 patches -> 12x12=144 tokens
proj = SpatialMergeMLPProjector(vision_dim=1152, llm_dim=4096)
feats = torch.randn(2, 576, 1152)
tokens = proj(feats, grid_h=24, grid_w=24)
print(f"Projected visual tokens shape: {tokens.shape}")工程实践与常见陷阱
工程实践
- 混合纯文本数据防止灾难性遗忘:在 VLM 指令微调阶段,如果 100% 使用短问答图文数据,LLM 原有的代码能力、数学逻辑与长文写作能力会严重退化。最佳实践是在 Stage 2 中保留 15%–30% 的高质量纯文本指令数据,并以图文混合比例联合微调。
- 视觉编码器解冻需采用差分学习率:高清 OCR 和密集图表识别依赖 ViT 捕捉细微笔画特征,仅训练 Projector 不足以释放上限;解冻 ViT 时应将其学习率设为 LLM 主干的
至 (如 ViT 用 2e-6、LLM 用1e-5、Projector 用1e-4)。 - 视频理解采用时间维 3D Patch 合并与动态抽帧:处理多分钟视频时,相邻帧存在大量静态背景冗余,通常以固定或自适应帧率(如 1–2 FPS)采样,并使用
Conv3d将连续 2 帧的空间块联合压缩,显著降低视频 Token 爆炸。
常见陷阱
- 视觉幻觉与语言先验压倒视觉证据:当图像细节模糊或视觉特征较弱时,强 LLM 往往会忽略图像内容,直接凭借语言统计惯性编造答案(例如图中是一只三条腿的狗却坚称有四条腿)。可通过引入负样本拒答数据、高分辨率视觉微调及多模态 DPO/RLHF 显著抑制视觉幻觉。
- AnyRes 切图导致跨边界文字截断与空间方位错乱:将宽图硬切成多个子图并线性拼接进 LLM 序列时,若未在子图边界插入显式换行分隔符或空间坐标标记,模型极易混淆左右相邻子图的相对位置关系,造成跨页表格串行读错。
- 忽视视觉 Token 的 Prefill 显存与延迟占比:一张 4K 高清图经动态切图后可能产生 2000–4000 个视觉 Token,相当于直接输入一篇长文。线上多模态服务务必根据业务场景限制
max_pixels上限,并对同一图像的多轮追问启用 Prefix KV Caching。
延伸阅读与参考论文
- Radford, A., Kim, J. W., Hallacy, C., et al. (2021). Learning Transferable Visual Models From Natural Language Supervision (CLIP). ICML 2021. arXiv:2103.00020 ↗
- Zhai, X., Mustafa, B., Kolesnikov, A., & Beyer, L. (2023). Sigmoid Loss for Language Image Pre-Training (SigLIP). ICCV 2023. arXiv:2303.15343 ↗
- Liu, H., Li, C., Wu, Q., & Lee, Y. J. (2023). Visual Instruction Tuning (LLaVA). NeurIPS 2023. arXiv:2304.08485 ↗
- Dehghani, M., Mustafa, B., Djolonga, J., et al. (2023). Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution. NeurIPS 2023. arXiv:2307.06304 ↗
- Wang, P., Bai, S., Tan, S., et al. (2024). Qwen2-VL: Enhancing Vision-Language Model's Perception of the World at Any Resolution. arXiv:2409.12191 ↗
- Chameleon Team (2024). Chameleon: Mixed-Modal Early-Fusion Foundation Models. Meta FAIR. arXiv:2405.09818 ↗