Skip to content

交互式大模型架构全景图 ​

点击左侧任意架构模块,即可在右侧查看该槽位的核心职责、关联算法词条与上下游关系数量;双击模块或点击按钮即可直接进入对应词条深入学习。

01数学与理论基础张量代数、信息论、反向传播与 Scaling Laws
02分词与输入表示子词切分(BPE/Unigram)与词嵌入空间
03核心模型架构Transformer、注意力机制、RoPE、FFN、MoE 与 SSM
04预训练与优化预训练目标、优化器、学习率调度、混合精度与数据工程
05分布式系统并行ZeRO/FSDP、张量/序列/流水线/专家并行与显存优化
06高效微调 (PEFT)SFT 指令微调、LoRA/QLoRA/DoRA 与参数高效适配
07对齐与强化学习RM、PPO、DPO 家族、GRPO 与可验证奖励推理 RL
08推理加速与压缩解码采样、KV Cache、FlashAttention、投机解码与量化蒸馏
09长上下文与 Agent长上下文外推、Test-Time Compute、RAG 与智能体编排
10多模态与评测安全VLM、语音对话、图像生成与评测安全
11经典模型整车解剖DeepSeek、LLaMA、Qwen、GPT/Gemma/Mistral 全栈架构权衡
12底层硬件与推理系统GPU Roofline、Triton 算子、NCCL 通信、Serving 调度与 RL 引擎
13机制可解释性与干预Superposition、SAE、电路发现、激活引导与知识编辑
核心模型架构

位置编码 RoPE/ALiBi

向注意力注入绝对或相对位置关系

该槽位词条(2)
位置编码演进:从绝对编码到 ALiBi 与 NoPE入门

对比绝对正弦、可学习位置编码、T5 相对偏置、ALiBi 线性偏置与无位置编码 NoPE 的数学机制与外推能力。

↑ 上游 2↓ 下游 2↔ 关联 2
旋转位置编码 RoPE 与长度外推全家桶进阶

推导 RoPE 复数旋转与远程衰减,剖析 PI、NTK-Aware、YaRN 与 LongRoPE 长度外推。

↑ 上游 2↓ 下游 5↔ 关联 1