Skip to content

LLM-Wiki大模型全栈算法百科

极简纸面排版 · 内容与框架完全解耦。覆盖 13 大分册、81 篇双模式词条(讲解模式含开篇概念定义与生活类比,技术 Wiki 含起源演进、数学推导与 PyTorch 实现),配原论文直链、悬停预览、右侧架构定位与双向知识图谱。

十三册知识体系速览(81 篇双模式词条) ​

分册主题范围核心代表词条
01 · 数学与理论基础张量代数、信息论、概率 ELBO、反向传播、μP 与 Grokking张量与低秩分解 · MLE 与 ELBO · μP 参数化 · Scaling Laws · Grokking 与双下降
02 · 分词与输入表示子词切分、词嵌入、离散多模态词元与无分词器架构BPE · WordPiece / Unigram · Embedding · VQ-VAE / FSQ / RVQ · 无分词器 BLT
03 · 核心模型架构Transformer 构件、前沿线性/扩散架构与稳定性微构件Self-Attention · MQA / GQA / MLA · RoPE · MoE · Mamba · Gated DeltaNet / TTT · 扩散 LLM · Gated Attention
04 · 预训练与优化训练目标、优化器、WSD、混合精度、合成数据与权重平均CLM / FIM / MTP · AdamW / Muon · WSD 调度 · BF16 / FP8 · 合成数据飞轮 · EMA / SWA / Soup
05 · 分布式系统并行大规模集群训练并行切分与显存优化ZeRO / FSDP · TP / SP / CP · DualPipe / EP · 重计算与通信重叠
06 · 高效微调与合并低成本适配、指令微调与免训练权重融合SFT 与 Packing · LoRA / DoRA / QLoRA · Prefix / Adapter / IA3 · 模型合并 TIES / DARE
07 · 对齐与强化学习人类偏好对齐、可验证推理 RL、Self-Play 与多轮 Agent RLORM / PRM · RLHF / PPO · DPO / SimPO · GRPO / RLVR · RFT / STaR / Self-Play · 多轮 Agentic RL
08 · 推理加速与压缩算子加速、KV 压缩、投机/约束解码与量化蒸馏FlashAttention · FlashDecoding · PagedAttention · KV 极限压缩 · 投机解码 · 语法约束 XGrammar · AWQ / GPTQ
09 · 长上下文与 Agent百万上下文、推理时扩展、RAG、记忆与编程 Agent长上下文与 NSA · CoT / MCTS · RAG / GraphRAG · 上下文工程 · Agent 长期记忆 · 编程 Agent 闭环
10 · 多模态与评测安全视觉语言对齐、全双工语音对话、扩散流匹配与评测安全VLM 原生多模态 · 语音大模型与全双工 · Diffusion / Flow / DiT · 评测与安全防御
11 · 经典模型整车解剖将全站零件组装为真实前沿模型的工程权衡全景DeepSeek-V2 / V3 / R1 · LLaMA 1→4 演进 · Qwen 2.5 / 3 / QwQ · GPT / Gemma / Mistral
12 · 底层硬件与推理系统GPU Roofline、Triton 融合算子、集合通信、Serving 与 RL 引擎GPU 与 Roofline · Triton 自定义算子 · NCCL 与 DeepEP · 万卡容错与 Loss Spike · Serving 与 PD 分离 · 异步 RL 引擎 veRL
13 · 机制可解释性与干预打开 Transformer 黑盒:单义特征、神经电路、激活引导与知识编辑叠加态与 SAE · Induction Head 电路 · 表征工程与激活引导 · ROME 知识编辑与遗忘