Skip to content

全局词条关系知识图谱 ​

本图谱自动解析全站所有算法词条的 YAML 关系元数据,并执行双向依赖补全。实线箭头代表上游依赖 → 下游演进/应用方向,紫色虚线代表横向对比/协同关系。

  • 单击节点:高亮其直接上游、下游与关联词条链路,并在右侧检视详情。
  • 双击节点:直接跳转至该算法词条正文。
基础分词核心架构预训练并行微调对齐推理Agent多模态整车剖析系统算子可解释性多轮 Agentic RDPO 偏好优化家族GRPO 与 RLVR奖励建模 RMRFT 与 Self-PRLHF 与 PPO扩散语言模型FFN与SwiGLU线性注意力与TTT稀疏混合专家MoEMQA/GQA/MLA归一化机制位置编码全景残差连接演进RoPE与外推自注意力/MHASSM与Mamba数值稳定性构件Transformer架数据并行与ZeRO训练显存与通信优化流水线与专家并行张量、序列与上下文并行LoRA 与 QLoRA模型合并与融合PEFT 全景与统一监督微调 SFT反向传播与初始化涌现、Grokking 信息论基础线性代数与张量μP参数化概率推断与 ELBO缩放定律自回归解码策略FlashAttentiFlashDecodinKV Cache 极限压KV Cache 与分页知识蒸馏与剪枝模型量化技术投机解码结构化约束解码神经电路与诱导头知识编辑与机器遗忘表征工程与激活引导叠加态与SAEDeepSeek 全栈架GPT、Gemma 与 LLaMA 架构演进史Qwen 与 QwQ 架语音大模型与全双工扩散与流匹配生成评测体系与安全对齐视觉语言模型 VLM权重平均与退火融合预训练数据工程学习率调度与稳定性混合精度训练预训练目标函数大模型优化器合成数据与防坍塌Agent 与工具调用编程 Agent上下文工程思维链与推理扩展长上下文建模Agent 长期记忆检索增强生成 RAG集合通信与 DeepEP集群容错与 CheckpGPU Roofline异步 RL 训练引擎推理服务调度Triton 与算子融合字节级 BPE无分词器与 BLT词嵌入与语义几何离散多模态分词器分词器总览WP/Unigram
核心模型架构2021

旋转位置编码 RoPE 与长度外推全家桶

推导 RoPE 复数旋转与远程衰减,剖析 PI、NTK-Aware、YaRN 与 LongRoPE 长度外推。

↑ 上游前置 (2)
↓ 下游演进 (5)
↔ 横向关联 (1)