外观
概念定义 · 什么是预训练数据工程?
大模型界有一句铁律:Garbage In, Garbage Out(喂进去垃圾,吐出来就是垃圾)。原始互联网网页里充斥着广告模板、重复拷贝、乱码和低质水文,直接喂给模型只会白烧算力。
预训练数据工程 就是把 PB 级原始语料炼成高纯度训练燃料的全套流水线:包括规则清洗、精确与模糊去重(MinHash LSH)、用小模型打分筛出教科书级语料(如 FineWeb-Edu)、科学调配中英/代码/数学的领域比例(DoReMi),以及在训练最后退火阶段注入超高含金量数据冲刺上限。
01 问题从何而来:为什么说“数据决定大模型的上限”?
当今天几乎所有顶级开源和闭源模型都在用大同小异的 Transformer + RoPE + SwiGLU 架构,且单个 7B–70B 模型动辄吃下 15T 到 36T Tokens 时,业界越来越清楚一个残酷现实:模型架构的差异正在收窄,真正拉开智能代差的,是你到底给模型喂了什么菜。
互联网上的原始语料(比如 Common Crawl 网页快照)动辄上百 TB,可你只要随手打开一百个原始网页看看,就会倒吸一口凉气:里面塞满了电商重复模板、SEO 关键词垃圾堆、弹窗 Cookie 提示、机翻乱码,还有成千上万份一字不差互相抄袭的营销号。更糟糕的是,Deduplicating Training Data (2022) ↗ 证明:哪怕语料里只有 0.1% 的网页被反复复制了几百遍,也会在 缩放定律 上产生类似“把模型参数砍掉一半”的灾难性退化,因为模型全去死记硬背这些复读机了。
类比 · 酿造顶级单麦芽威士忌的四重蒸馏
预训练数据工程就像把一仓库夹杂泥沙、杂草与霉变谷物的原粮,一步步酿成顶级威士忌的漏斗流水线:
- 粗筛网(启发式过滤):先按规则把明显腐烂的谷壳、乱码和垃圾广告一眼踢出局;
- 指纹查重(精确 + MinHash LSH 去重):把换了个发布日期就到处转帖的“换皮复读机”统统合并成一份;
- 大师品鉴(模型质量分类器):规则分不清“文笔通顺但毫无营养的娱乐八卦”和“富含推导的物理教材”,于是请最强 LLM 蒸馏出的轻量品鉴师给全网打分,挑出干货;
- 调酒与陈酿(DoReMi 配比 + 退火注入):精确调配网页、代码、数学与书籍的黄金比例,并在出桶前最后 10% 算力里注入最顶级的精华原液!
核心设问
面对几百亿篇网页,怎么在有限 CPU/GPU 成本下以近线性速度把“几乎一样但差几个字”的网页找出来去重?怎么自动算出网页、代码、数学该各占百分之多少,而不是靠研究员拍脑袋猜?
02 核心直觉与生活类比:MinHash 抽签与 DoReMi 偏科诊断
在整条数据流水线里,最巧妙的两个算法思想莫过于海量模糊去重(MinHash LSH) 与自动域配比(DoReMi)。
类比 · MinHash + LSH:怎么不用两两比对,在一百亿篇文章里秒抓“抄袭换皮”?
如果要对 100 亿篇网页两两算文本重叠度,计算量是
可两两比对 112 维指纹还是
想想概率:两篇只差几行页脚的抄袭网页(相似度 0.9),单段 8 个数全撞的概率是
类比 · FineWeb-Edu 与 DoReMi:挑出“有营养的菜”,再专治“能提分的偏科”
去完重之后,FineWeb-Edu (2024) ↗ 先抽 50 万篇网页让 Llama-3-70B 按“教育与知识价值”打 0–5 分,再把这份打分能力蒸馏给一个小巧的编码器模型,低成本扫完 15T 网页,只留高分精华——结果同等算力下,模型在 MMLU、GSM8K 上直接省出一半以上预训练算力。
而 DoReMi (2023) ↗ 解决“各类数据该配多少比例”的方法更像请了一位名师盯考卷:它先用一个 280M 小模型按默认比例训一个参考基准,再训一个同尺寸代理模型,盯着每个领域(网页、代码、数学、论文)上 “代理模型比参考模型多出来的超额损失”。
- 为什么不直接挑总 Loss 最高的域?因为乱码网页总 Loss 也很高,但它根本学不会(参考模型也高,一相减超额损失为 0);
- 只有那些“参考模型能学会、但当前配比还没吃饱”的高价值域(如代码、数学、维基),超额损失才高,DoReMi 就会自动抬高它们的权重,最后把小模型摸出来的黄金配方直接搬给千亿大模型!
03 把关键公式读成人话
先看 MinHash LSH 把模糊相似度变成陡峭门槛的 S 型碰撞概率公式:
把 LSH 碰撞公式读成直觉:-
是单个波段内 个哈希值同时相等的概率; 是 个波段全部没撞上的概率;用 减去它,就是“至少有 1 个波段撞车、被抓为重复候选”的概率; - 拐点
像一道锋利的滤网(如 FineWeb 取 时 ):高于 几乎必被揪出,低于 几乎绝不误伤。
再看 DoReMi 动态调整各域采样权重
把 DoReMi 公式读成直觉:括号里的
04 它在模型里怎么工作 & 与上下游的关系
数据流水线绝不是离线跑完就扔进硬盘的孤立脚本,它和训练全流程深度咬合:
- 上游受限于缩放律,中游对接分词与打包:清洗配比后的文本经过 分词器 编码,再按 预训练目标函数 的需求执行文档打包(Sequence Packing)和代码 FIM 重排。特别是要做 长上下文建模 时,绝不能把风马牛不相及的网页瞎拼成 128K,而是用语义检索聚类或按同一 GitHub 代码仓库依赖关系打包,才能真正教会模型长程关联。
- 与学习率退火形成最强组合拳:在 WSD 学习率调度 进入最后 5%–15% 退火下降窗口时,数据管线会同步切到 Annealing 精英配比——把最稀缺的教材、竞赛数学、高分推理链集中喂给模型,用极小算力撬动下游核心指标大涨。
- 守住评测公正与安全底线:入库前的 PII 脱敏、毒性过滤与 13-gram 评测集去污染(Decontamination),直接决定了后续 评测基准与安全对齐 的可信度——绝不能把 MMLU 或 GSM8K 原题漏进训练集自欺欺人。
05 演化对比与避坑备忘
| 处理环节 | 核心工具 / 算法 | 干掉了什么垃圾 | 典型淘汰比例 |
|---|---|---|---|
| 启发式过滤 | C4 / Gopher 规则、DataTrove | 乱码、广告页、Cookie 模板、异常词长 | 40%–60% |
| 精确去重 | xxHash / Suffix Array | 完全拷贝页面、模板页脚、精确重复段 | 20%–40% |
| 模糊去重 | MinHash LSH + 并查集 | 仅改了日期/评论数的近似换皮网页 | 30%–50% |
| 模型质量打分 | FineWeb-Edu / DCLM ↗ 分类器 | 行文通顺但毫无知识含量的水文八卦 | 70%–90% |
| 域配比与退火 | DoReMi + Annealing 课程 | 网页/代码/数学偏科,末期冲刺推理上限 | 精选 Top 1%–5% |
工程落地中,数据团队最容易踩的三个隐蔽大坑:
- 拿英语网页规则去洗代码和数学,把顶级语料全误杀了:自然语言规则常把“标点太多、短行太多、大写字母太多”的文档当成垃圾广告,可 Python 代码和 LaTeX 数学论文满篇都是缩进、括号和符号!Web、Code、Math、Paper 必须各自走独立的清洗规则。
- 质量分类器卡得太死,洗出个“只会背百科的呆瓜”:如果只留分类器打分最高的 Top 2% 教材类文本,学术跑分会很好看,但模型会丧失日常对话感、创意写作和长尾生活常识。现代做法是按分数分桶加权上采样,而非极端一刀切。
- 合成数据“左脚踩右脚”引发模型坍塌(Model Collapse):让大模型反复吃自己生成的纯合成数据,分布尾部会一代比一代萎缩,最后输出变得呆板且充满幻觉。高质量合成数据必须始终锚定真实多样的高质量种子文档做条件改写,并和真实语料保持健康混比。
需要查阅完整万亿级数据工程 Mermaid 漏斗图、FineWeb 快照级去重洞察以及可运行的
MinHashLSHDeduplicator与DoReMiWeightUpdater代码?按快捷键M或点击顶部技术 Wiki随时切换。
随着 Chinchilla(参见 缩放定律)之后的预训练迈入“过度训练(Over-training)”时代——主流 7B–70B 模型动辄吞吐 15T 至 36T Tokens——行业已形成高度共识:架构红利趋近收敛,预训练数据的质量、多样性与课程编排才是决定模型上限的第一生产力。从包含数百 PB 噪声的原始 Common Crawl 网页快照,到经 分词器 编码后送入 预训练目标函数 的十万亿级“高营养”语料,背后是一整套高度工程化、算法化的多级漏斗流水线。
直观理解
预训练数据工程就像酿造顶级单麦芽威士忌的蒸馏过程:原始互联网网页如同夹杂泥沙、杂草与腐败谷物的原粮,必须先用启发式筛网筛掉乱码与垃圾广告;再用指纹去重(MinHash LSH) 剔除成千上万份复制粘贴的模板页面;接着请大模型品鉴师(质量分类器) 挑出具备深度教育价值与逻辑推演的精华;最后像调酒师(DoReMi 与退火课程) 一样,精确调配网页、代码、数学与百科的黄金比例,并在出桶前的最后退火阶段注入最顶级的陈酿。
问题动机与演进背景
- 原始网页的“垃圾进、垃圾出”困境:Common Crawl 每次抓取包含数十亿网页,其中充斥着 SEO 关键词堆砌、导航栏菜单、自动翻译乱码、色情赌博广告以及海量重复的电商模板。若不经清洗直接训练,模型算力将被大量消耗在拟合无意义噪声上。
- 重复数据破坏泛化并加剧记忆泄露:Lee et al. (2022) 与 Hernandez et al. (2022) 证明,即便仅有 0.1% 的高重复语料被反复看到上百次,也会在 Scaling Law 上造成类似模型参数量缩水一半的灾难性退化(Double Descent / Memorization 效应),同时显著放大隐私信息泄露风险。
- 从静态规则过滤走向“模型驱动筛选 + 阶段课程”:早期流水线(C4、Gopher、RefinedWeb)主要依赖人工启发式规则和 n-gram 去重;但规则难以区分“流畅但毫无营养的明星八卦”与“富含逻辑推理的教材科普”。2024 年起,FineWeb-Edu / DCLM 利用前沿 LLM 蒸馏出轻量分类器对万亿级网页打分,DoReMi 实现了数据域权重的自动化优化,而 Annealing(退火期高质量数据注入) 更是成为开源与闭源顶级模型在最后 5%–10% 算力内冲刺核心基准的制胜法宝。
核心原理与数学推导
1. 文本抽取与多级启发式过滤(Heuristic Filtering)
在从 WARC/WET 网页档案抽取正文(如 Trafilatura)与语种识别(FastText)后,流水线会执行两类低成本 CPU 过滤:
- 文档级统计过滤(Gopher / C4 规则):过滤词数过短/过长、平均词长异常(如中文/英文乱码)、标点符号比例畸形、全大写字母比例过高、包含高频“JavaScript / Cookie 提示”或敏感词的页面。
- 重复度启发式过滤:检测文档内重复行占比、重复段落占比以及 Top-
-gram 字符占比(例如若单一 5-gram 占据全文超过 15% 字符,通常是爬虫死循环或机械复读)。
2. 精确去重与 MinHash LSH 模糊去重
针对海量文档间的跨文档重复,通常组合两级去重:
精确去重(Exact Deduplication):对文档、段落或连续
行计算 SHA-256 / xxHash 哈希值,或构建全局后缀数组(Suffix Array)剔除长度超过 50 Token 的精确重复子串。 模糊去重(Fuzzy Deduplication via MinHash LSH):网页常仅因时间戳、评论数或页脚广告不同而无法触发精确匹配。将文档表示为
-shingle(如 5-gram 词组)集合 ,以 Jaccard 相似度 衡量近似程度: 对
篇文档两两计算 Jaccard 复杂度为 ,完全不可行。MinHash 使用 个独立随机哈希函数 (典型 ),提取每篇文档的最小哈希签名向量 ,其核心数学性质为: 为进一步将查询复杂度降至近似
,局部敏感哈希(LSH) 将长度 的签名切分为 个波段(Bands),每个波段含 行(如 FineWeb 采用 )。只要两篇文档在任意一个波段内全部 个哈希值完全一致,就被投入同一桶作为候选重复对。候选碰撞概率呈陡峭的 S 型曲线: 其中
为阈值拐点(当 时 ):相似度高于 的近似网页碰撞概率逼近 100%,而低于 的无关网页碰撞概率几乎为 0。最后通过并查集(Union-Find)将连通分量缩减为单篇代表文档。
3. 模型驱动质量分类器(FineWeb-Edu 与 DCLM)
启发式规则和困惑度过滤(KenLM)偏好“行文刻板的常见文本”,容易误删高质量数学推导或代码,同时放过通顺的营销软文。FineWeb-Edu 提出了一套可扩展的合成标注范式:
- 从去重后的网页中随机抽样约 50 万篇样本;
- 利用强 LLM(如 Llama-3-70B-Instruct)配合明确评分 Rubric,对每篇文档的“教育与知识密度”进行 0–5 分打分;
- 用这批标注数据微调一个极轻量的编码器分类器(如 Snowflake-arctic-embed-m 或 FastText 分类器),随后以极低 GPU/CPU 成本对 15T Tokens 全量语料推理打分;
- 仅保留预测分数
的高质量子集(约占原语料的 8%–10%)。实验表明,在同等训练 Token 下,FineWeb-Edu 可将 MMLU、ARC 与 GSM8K 等知识推理指标提升数个百分点,相当于节省超过 50% 的预训练算力。
4. 多域数据配比优化(DoReMi)
预训练语料涵盖网页、代码、数学、论文、百科、书籍与多语言等
先按初始均匀/经验配比
训练一个参考模型(Reference Model) ; 使用 Group DRO(分布鲁棒优化) 训练同尺寸代理模型
,最大化“代理模型相对参考模型的超额损失(Excess Loss)”来动态抬高难学且信息量高(而非纯粹随机噪声)的域权重: 在每步迭代中通过指数梯度上升更新域权重
,再与均匀分布平滑插值防塌缩; 对全轨迹的
取时间平均得到最终配比 ,直接迁移至百亿级大模型正式预训练。
5. 课程学习与退火期高质量数据注入(Annealing / Mid-training)
现代超大规模预训练(Llama-3、MiniCPM、Qwen2.5、OLMo-2)普遍将训练划分为多阶段课程:
- 阶段一(通用基础主训):以宽覆盖网页、基础代码与通用知识为主,采用 WSD 学习率调度 稳态高学习率,塑造广博的世界模型;
- 阶段二(长上下文扩展 / Mid-training):逐步提高长文档(书籍、代码仓库级打包、学术论文)比例,配合 RoPE 基频缩放 与 长上下文建模 策略,将上下文窗口从 4K/8K 扩展至 32K/128K;
- 阶段三(退火期高质量注入 / Annealing):在 WSD 学习率急剧衰减的最后 5%–15% 训练 Token 中,大幅提高顶尖稀缺数据占比——包括精筛教材、高质量合成推理链、竞赛级数学/代码题以及部分经严格去污染后的指令格式数据(参见 评测基准与安全对齐)。由于此时模型处于快速坠入局部最优深谷的敏感窗口,高纯度数据能以极小 Token 成本带来惊人的下游能力跃升。
算法架构与数据流图
下图展示了万亿级大模型预训练数据工程的端到端漏斗流水线:
图表加载中...
复杂度与横向对比
| 数据处理环节 | 典型工具 / 算法 | 计算复杂度与资源特征 | 主要解决的问题 | 典型淘汰比例 |
|---|---|---|---|---|
| 启发式规则过滤 | DataTrove / Ray / C4-Gopher 规则 | 乱码、广告模板、导航页、异常词长 | 40%–60% | |
| 精确去重 | xxHash / Suffix Array | 完全拷贝页面、模板页脚、精确重复段落 | 20%–40% | |
| 模糊去重 | MinHash LSH + 并查集 | 近似 | 仅日期/评论/广告不同的近似网页副本 | 30%–50% |
| 模型质量过滤 | FastText / BERT-tiny (FineWeb-Edu) | 过滤低信息密度水文,富集推理与教育内容 | 70%–90% | |
| 域配比优化 | DoReMi / RegMix | 需训练数个小代理模型(占总算力不足 1%) | 避免人工盲调网页/代码/数学/论文比例 | 重加权(不直接删数据) |
| 退火数据注入 | 高分语料 + 合成教科书 + 长文 | 仅消耗总训练步数 5%–15% | 在低学习率窗口高效拉升知识与推理上限 | 精选 Top 1%–5% |
核心 PyTorch / Python 参考实现
下面给出完整可运行的 MinHash LSH 模糊去重核心算法 与 DoReMi 超额损失域权重更新器 实现:
python
import hashlib
import struct
from collections import defaultdict
import torch
import torch.nn.functional as F
class MinHashLSHDeduplicator:
"""轻量可运行的 MinHash + Banded LSH 模糊文档去重器。"""
def __init__(self, num_bands: int = 14, rows_per_band: int = 8, shingle_size: int = 5):
self.b = num_bands
self.r = rows_per_band
self.num_perm = num_bands * rows_per_band
self.k = shingle_size
# 生成确定性的线性同余随机哈希参数 (a_i * x + b_i) mod P
self.prime = (1 << 61) - 1
gen = torch.Generator().manual_seed(2024)
self.a = torch.randint(1, self.prime - 1, (self.num_perm,), generator=gen, dtype=torch.int64).tolist()
self.c = torch.randint(0, self.prime - 1, (self.num_perm,), generator=gen, dtype=torch.int64).tolist()
def _shingles(self, text: str) -> set[int]:
tokens = text.lower().split()
if len(tokens) < self.k:
grams = [" ".join(tokens)]
else:
grams = [" ".join(tokens[i : i + self.k]) for i in range(len(tokens) - self.k + 1)]
# 将每个 k-gram 映射为 64-bit 稳定整数
return {struct.unpack("<Q", hashlib.blake2b(g.encode("utf-8"), digest_size=8).digest())[0] for g in grams}
def signature(self, text: str) -> list[int]:
shingles = self._shingles(text)
sig = [self.prime] * self.num_perm
for x in shingles:
x_mod = x % self.prime
for i in range(self.num_perm):
h = (self.a[i] * x_mod + self.c[i]) % self.prime
if h < sig[i]:
sig[i] = h
return sig
def deduplicate(self, docs: list[str]) -> list[int]:
"""返回去重后保留的文档索引(基于 LSH 碰撞分桶 + 并查集连通分量)。"""
parent = list(range(len(docs)))
def find(i: int) -> int:
while parent[i] != i:
parent[i] = parent[parent[i]]
i = parent[i]
return i
buckets: dict[tuple[int, tuple[int, ...]], int] = {}
for idx, doc in enumerate(docs):
sig = self.signature(doc)
for band_id in range(self.b):
band_key = (band_id, tuple(sig[band_id * self.r : (band_id + 1) * self.r]))
if band_key in buckets:
root_a, root_b = find(idx), find(buckets[band_key])
if root_a != root_b:
parent[max(root_a, root_b)] = min(root_a, root_b)
else:
buckets[band_key] = idx
# 每个重复簇仅保留最小索引的代表文档
return sorted({find(i) for i in range(len(docs))})
class DoReMiWeightUpdater:
"""DoReMi Group-DRO 多域配比动态权重更新器。"""
def __init__(self, num_domains: int, step_size: float = 1.0, smoothing: float = 1e-3):
self.K = num_domains
self.eta = step_size
self.c = smoothing
self.alpha = torch.full((num_domains,), 1.0 / num_domains) # [K]
self.history: list[torch.Tensor] = []
@torch.no_grad()
def update(self, proxy_losses: torch.Tensor, ref_losses: torch.Tensor) -> torch.Tensor:
# proxy_losses: [K] 当前代理模型各域平均交叉熵
# ref_losses: [K] 固定参考模型各域平均交叉熵
excess_loss = (proxy_losses - ref_losses).clamp(min=0.0) # [K] 超额损失截断非负
log_alpha = torch.log(self.alpha.clamp(min=1e-12)) + self.eta * excess_loss
new_alpha = F.softmax(log_alpha, dim=0)
# 与均匀分布平滑插值,防止某些域权重归零
self.alpha = (1.0 - self.c) * new_alpha + self.c / self.K
self.history.append(self.alpha.clone())
return self.alpha
def final_weights(self) -> torch.Tensor:
return torch.stack(self.history, dim=0).mean(dim=0)
if __name__ == "__main__":
docs = [
"large language models learn representations from trillions of web tokens during pretraining",
"large language models learn representations from trillions of web tokens during pretraining updated 2024",
"quantum mechanics describes physical properties of nature at the scale of atoms and subatomic particles",
]
dedup = MinHashLSHDeduplicator(num_bands=14, rows_per_band=8, shingle_size=3)
kept = dedup.deduplicate(docs)
print(f"原始文档数: {len(docs)} -> MinHash LSH 去重后保留索引: {kept}")
# 模拟 3 个域(网页、代码、数学)的 DoReMi 配比更新
updater = DoReMiWeightUpdater(num_domains=3, step_size=0.5)
for _ in range(5):
# 假设代码和数学域相对参考模型拥有更高的可学习超额损失
w = updater.update(proxy_losses=torch.tensor([2.1, 2.6, 2.8]), ref_losses=torch.tensor([2.0, 2.2, 2.3]))
print(f"DoReMi 平均域配比 [网页, 代码, 数学]: {[round(v, 4) for v in updater.final_weights().tolist()]}")工程实践与常见陷阱
工程实践
- 全局去重优于单快照局部去重:FineWeb 消融实验发现,对 96 个 Common Crawl 历史快照分别独立去重(Per-dump Dedup)再合并,往往比粗暴做跨 96 快照全局极严去重效果更好——后者容易过度删光高质量常青网页,反而降低了优质语料的自然权重;因此现代方案常结合“快照内严格去重 + 跨快照分层采样上限”。
- 基于文档聚类与语义打包提升长上下文质量:随机把毫无关联的网页拼接成 128K 序列并不能有效教会模型长程跨文档推理。In-Context Pretraining(ICLM) 与 BM25/向量检索聚类打包 将主题高度相关的多篇文档(或同一 GitHub 仓库的多个源码文件按依赖顺序)打包进同一训练序列,显著增强长程检索与代码仓理解能力。
- 严格的基准去污染(Decontamination):必须在入库前使用 10-gram / 13-gram 重叠检测或模糊子串匹配,彻底剔除包含 MMLU、GSM8K、HumanEval、MATH 等主流评测集测试题的网页,否则会导致内部评估严重失真,误导模型迭代方向。
常见陷阱
- 过度依赖质量分类器导致语料同质化(Mode Collapse):若将质量分类器阈值卡得过死(如只保留 Top 2% 类维基百科/教材风格文本),模型在学术基准上分数飙升,但对话自然度、创意写作、多语言及长尾领域常识会严重退化。应采取分桶加权采样而非一刀切硬丢弃。
- 合成数据闭环引发“模型坍塌(Model Collapse)”:多代模型持续在自身生成的合成数据上递归预训练会迅速抹平分布尾部,导致输出呆板且幻觉激增。合成数据必须始终以真实高质量种子文档(Seed Corpus) 做条件改写(如 Cosmopedia / Nemotron-CC 的 Rewriting),并与真实语料保持健康混合比例。
- 代码与数学语料被英语网页规则误杀:面向自然语言的 Gopher 标点比例、平均词长或短行过滤规则,会大面积误删包含大量缩进、括号与 LaTeX 公式的顶尖代码与论文。必须按域(Web / Code / Math / Paper)设计独立的清洗规则流水线。
延伸阅读与参考论文
- Rae, J. W., et al. (2021). Scaling Language Models: Methods, Analysis & Insights from Training Gopher. DeepMind. (arXiv:2112.11446 ↗)
- Lee, K., et al. (2022). Deduplicating Training Data Makes Language Models Better. ACL 2022. (arXiv:2107.06499 ↗)
- Xie, S. M., et al. (2023). DoReMi: Optimizing Data Mixtures Speeds Up Language Model Pretraining. NeurIPS 2023. (arXiv:2305.10429 ↗)
- Penedo, G., et al. (2024). The FineWeb Datasets: Decanting the Web for the Finest Text Data at Scale. NeurIPS 2024. (arXiv:2406.17557 ↗)
- Li, J., et al. (2024). DataComp-LM (DCLM): In Search of the Next Generation of Training Sets for Language Models. NeurIPS 2024. (arXiv:2406.11794 ↗)
- Dubey, A., et al. (2024). The Llama 3 Herd of Models (Section 3.1: Pre-training Data). Meta AI. (arXiv:2407.21783 ↗)