Skip to content

合成数据飞轮与 Model Collapse 防御:数据生成范式与方差坍缩定理

解析 Evol、Magpie 与验证合成飞轮,推导 Model Collapse 方差坍缩与防坍塌策略。

当前:讲解模式 — 侧重直觉建立、生活类比与分步拆解快捷键 M 切换
概念定义 · 什么是合成数据飞轮与 Model Collapse(模型坍塌)?

人类在互联网上写出的高质量公开文本总有一天会被大模型读完。合成数据(Synthetic Data) 就是让已有的强模型自己出题、解题、改写教材或生成代码,再把这些高质量“人工合成教材”喂给下一代模型训练,形成自我强化的数据飞轮。

但这条路藏着一个致命陷阱——Model Collapse(模型坍塌):如果模型盲目递归吃自己吐出来的未经筛选的输出,长尾知识和多样性会一代代萎缩,最终退化成只会说车轱辘话的复读机;解决之道在于用代码/数学验证器把关并始终混入真实人类数据。

01 问题从何而来:互联网快被大模型“吃干抹净”了,AI 吃自己的产出真的会变傻吗? ​

这几年大模型越训越大,预训练吞掉的数据量早已从几千亿词元飙升到几十万亿词元。行业里所有人都在直面一堵迫在眉睫的 “人类数据墙”:全人类几百年积累在公开互联网上的优质书籍、论文和高质量代码,快不够下一代模型塞牙缝了!

最直接的出路自然是让强模型自己写教材、编习题、造对话(即合成数据)。可刚一迈步,2024 年登上 Nature 封面级热议的论文(Shumailov et al., 2024 ↗)就泼了一盆冷水:如果放任 AI 世世代代只吃前一代 AI 生成的数据,就会触发可怕的 Model Collapse(模型坍塌)——先是忘掉所有小众知识和长尾细节,最后沦为只会复读胡话的复读机!

可奇怪的是,另一边像微软 Phi 系列、Llama 3、DeepSeek-R1 却都在疯狂使用海量合成数据,而且越训越聪明!这到底是怎么回事?

核心设问

一边是“AI 吃自己的数据必然坍塌”的严密数学定理,另一边是顶级大模型靠合成数据不断刷新上限的工业奇迹——两者之间的分水岭究竟在哪里?怎么把合成数据做成越滚越强的飞轮,而不是越吃越傻的毒药?

02 核心直觉与生活类比 ​

想彻底打通合成数据与防坍塌的任督二脉,只要记住下面三个极其传神的生活画面:

类比 · 类比一:为什么盲目自产自销会坍塌?——“复印机的十代失真”

拿一张色彩细腻、暗部有丰富纹理的高清风景照放进复印机:

  • 第 1 代复印件看起来还行,只是角落里最淡的那几缕云彩(概率分布的长尾稀有事件)没印清;
  • 你扔掉原图,拿第 1 代复印件再去印第 2 代,灰阶层次又丢了一截;
  • 这么只留最新一代、扔掉底片连续复印 10 次后,整张照片彻底变成了一团高对比度的模糊黑斑!

这就是 Model Collapse 的全部物理本质:哪怕每次采样在统计学上都是“无偏”的,有限样本的随机误差一代代连乘下去,稀有长尾事件一旦在某一代没被抽中就永久灭绝了,最终整个分布的方差必然不可逆地塌缩为零。

类比 · 类比二:为什么顶级合成飞轮不会坍塌?——“底片常留 + 验钞机提纯”

既然知道了死穴在哪,现代数据工程师直接祭出两把铁锁彻底打破魔咒:

  1. 绝不扔掉原底片(积累而非替换):永远把真实人类语料当底座锁死,新合成的高质量语料是追加混合进去,而不是取代真实数据;
  2. 引入物理“验钞机”(外部验证注入新信息):让模型写一万道数学解法或 Python 代码,全部塞进 SymPy 和隔离沙箱里实跑一遍——错的统统枪毙,只留通过严格检验的真金!这相当于从客观物理与逻辑世界注入了全新信息,学生完全可以青出于蓝!
类比 · 类比三:怎么让合成数据摆脱“AI 八股味”?——“十亿人格与反向掏口袋”

直接对大模型喊“帮我出 10 万道题”,它写到第 500 道就开始疯狂重复套话。为了撑开多样性,研究者发明了三招绝活:

  • Evol-Instruct 深度进化(Xu et al., 2023 ↗):像给题目打游戏升级一样,强行给简单题加约束条件、增加多步推理或跨界换场景;
  • Persona Hub 十亿人格打光(Chan et al., 2024 ↗):给模型分配 10 亿个不同职业与性格画像(比如“精通量子光学的德国专利律师”),让每个角色按自己的独特视角出题与写教材;
  • Magpie 反向掏口袋(Xu et al., 2024 ↗):脑洞大开地只给对齐模型敲一个对话开头标签 <|user|> 而不写任何提示词,利用模型自回归惯性,直接把它脑子里潜藏的五花八门真实提问全“掏”出来!

03 把关键公式读成人话 ​

Nature 论文里最震撼人心的证明,其实只用了一个最基础的高斯分布就能看穿。假设真实数据服从 N(μ,σ2),如果每代都只用上一代采样出的 M 个样本重新估算均值 μ^n 和方差 σ^n2:

σ^n2=σ2∏k=1nZkM−1,Zk∼i.i.d.χM−12

两边取对数,套用高中都听过的凸凹性不等式(Jensen 不等式):

E[ln⁡ZkM−1]<ln⁡E[ZkM−1]=ln⁡1=0⟹σ^n2→n→∞a.s.0

把公式读成直觉:这行公式藏着一个反直觉的数学陷阱:虽然每一代单看,样本方差的算术平均期望都正好等于上一代(完全无偏),但多代叠加是连乘!而乘法的长期宿命要看几何平均(对数的期望)——由于对数函数是严格上凸的,每次随机波动都会让对数均值稳定往下掉一小截(严格小于 0)。只要不断丢弃旧数据、纯靠递归替换,经过足够多代后,模型输出的多样性方差必然以 100% 的概率归零!

而 Gerstgrasser 等人(2024 ↗)的破局证明同样优雅得令人拍案:

Dn=Dreal∪Dsyn(1)∪⋯∪Dsyn(n)⟹测试误差上界∝∑k=1n1k2<π26<∞

把公式读成直觉:只要把训练协议从“每代替换旧数据”改成“每代把新数据积累到真实数据底库里”,历代采样误差就被不断稀释进越来越庞大的底库中,总误差像经典级数 ∑1/k2 一样死死锁在有限天花板以内,彻底破解递归诅咒!

04 它在模型里怎么工作 & 与上下游的关系 ​

一套能够持续自转而不坍塌的工业级合成数据飞轮,每天都在严格执行四道防线:

  1. 真实种子锚定:从海量清洗后的真实网页、教科书目录或 10 亿角色库抽样出发点,确保话题分布贴近真实人类世界;
  2. 异构高温生成:调动多个不同家族的强模型在适度高温下并行生成,避免单一模型口癖垄断语料;
  3. 外部验钞机过筛:代码题一律进沙箱跑单测、数学题一律过 SymPy 符号校验、开放文本过质量分类器与语义去重,绝不让幻觉废料混进训练库;
  4. 累积式混合投喂:始终保留高比例原始真实语料当压舱石,将验证通过的高纯度合成数据追加汇入训练集,反哺下一代更强模型。

在现代大模型工业栈里,这条飞轮已经贯穿了从预训练数据工程到后训练的每一寸毛细血管:

  • 向上破局标度律数据墙:在预训练后期(Mid-training / 冷却退火阶段),用 Cosmopedia(2024 ↗)与 Phi-1(Gunasekar et al., 2023 ↗)式的“教科书改写语料”大幅提纯知识密度,让小模型也能爆发惊人推理力;
  • 中游供给大规模 SFT:Self-Instruct(2022 ↗)、Evol-Instruct、Magpie 与 Persona Hub 彻底取代了昂贵缓慢的纯人工写指令;
  • 下游与 RFT 自博弈、GRPO-RLVR 及 知识蒸馏 闭环咬合:前沿推理模型(如 DeepSeek-R1)在强化学习中涌现出的海量高质量长思维链,经过规则验证器清洗后反哺合成数据池,既能给下一代基座模型做退火提分,又能直接把 671B 大脑的推理精华蒸馏灌进 7B 小模型里!

05 演化对比与避坑备忘 ​

合成策略代表方案适用阶段防坍塌核心保障
指令进化Self-Instruct / Evol-InstructSFT人工种子 + 深度广度变异 + 语义去重
零种子/人格驱动Magpie / Persona Hub大规模通用 SFT & 造题利用强模型潜分布与 10 亿角色撑开多样性
教科书改写Phi-1 / Cosmopedia预训练 & 冷却退火以海量真实网页为主题锚点,不脱离现实底库
执行验证合成沙箱代码 / SymPy 数学 RFT推理强化 & 蒸馏外部客观验证器强过滤,突破教师能力上限

搭建自己的合成数据管线时,四个高频翻车点务必提前设防:

  1. 千万别为了“稳妥”把生成温度拧太低:很多人为了怕模型写错字,合成数据时强行设 temperature=0.2——这等于亲手砍掉了概率长尾,让你在一代之内就提前体验“早期坍塌”(满屏都是“总而言之、综上所述”的 AI 八股味)。正确做法是放开高温保多样性,靠后置验证器和打分器做质检。
  2. 死守真实语料底线,把高比例合成留给退火期:从头到尾 100% 吃纯合成语料极易丢失真实世界的长尾常识与口语鲁棒性;工业界最稳妥的配方是主预训练期保住 70%~90% 真实清洗语料,把高纯度合成教科书与验证推理链集中在最后的冷却退火期注入。
  3. 严防隐蔽的评测集污染:强教师模型自己背过公开考试题,用它生成的练习题很容易把原题改头换面塞进你的训练集,导致跑分虚高、实战露馅。出库前务必做 N-gram 与语义近邻去污染检查(见评测与安全)。
  4. 长期监控词汇熵与语义聚类覆盖率:定期给新合成语料做分布体检,一旦发现主题聚堆或句式熵值连续下滑,立即补充全新真实种子或切换异构生成模型。

想查阅 Model Collapse 完整随机游走与几乎必然坍缩推导、合成飞轮系统架构图,以及可直接运行对比 replace / mix_real / accumulate 三种策略的 Python 模拟代码?按快捷键 M 或点击顶部 技术 Wiki 即可切换。

随着前沿大语言模型预训练语料迅速突破数十万亿词元,公开互联网上的高质量人类原生文本正逼近耗尽(即“人类数据墙”)。合成数据飞轮(Synthetic Data Flywheel) 通过利用强模型生成教科书级预训练语料、多样化指令对以及经沙箱验证的长推理链,成为打破标度律数据瓶颈的核心引擎。然而,盲目使用模型输出递归训练下一代模型会触发灾难性的 Model Collapse(模型坍塌)(Shumailov et al., Nature 2024 ↗)——尾部小众知识被迅速抹除,分布方差不可逆地萎缩为零。理解“如何大规模合成高密度语料”与“如何在数学上阻断模型坍塌”,是现代大模型数据工程与后训练体系的核心命题。

直观理解

把一张高清照片反复用复印机“复印—再拿复印件去复印”,只需十代,细节、灰阶与暗部纹理就会全部丢失,最后只剩一团模糊的黑白块——这就是无约束递归替换引发的 Model Collapse。而真正健康的大模型合成数据飞轮绝不是闭门复印,而是 “留存高清原底片(数据积累而非替换)+ 引入物理验钞机(代码执行器/数学符号验证器)+ 跨视角多样化打光(Persona/主题引导)”,借此持续榨取超越原始杂乱网页的“提纯知识密度”。

起源背景与演进脉络 ​

大语言模型合成数据技术沿两条主线飞速演进:一是面向指令微调的多样性激发,二是面向预训练与推理的知识密度提纯与验证闭环:

  1. 种子提示自举(Self-Instruct → Evol-Instruct,2022–2023):Self-Instruct(Wang et al., 2022 ↗)首次以 175 条人工种子指令撬动模型批量生成数万条指令;WizardLM / Evol-Instruct(Xu et al., 2023 ↗)进一步引入“深度进化(加约束、增推理步、具体化)”与“广度进化(跨领域变异)”算子,彻底告别简单问答模板。
  2. 教科书级合成预训练(Phi-1 → Cosmopedia,2023–2024):微软 Phi-1(Gunasekar et al., 2023 ↗)证明“高质量合成教科书与习题”能以小一个数量级的参数与语料追平庞大通用模型;Hugging Face 开源的 Cosmopedia(Ben Allal et al., 2024 ↗)则通过数千万细分网页种子与受众/文体提示,生成了超 250 亿词元的合成教材与百科语料。
  3. 无种子直接抽取与十亿人格驱动(Magpie & Persona Hub,2024):Magpie(Xu et al., 2024 ↗)巧用对齐模型对话模板的前缀机制——仅输入 <|start_header_id|>user<|end_header_id|> 而不给任何种子,即可利用模型内部潜藏的指令分布高通量采样出极具多样性的真实用户提问;Persona Hub(Chan et al., 2024 ↗)则构建了 10 亿级细粒度角色画像(如“熟悉量子光学的德国专利律师”),通过人格条件化将合成数据的视角覆盖率推向极致。
  4. 执行验证驱动的推理飞轮与坍塌防御(2024–2025):Shumailov 等人(2024 ↗)在 Nature 正式确立 Model Collapse 定理后,Gerstgrasser 等人(2024 ↗)迅速证明“积累(Accumulate) 真实与合成数据”而非“替换(Replace)”即可打破坍塌魔咒;工业界更将代码沙箱执行、SymPy 数学验证与形式化证明器嵌入合成管线,结合 RFT 拒绝采样 与知识蒸馏,让合成数据成为提升推理上限的永动机。

核心原理与数学推导 ​

1. Model Collapse 的严格数学证明(高斯分布迭代方差坍缩) ​

设原始真实数据服从一维高斯分布 X0∼N(μ,σ2)(多维情形同理推广至 Wishart 协方差矩阵)。考虑最危险的纯递归替换(Replace)协议:在第 n 代,从上一代估计出的模型分布 N(μ^n−1,σ^n−12) 中独立采样 M 个合成样本 {Xn,1,…,Xn,M},并仅用这批合成样本做无偏极大似然估计,得到下一代参数:

μ^n=1M∑j=1MXn,j,σ^n2=1M−1∑j=1M(Xn,j−μ^n)2

由抽样分布经典定理(参见信息论与概率基础),给定第 n−1 代参数,条件分布满足 μ^n∣μ^n−1,σ^n−12∼N(μ^n−1,σ^n−12M) 且 (M−1)σ^n2σ^n−12∼χM−12。

利用递归拆解与自由度缩减,可以精确推导出经过 n 代递归训练后,均值偏离的方差与单代方差的随机演化规律:

  1. 均值随机游走漂移(Mean Drift):每代均值叠加一个独立噪声 εk,总偏离方差随代数累积膨胀:
Var(μ^n−μ)=σ2∑k=1n1M⋅(M−1M)k−1(若采用 MLE 估计 1M 分母)

若使用无偏样本方差(期望恒为 σ2),单步均值偏移的方差严格满足 Var(μ^n−μ)=nMσ2→n→∞∞!

  1. 方差必然坍缩至零(Almost Sure Variance Collapse):对无偏估计 σ^n2=σ2∏k=1nZkM−1(其中 Zk∼i.i.d.χM−12),两边取对数并利用严格凹函数 ln⁡(⋅) 的 Jensen 不等式:
E[ln⁡ZkM−1]<ln⁡E[ZkM−1]=ln⁡1=0

记负漂移常数 cM=E[ln⁡ZkM−1]<0,由大数定律立刻得出:

ln⁡σ^n2=ln⁡σ2+∑k=1nln⁡ZkM−1→n→∞a.s.−∞⟹σ^n2→n→∞a.s.0

物理推论:即使每一代都采用统计无偏估计、且不存在任何神经网络近似误差,有限样本采样噪声的连乘效应仍会以概率 1 驱动模型方差指数级坍缩至 0!在离散词表语言模型上,这一过程表现为:

  • 早期坍塌(Early Collapse):长尾稀有事件(生僻概念、小众文化、罕见边界条件)因单代抽中概率极低而被瞬间截断清零,模型变得“平庸、刻板、千篇一律”;
  • 晚期坍塌(Late Collapse):由于函数近似误差与采样截断(如低温 Top-p 解码)叠加,多峰分布迅速合并为单一尖峰,模型陷入重复乱码与灾难性退化。

2. 打破 Model Collapse 的三大数学破局机制 ​

  1. 数据积累协议(Accumulate, Don't Replace):Gerstgrasser 等人(2024 ↗)证明,若第 n 代训练集不是替换旧数据,而是保留原始真实数据并与历史数据累积 Dn=Dreal∪Dsyn(1)∪⋯∪Dsyn(n),测试误差将收敛到一个严格有界的有限上界(类似级数 ∑k=1∞k−2=π26<∞),绝不发散坍塌!
  2. 外部不可伪造验证器注入新信息(Verifier-Guided Selection):单纯自回归采样受信息论数据处理不等式(Data Processing Inequality) 约束,无法凭空创造香农信息;但一旦引入代码编译器、单元测试沙箱、数学符号求解器(SymPy/Lean) 等外部真值裁判对合成样本做拒绝过滤(参见 RFT),系统就从外部物理/逻辑世界注入了全新的互信息,使筛选后分布的真实任务精度高于生成器自身。
  3. 条件化多样性锚定与高温去重:通过 Persona Hub、真实网页片段改写(Rephrasing)与跨模型集成(多异构教师模型混合生成),结合语义嵌入去重(MinHash / Embedding Clustering),强行维持语料分布的高熵与长尾覆盖。

合成数据飞轮与防坍塌架构图 ​

图表加载中...

主流合成数据范式横向对比 ​

合成范式核心驱动机制主要应用阶段多样性来源防坍塌能力与核心短板
Self-Instruct / Evol-Instruct种子提示 + 深度/广度改写算子SFT 指令微调人工种子 + 进化规则易受限于教师模型文风;需严格去重防模板化
Magpie (2024 ↗)仅喂入对话角色前缀反向采样指令大规模通用 SFT强对齐模型内在分布零种子成本、吞吐极高;依赖强开源对齐教师
Persona Hub (2024 ↗)10 亿级细粒度角色画像条件生成预训练 + SFT + 数学题跨职业/跨背景人格空间极大缓解视角趋同;需控制角色与任务的相关性
Cosmopedia / Phi 教科书网页主题簇改写为结构化教材与例题预训练 / 退火(Mid-training)海量真实网页主题种子极高知识密度;易损失真实对话口语与长尾噪声鲁棒性
执行验证合成(RFT / 沙箱)多路采样 + 编译器/单元测试/SymPy 筛选推理 SFT / 蒸馏 / 预训练退火多路径思维链 + 真实题库唯一可突破教师上限的闭环;仅限可验证领域

核心 Python 模拟实现:高斯分布递归坍塌 vs 累积混合防御 ​

下面通过简洁可运行的 Python 代码,直观复现 Shumailov 等人(2024)的纯替换递归方差坍塌,并对比 Gerstgrasser 等人(2024)的积累真实数据(Accumulate) 防坍塌数学效果:

python
import numpy as np


def simulate_model_collapse(
    n_generations: int = 40,
    sample_size: int = 200,
    true_mu: float = 0.0,
    true_sigma: float = 1.0,
    mode: str = "replace",   # "replace" | "mix_real" | "accumulate"
    real_mix_ratio: float = 0.2,
    seed: int = 42,
):
    """模拟多代合成数据递归训练下的均值漂移与方差坍缩过程。"""
    rng = np.random.default_rng(seed)
    real_pool = rng.normal(true_mu, true_sigma, size=sample_size)
    history_pool = [real_pool]

    mu_hat, sigma_hat = real_pool.mean(), real_pool.std(ddof=1)
    records = [(0, mu_hat, sigma_hat ** 2)]

    for gen in range(1, n_generations + 1):
        syn_batch = rng.normal(mu_hat, max(sigma_hat, 1e-8), size=sample_size)

        if mode == "replace":
            # 危险模式:完全丢弃真实与历史数据,仅用上一代合成样本训练
            train_data = syn_batch
        elif mode == "mix_real":
            # 防御模式 A:每代强制混入固定比例的原始真实数据
            n_real = int(sample_size * real_mix_ratio)
            real_sub = rng.choice(real_pool, size=n_real, replace=True)
            train_data = np.concatenate([real_sub, syn_batch[: sample_size - n_real]])
        elif mode == "accumulate":
            # 防御模式 B:保留原始真实底库并累积历代数据(Gerstgrasser et al., 2024)
            history_pool.append(syn_batch)
            train_data = np.concatenate(history_pool)
        else:
            raise ValueError(f"Unknown mode: {mode}")

        mu_hat = train_data.mean()
        sigma_hat = train_data.std(ddof=1)
        records.append((gen, mu_hat, sigma_hat ** 2))

    return records


if __name__ == "__main__":
    for m in ["replace", "mix_real", "accumulate"]:
        hist = simulate_model_collapse(n_generations=80, sample_size=100, mode=m)
        gen0, gen40, gen80 = hist[0], hist[40], hist[-1]
        print(
            f"[{m:10s}] Gen0 var={gen0[2]:.3f} -> "
            f"Gen40 var={gen40[2]:.3f} (mu={gen40[1]:+.3f}) -> "
            f"Gen80 var={gen80[2]:.3f} (mu={gen80[1]:+.3f})"
        )

运行可见:当 sample_size=100 且经过多代递归后,replace 模式在有限样本乘性缩减下会出现剧烈均值漂移与方差显著萎缩(甚至在更大代数或带截断解码时归零);而 accumulate 与 mix_real 模式的估计方差始终稳健锚定在真实值 1.0 附近。

工程实践与常见陷阱 ​

陷阱一:低温解码加速“隐性早期坍塌”

工程中为了保证合成文本“流畅少出错”,常将生成温度调低至 T≤0.3 或设极窄的 top_p=0.5。这在数学上相当于人为截断概率分布的尾部,比纯随机采样提前数倍触发早期坍塌——合成出的数百万条文本充斥着“总而言之”、“值得注意的是”等高频套话,用来做预训练反而会拉低模型的真实世界泛化力与困惑度表现。 最佳实践:合成阶段应保持适度高温(如 T∈[0.7,1.0])配合多异构模型采样,用后置验证器/质量分类器保证正确性,绝不用低温截断换取虚假的高质量。

陷阱二:基准测试数据污染(Benchmark Contamination)的隐形传递

强教师模型可能在自身训练时见过公开评测集(如 GSM8K、HumanEval、MMLU)。当用该教师模型大规模合成教材或题库时,原题或高度相似变体极易通过合成管线“洗白”进入学生模型训练集,造成评测虚高而真实落地拉胯(参见评测与安全)。 最佳实践:合成流水线必须内置严格的 N-gram 重叠检测 + 稠密语义近邻去污染(Decontamination),直接剔除与已知评测集余弦相似度超阈值的合成题。

工业级配比经验:退火期高纯度注入优于全程纯合成

在预训练全周期中,早期主训练阶段应以大规模清洗后的真实互联网文本为主(守住世界知识广度与语言长尾多样性),合成语料占比通常控制在 10%--30%;而在最后的 Mid-training / 冷却退火(Annealing)阶段,可将经验证的高密度合成教科书、数学代码推理轨迹比例大幅拉升至 40%--60%,在保留广博知识底盘的同时瞬间拉高逻辑推理上限。

参考文献 ​

  1. Shumailov, I., Shumaylov, Z., Zhao, Y., Papernot, N., Anderson, R., & Gal, Y. (2024). AI models collapse when trained on recursively generated data. Nature, 631, 755–759. Nature ↗ / arXiv:2305.17493 ↗
  2. Gerstgrasser, M., Schaeffer, R., Dey, A., et al. (2024). Is Model Collapse Inevitable? Breaking the Curse of Recursion by Accumulating Real and Synthetic Data. COLM 2024. arXiv:2404.01413 ↗
  3. Wang, Y., Kordi, Y., Mishra, S., et al. (2022). Self-Instruct: Aligning Language Models with Self-Generated Instructions. ACL 2023. arXiv:2212.10560 ↗
  4. Xu, C., Sun, Q., Zheng, K., et al. (2023). WizardLM: Empowering Large Language Models to Follow Complex Instructions (Evol-Instruct). ICLR 2024. arXiv:2304.12244 ↗
  5. Gunasekar, S., Zhang, Y., Aneja, J., et al. (2023). Textbooks Are All You Need (Phi-1). arXiv:2306.11644 ↗
  6. Xu, Z., Jiang, F., Niu, L., et al. (2024). Magpie: Alignment Data Synthesis from Scratch by Prompting Aligned LLMs with Nothing. ICLR 2025. arXiv:2406.08464 ↗
  7. Chan, X., Wang, X., Yu, D., Mi, H., & Yu, D. (2024). Scaling Synthetic Data Creation with 1,000,000,000 Personas (Persona Hub). arXiv:2406.20094 ↗
  8. Ben Allal, L., Lozhkov, A., Penedo, G., Wolf, T., & von Werra, L. (2024). Cosmopedia: How to create large-scale synthetic data for pre-training. Hugging Face ↗