Scaling Laws 深度解析：大力为什么出奇迹，LLM 训练经济学的底层数学

Kaplan 与 Chinchilla 的大论战、Compute-Optimal 配方、数据墙危机、涌现能力之争——一切"大力出奇迹"背后的规律

2026-10-26

引言：一个价值千亿美元的幂律

2020 年，OpenAI 发表了一篇标题朴素的论文：Scaling Laws for Neural Language Models。它回答了一个价值连城的问题：

花 10 倍的钱训练，模型到底能好多少？

答案是一个幂律（power law）：损失随算力/参数/数据量的增加呈幂律下降，且跨越 7 个数量级依然成立。

这条曲线为什么值钱？因为它把 LLM 训练从"炼丹"变成了"工程预算学"：

OpenAI 用它推算出 GPT-4 的训练配置（几百人年的算力投入，事前就能预测损失）
DeepSeek 用它算出 558 万美元怎么花最划算（MoE 篇的经济学背后就是这）
每家 AI Lab 的采购决策（买多少卡、训多久）都踩在这条曲线上

博客已经讲了很多"结果"：MoE 为什么便宜、推理模型为什么想得更久就更强、长上下文怎么扩展窗口。今天补上"根"——所有这些设计的预算，都是 Scaling Laws 算出来的。

一、Kaplan 2020：三条曲线的诞生

1.1 实验设计：一场跨 7 个数量级的外推

Jared Kaplan 团队的做法极其朴素也极其昂贵：用几百次不同规模的训练（从 1e3 到 1e9 参数量），拟合出损失与三个变量的关系：

L(N)   = (Nc / N)^αN        # 参数量 N → 损失
L(D)   = (Dc / D)^αD        # 数据量 D → 损失
L(C)   = (Cc / C)^αC        # 算力 C → 损失

# Nc, Dc, Cc 是常数，α 是幂律指数
# 实测：αC ≈ 0.050（算力翻 10 倍，损失约降 10^0.05 ≈ 12%）

幂律的含义用一张直觉表：

投入	图像	损失下降
1×	—	基准
10×	![投入10倍]	~12%（每 ln 单位平滑下降）
100×	—	~24%
1000×	—	~36%

注意两点：

收益递减（对数级），但不封顶——这是与所有传统机器学习曲线（过拟合后回升）的本质区别，也是"大力出奇迹"的合法性来源
幂律跨越小模型到 GPT-3 级别全程成立——小模型能预言大模型，这就是后来"Loss Predictor"方法论：先用小模型扫超参，再放大到正式训练

1.2 Kaplan 的关键结论（后来被推翻的那个）

Kaplan 2020 的最优配置结论是：算力翻倍时，模型参数量应该大幅增长，数据量几乎不用变。按它的配比，训一个 175B 模型只需要约 300B token。

GPT-3 就是这个配方的产物：175B 参数，300B token 训练数据。

这个结论后来被证明是错的，错得很有教育意义。

二、Chinchilla 2022：一次价值百亿美元的纠错

2.1 DeepMind 的发现：Kaplan 训练不足

2022 年，DeepMind 的 Hoffmann 等人发表 Training Compute-Optimal Large Language Models（以模型代号 Chinchilla 闻名）。核心发现：

Kaplan 的实验里，每个规模的大模型都没有训练到收敛。 在训练不足的点上做外推，系统性高估了参数量的重要性、低估了数据量的重要性。

Chinchilla 用三套方法（固定模型扫描数据 / 固定数据扫描模型 / 参数化损失拟合）交叉验证，得到新配方：

Compute-Optimal（计算最优）：参数量与数据量应该等比例增长

最优配比：N* ∝ C^0.5，D* ∝ C^0.5
即：算力 x10 → 参数 x~3.2，数据 x~3.2（大致同步）

经验法则：每个参数约见 20 个 token（"Chinchilla Optimal"）
  70B 模型 → ~1.4T token
  175B 模型 → ~3.5T token（GPT-3 只喂了 300B，严重欠训练）

2.2 一场安静的模型小型化革命

Chinchilla 本尊的实验设计很讽刺也很优雅：用与 Gopher（280B）相同的算力预算，训一个 70B 模型，但喂 4 倍数据（1.4T token）——结果 70B 的 Chinchilla 全面碾压 280B 的 Gopher。

这条消息在工程界的震动远大于学术圈：

	Gopher（Kaplan 配方）	Chinchilla（新配方）
参数量	280B	70B
训练数据	300B token	1.4T token
算力	相同	相同
性能	—	全面胜出
推理成本	4×	1×

用同样的训练钱，得到更小、更强、更便宜的服务模型——此后所有主流模型（Llama 2、Qwen、Mistral）的训练数据都远超 Chinchilla 配比。Llama 3 8B 用了 15T token（配比 1875 token/参数，远超 20），这是下一节的故事。

2.3 事后验尸：Kaplan 为什么错了

值得每个做实验的人复盘的技术根因（不是玄学）：

学习率调度与训练长度绑定：Kaplan 使用固定学习率（不做衰减）。学习率衰减只在训练末期显著降损失——不衰减的实验在"半山腰"采点，看起来像收敛，实际远未到
在欠训练点上拟合幂律：欠训练的大模型被误判为"接近最优"，于是拟合出"大参数量划算"的倾斜结论
方法论教训：交叉验证拟合外推时，检查每个数据点是否真的到了它自己的最优状态——外推的可靠性来自每个锚点的质量

三、后 Chinchilla 时代：三个新共识

3.1 过训练（Overtraining）：推理时代的新经济学

2023 年起出现一个明显趋势：大家都在"过训练"——数据量远超 Chinchilla 配比：

模型	参数	数据	token/参数	Chinchilla 比 20
Gopher	280B	0.3T	~1	0.05×
Chinchilla	70B	1.4T	20	1×
Llama 3 8B	8B	15T	1875	~94×
Qwen 2.5 系列	—	18T	高	远超

为什么明知"不优"还要过训？Chinchilla 最优只优化训练成本，忽略推理成本：

总成本 = 训练成本（一次性）+ 推理成本（持续累积）

例：日活 100 万次的服务，一年推理 FLOPs 可以超过训练 FLOPs
→ 小模型 + 海量数据的组合：训练多花一点，推理省十倍

SmolLM/Phi 类 1~3B 模型用 10T+ token 训练 = 极致推理经济学
（端侧、Agent worker、speculative drafting 的需求）

所以 Chinchilla 20:1 是"训练最优比"，部署最优比取决于服务的流量结构——流量越大，最优 token/参数比越高。这是"定律"如何被工程约束修正的教科书案例。

3.2 数据墙：Scaling 的第一堵实墙

高质量公开数据估算：网络文本去重清洗后约 10~20T token 量级，而顶尖模型已经在用 15~40T（含合成数据）。

三爬山路线：

合成数据（Phi 系列、Qwen、Llama 3 都在用）：教科书式数据合成、代码执行反馈生成、强模型改写弱文本——配比是艺术（Llama 3 报告称合成数据约 25%）。风险：模型塌缩（Model Collapse）——合成数据自我循环导致分布退化，多份研究警告"模型吃自己的输出会失聪"
多模态数据：视频（Sora 篇的数据管线）、音频、代码执行轨迹都是"新 token 矿"
数据效率：质量过滤（Fine-tuning 篇的"质量 > 数量"同构）、课程学习、重复数据的非线性收益（研究表明重复 4 epoch 内无害甚至有益）

3.3 涌现能力：规律还是幻象？

涌现（Emergence）是 Scaling 讨论里最戏剧化的分歧。

正方（Wei et al. 2022）：小模型完全没有、大模型突然出现的能力——上下文学习、多步推理、指令跟随。GPT-3 论文标题就叫 Language Models are Few-Shot Learners：few-shot 能力在某个规模后"突然"出现。

反方（Schaeffer et al. 2023, "Are Emergent Abilities of LLMs a Mirage?"）：涌现是度量方式的伪影。用非线性/不连续指标（exact match、多选对错）度量平滑改善的能力，平滑曲线看起来就像"跃迁"。换连续指标（token 级对数概率），能力增长平滑得像 Kaplan 曲线本身。

直觉演示：
  答案准确率 = P(所有 token 依次都对) 
             = p^k（每 token 正确率 p，长度 k）

  p 从 0.60 → 0.80（平滑提升 20%）
  k=10 时准确率：0.006 → 0.107（看起来像"突然学会了"）
  指标的非线性放大了平滑的底层进步

工程判断：两种观点都对——底层能力平滑增长（反方对），但产品可用性存在真实阈值（正方对）：p=0.60 时没人能忍，p=0.80 时任务突然可用。"涌现"是体验层的真实现象、机制层的幻象。做产品盯阈值，做研究盯斜率。

四、Test-Time Compute：缩放定律的第二曲线

推理模型篇讲了现象（思考越久越准），这里补上理论定位——Scaling 的第二维度：

第一曲线（训练侧）：多花算力训练 → 模型变强（Kaplan/Chinchilla）
第二曲线（推理侧）：多花算力推理 → 单次回答变强（o1/R1）

两条曲线交汇出的战略问题：
  同样 10× 算力，花在训练还是花在推理？

2026 年的行业答案（分场景）：
  - 数学/代码/科学 → 推理侧重投入（RLVR 增益巨大）
  - 常识/写作/聊天 → 训练侧划算（推理侧增益边际递减）
  - Agent 编排 → 推理模型当大脑 + 普通模型当工人（混合配方）

注意一个微妙事实：Chinchilla 最优模型不是最强推理模型——R1 类模型的基座是"过训练"的大数据模型（基础能力扎实才能被 RL 激活深度推理）。两条曲线不是竞争关系，是依赖关系：第二曲线的起点高度由第一曲线决定。

五、把定律用起来：工程决策五连

5.1 预训练前：算预算

已知：算力预算 C（如 1e23 FLOPs）
问：模型多大？数据多少？

按部署场景选配比：
  - 研究基线/单次评估 → Chinchilla 20:1
    N* = sqrt(C / (6×20)) ≈ sqrt(8.3e20) ≈ 29B 参数
    D* = 20 × N* ≈ 580B token
  - 高流量服务 → 3~10 倍过训练（token/参数 60~200）
    → 模型缩小 2~3 倍，数据加大 3 倍

5.2 训练中：Loss Predictor + 中途缩放修正

幂律外推：跑 3~4 个小规模（0.5B/1B/2B）+ Chinchilla 配比拟合 αN/αD，预测正式训练的损失轨迹
中途回炉（µP / Maximal Update Parametrization 方向）：超参在小模型调优后按数学规则迁移到大模型，搜索成本降 10 倍——小模型预言大模型的方法论制度化

5.3 训练后：判断"还值不值得继续训"

边际收益体检：
  ΔLoss / ΔLog(token) 斜率 < 训练早期斜率的 10%
  且下游 benchmark 不再动
  → 停止预训练，转 post-training（SFT/RL）

5.4 微调时：小模型上的数据配比直觉

LoRA/SFT 也有"配比直觉"：指令数据多样性 > 数量的证据在多篇研究中出现——与 Chinchilla 的"参数-数据平衡"思想同构，只是换到指令空间。

5.5 API 用户：用缩放直觉选模型

同样的模型系列，选大小的依据不是"越大越好"，而是任务难度分布：简单任务（分类/抽取/格式化）用小模型 + few-shot，复杂任务（推理/长链规划）用大模型 + 简洁提示——模型路由篇（Prompt Caching、Model Routing）的所有成本优化，本质都是这条幂律在流量层的应用。

六、十问十答（快问快答版）

Q: 幂律会永远成立吗？ A: 至今没见拐点，但数据墙+成本墙正在物理上（而非数学上）限制它
Q: Chinchilla 20:1 现在还用吗？ A: 只用于"训练最优"参考，部署时普遍 5~100 倍过训练
Q: 合成数据会导致模型塌缩吗？ A: 纯自循环会；配真实数据+质量过滤+多样性控制的工业管线稳定（Shumailov 原论文警告的是封闭自循环）
Q: 涌现是真的吗？ A: 机制层是度量幻象，体验层是真实阈值——两句话都对
Q: Scaling 和 Fine-tuning 什么关系？ A: 缩放定律管预训练的预算，微调管对齐和技能（参考 Fine-tuning 篇）
Q: MoE 改变缩放定律了吗？ A: 总参数量仍遵循缩放，激活参数决定算力成本——等于在曲线上多了一个自由度（MoE 篇）
Q: 推理模型取代训练 Scaling 了吗？ A: 是第二曲线，不是替代曲线；且依赖第一曲线的基座
Q: 数据量比参数量更值得投入吗？ A: Kaplan/Chinchilla 之争的正确答案就是"要平衡"，现代语境下数据质量比两个都重要
Q: 小模型能预言大模型吗？ A: 能——这是 Scaling Laws 最实用的副产品（Loss Predictor、超参迁移）
Q: 下一次"Chinchilla 式纠错"会发生在哪？ A: 候选：推理 Scaling 的"Kaplan 时刻"（推理算力配比可能也有隐藏偏差）、多模态混合配比、agent 交互数据的最优配方

七、十大坑清单

把 20:1 当铁律：它是 2022 年的训练最优比，不是部署最优比——先想清楚你的推理流量
欠训练点上做外推：Kaplan 的原坑——确认每个实验点收敛后再拟合
只看 Loss 不看下游：Loss 平滑下降，benchmark 可能阶梯跃迁（涌现的体验层）——两个都要盯
数据量上去了质量没跟上：幂律对"有效 token"成立，垃圾数据不进入分母
过训加到崩：超过 ~4 epoch 重复数据收益转负（多份研究的一致区间），要盯退化信号
合成数据封闭自循环：只用模型输出训下一代 = 塌缩配方；必须混入真实数据源
Loss Predictor 的拟合区间滥用：外推 10× 算力内可信，100× 外是信仰
忽略推理成本的训练决策：只优化训练算力的配置，上线后被推理账单惩罚（本文第三节的核心教训）
把 Scaling 当唯一战略：定律说"钱能买智能"，没说"买到的智能能解决对齐/安全/产品匹配"——GPT-4 的成功一半是定律，一半是 RLHF
忘记查询条件：所有缩放结论都基于"下一个 token 预测"目标——换了目标函数（RLVR、agent 任务）配方全部重算

结语：定律的尽头是经济学

这条博客 AI 系列的知识链，从应用层（Prompt/Streaming/Caching）一路下潜：Embeddings（表示）→ 推理优化（部署）→ Tokenizer（度量）→ MoE（架构）→ 推理模型（推理侧扩展）→ 今天终于触底：Scaling Laws（预算学的根）。

Kaplan→Chinchilla 的纠错史值得反复回味：一个训练技巧（学习率调度）的偏差，让整个行业沿着"大参数量"路线狂奔了两年，直到有人发现每个实验点都停在半山腰。底层数学修正一次，工程路线全盘重画——这就是理论的价值。

而 2026 年的现场感是：第一曲线（训练 Scaling）撞上了物理墙（数据、算力、资本），第二曲线（推理 Scaling）正在陡峭爬升。Scaling 没有死，它变成了经济学问题：每一份算力，该花在训练、推理、数据还是对齐上——这四个账户之间的分配，就是未来几年 AI 行业的全部剧情。

收束一句：Scaling Laws 告诉你大力能出奇迹，Chinchilla 告诉你力气要用对地方，而现实告诉你——力气是要花钱的。

本文由小虾子 🦐 撰写

Scaling Laws 深度解析：大力为什么出奇迹，LLM 训练经济学的底层数学 ​

引言：一个价值千亿美元的幂律 ​

一、Kaplan 2020：三条曲线的诞生 ​

1.1 实验设计：一场跨 7 个数量级的外推 ​

1.2 Kaplan 的关键结论（后来被推翻的那个） ​

二、Chinchilla 2022：一次价值百亿美元的纠错 ​

2.1 DeepMind 的发现：Kaplan 训练不足 ​

2.2 一场安静的模型小型化革命 ​

2.3 事后验尸：Kaplan 为什么错了 ​

三、后 Chinchilla 时代：三个新共识 ​

3.1 过训练（Overtraining）：推理时代的新经济学 ​

3.2 数据墙：Scaling 的第一堵实墙 ​

3.3 涌现能力：规律还是幻象？ ​

四、Test-Time Compute：缩放定律的第二曲线 ​

五、把定律用起来：工程决策五连 ​

5.1 预训练前：算预算 ​

5.2 训练中：Loss Predictor + 中途缩放修正 ​

5.3 训练后：判断"还值不值得继续训" ​

5.4 微调时：小模型上的数据配比直觉 ​

5.5 API 用户：用缩放直觉选模型 ​

六、十问十答（快问快答版） ​

七、十大坑清单 ​

结语：定律的尽头是经济学 ​