🏗️ LLM 训练全流程：从裸数据到 AI 助手

🧩 一、五大支柱：训练 LLM 的完整框架

💡 Bitter Lesson（Richard Sutton, 2019）：算力持续增长，唯一重要的是能利用算力扩展的方法。架构的小改动只会改变"截距"——多训练 10 小时就能追上。数据和系统才是真正的护城河。

🧠 二、预训练：让模型学会"说话"

2.1 语言建模的核心任务

自回归语言模型的本质：将整个句子的概率分布，分解为"已知前面所有词，预测下一个词"的条件概率乘积。

损失函数：交叉熵损失 = 最大化真实 Token 的对数似然。在训练时只需计算"真实 Token 的概率"并与 one-hot 标签对比——不需要采样。推理时才需要采样。

🔤 三、Tokenization：被低估的关键环节

为什么不能直接按"词"分？

• 拼写错误：typo 没有对应 Token，模型无法处理
• 多语言：泰语等无空格分隔的语言，无法按空格切词
• 数学/代码：数字 327 被分配为一个整体 Token，导致模型无法像人类一样用"数位"理解

为什么不能按"字符"分？

序列长度暴增 → Transformer 复杂度 O(n²) 代价太高。

BPE（Byte-Pair Encoding）算法

实际案例：GPT Tokenizer 把 "tokenizer" 分成 ["token", "izer"]——因为 "token" 和 "izer" 都足够高频，而 "tokenizer" 不够高频所以不被合并。

隐藏痛点

• Pre-tokenization 是英语特化的：空格和标点被预先分隔，不同语言需要不同策略
• 数字问题：GPT-4 重新设计了代码的 Tokenization（如 Python 缩进）
• 未来方向：很多人认为应该直接用字节级（Byte-level）模型，等架构不再 O(n²) 时就能实现

📊 四、评估体系：如何知道模型在进步？

困惑度（Perplexity）

• 范围：1 ~ 词表大小 V
• 直觉：模型在生成每个词时"犹豫"多少候选词
• PPL = 1 → 完美预测（不犹豫）
• PPL = V → 完全随机（在所有词中犹豫）
• 2017→2023 进步：从 ~70 降到 <10，从"70 选 1"变成"不到 10 选 1"

学术基准

⚠️ 评估陷阱

• 方式不一致：同一模型在 HELM 上 63.7%，另一平台只有 48.8%
• Prompt 敏感：同样的题，换种问法结果不同
• 训练集污染：测试数据可能出现在训练集中。检测方法——如果按原始顺序生成比打乱顺序更容易，很可能被训练过
• 开放性问题难评：语义等价但字面不同的答案如何评分？

🗄️ 五、数据处理管线：从原始网页到训练语料

这是工业界最不透明、最耗人力、也是竞争壁垒最高的环节。从 Common Crawl 到最终训练数据，过滤比例约 100:1 ~ 1000:1。

数据规模演变

未解决的问题

• 如何高效处理 PB 级数据？
• 多领域的最优混合比例（代码 : 书籍 : 网页 : 论文 = ？）
• 合成数据能否弥补真实数据的不足？
• 多模态数据能否提升纯文本性能？
• 版权灰色地带：训练了书籍但不承认（法律风险）

📈 六、Scaling Laws：用数学预测未来

在 log-log 尺度上，测试损失 与 算力/参数量/数据量 呈线性关系。这意味着：可以从小模型的实验结果，外推大模型的性能。

Chinchilla 最优（DeepMind, 2022）

实战价值

能回答的问题：该用 Transformer 还是 LSTM？该加更多 GPU 还是收集更多数据？模型深一点还是宽一点？

局限性

• 假设数据质量恒定（实际做不到）
• 不考虑推理成本
• 多次重复数据（多 Epoch）的效果未知
• 能持续多久？——没有明显平台期，但在 log 尺度上增量越来越小

💰 七、成本估算：Llama 3 405B 案例

每一代模型，算力需求约 10 倍增长。Llama 3 刻意控制在拜登行政令的 10²⁶ FLOPs 审查阈值以下。

🎯 八、后训练：让模型变成"助手"

为什么需要后训练？

GPT-3（纯语言模型）vs ChatGPT（对齐后）：

互联网的文本分布 ≠ 你想要的助手行为分布。后训练的本质是用少量高质量数据"校准"模型的输出格式和价值观。

📝 九、SFT（监督微调）

原理

在人工标注的（指令，理想回答）数据上，用相同的语言建模损失继续训练。本质上和预训练是同一个任务——预测下一个 Token——只是数据换成了高质量的问答对。

关键发现：LIMA（Less Is More for Alignment）

💡 核心洞见：SFT 不教新知识，只教"格式"。预训练模型已经包含了所有知识——你只是在告诉它"请扮演回答问题的那个用户"。

Alpaca（Stanford, 2023）：用 LLM 生成数据

这开启了蒸馏（Distillation）和合成数据（Synthetic Data）的大门。

⚠️ SFT 的三大问题

1. 受限于标注者能力：人类不擅长的任务（写长篇小说），SFT 也无法教会模型
2. 可能是幻觉的来源：如果标注者的答案包含模型预训练中从未见过的"事实"，模型学会的是"编造听起来合理的答案"而非"输出真实知识"
3. 标注成本高：高质量的（指令，回答）对需要专家级标注者

🔄 十、RLHF（人类反馈强化学习）

为什么 RLHF ？

人类鉴别好坏的能力 > 人类创作最优答案的能力。RLHF 的核心洞察：让人类只做擅长的事（比较），让模型自己探索最优策略。

三步流程

PPO 的工程噩梦

理论上优雅，但实践中极其脆弱：需要同时加载 4 个模型（Policy / Reference / Reward / Value）、超参敏感、奖励模型可能被"过优化"（找到高奖励但不真实的输出）。

⚡ 十一、DPO（直接偏好优化）——更优雅的替代

Stanford, 2023。不需要显式训练奖励模型，直接用偏好数据做最大似然。

核心思想

直觉翻译：最大化"好回答"相对于"坏回答"的概率比（以原始模型为基准）。就是把 RLHF 的三步流程压缩成一步：直接用偏好数据做监督学习。

DPO vs PPO 对比

DPO 在业界已逐渐成为主流选择，尤其适合算力和工程资源有限的团队。

🧭 十二、完整训练故事线

🌐 Common Crawl（2500 亿网页，脏乱差）
  │
  ├─ 文本提取 → 过滤 → 去重 → 启发式 → 模型过滤 → 领域加权
  │
  ▼
📦 15T Tokens 高质量语料
  │
  ├─ BPE Tokenization（词表 50K~250K）
  │
  ▼
🏗️ 预训练（自回归语言建模 · 交叉熵损失）
  │  架构：Transformer Decoder-only
  │  规模：405B 参数，$7,500 万，70 天，16,000×H100
  │
  ▼
🤖 Base Model（LLaMA-base / GPT-3）
  │  能力：会续写文本，但不会"回答问题"
  │
  ├─ SFT（~2K-50K 条指令数据）
  │  → 学会对话格式
  │
  ├─ 偏好数据收集（人类标注 A > B）
  │
  ├─ DPO（直接偏好优化）
  │  → 对齐人类价值观和偏好
  │
  ▼
✨ Aligned Model（ChatGPT / LLaMA-chat）
    能力：遵循指令、拒绝有害请求、减少幻觉

仍在快速演变的领域

• 合成数据：能否用模型生成的数据训练更强的模型？（模型崩溃问题）
• Tokenization-Free：字节级模型（MegaByte、Byte Latent Transformer）
• RLHF 新范式：KTO、ORPO、SimPO 等方法层出不穷
• 后训练的 Scaling：预训练有 Scaling Laws，后训练呢？
• 多模态预训练：文本 + 图像 + 视频 + 音频联合训练

推荐阅读

• Kaplan et al., "Scaling Laws for Neural Language Models" (OpenAI, 2020)
• Hoffmann et al., "Training Compute-Optimal Large Language Models" (DeepMind, 2022)
• Ouyang et al., "Training language models to follow instructions with human feedback" (OpenAI, 2022)
• Zhou et al., "LIMA: Less Is More for Alignment" (Meta, 2023)
• Rafailov et al., "Direct Preference Optimization" (Stanford, 2023)
• Meta, "The Llama 3 Herd of Models" (2024)
• Richard Sutton, "The Bitter Lesson" (2019, blog post)