学习大模型训练的显存管理与混合精度
在上一篇中，我们学习了参数是怎么被一步步更新的：前向传播算出损失，反向传播沿计算图把梯度传回每个参数，最后 AdamW 用一阶、二阶矩估计对参数做更新。当时我们的注意力都在计算过程上，有一个问题被有意略过了：这些东西全都得放...
学习大模型训练的反向传播与优化器
上一篇我们学习了大模型训练的目标函数：Next Token Prediction，我们解决了训练的第一个问题：怎么定义模型的损失。模型在每个位置预测下一个 token 的概率分布，用交叉熵损失（Cross-Entropy Loss）...
学习大模型训练的目标函数：Next Token Prediction
在上一篇中，我们动手训练了一个自己的 BPE 分词器，把原始文本切成了 token 序列。至此，训练数据准备阶段的工作就完成了：海量的原始文本，经过清洗和分词，变成了一条条由整数 id 组成的 token 序列。接下来的问题是...
学习大模型训练的分词器：从语料到词表
在上一篇中，我们把训练语料的来龙去脉走了一遍：从 Common Crawl 这样的互联网快照开始，经过过滤、去重、质量打分，最后得到一份干净的高质量语料。不过这份语料还不能直接喂给模型，中间还差一道工序，那就是分词。在《大模型推理》系列的...
学习大模型训练的数据：从互联网到高质量语料
在上一篇中，我们把一个模型的诞生过程画成了一张地图：先收集海量原始数据，经过清洗和配比得到训练语料，再用分词器切成 token，接着预训练出基座模型，然后经过监督微调学会听指令，最后通过偏好对齐让回答合乎人类偏好，得到一个会对话的模型。今天我...
大模型训练介绍：一个模型是怎么炼成的
2024 年 12 月，DeepSeek 开源 DeepSeek-V3 模型，这是一个 671B 参数的混合专家（Mixture-of-Experts，简称 MoE）模型，每次前向只激活 37B 参数。放出的技术报告里有一组数字被反复...
学习大模型推理的加速技术：量化、投机采样与 PD 分离
在上一篇中，我们学习了推理的显存优化：PagedAttention 把 KV Cache 切成固定大小的块按需分配，前缀缓存让相同前缀的请求复用已算好的 KV 块。再往前看，KV Cache 本身是拿显存换时间，连续批处理是...
学习大模型推理的显存优化：PagedAttention 与前缀缓存
在上一篇中，我们解决了 GPU 空转的问题：用迭代级调度替代静态批处理，请求随到随入、随完随出，GPU 不再为了等齐一批请求而闲置。调度器的目标很明确，就是往运行集里塞尽可能多的并发请求，把算力吃满。但并发不是想加就能加的。每...
学习大模型推理的批处理：Continuous Batching
至此，我们把一次请求从进来到出去的整条链路都走了一遍：prompt 进来、分词、查 embedding、逐层 Transformer 前向、prefill 建 KV Cache、decode 逐 token 生成、最后 token...
学习大模型推理的输出阶段：从 Token 回到文本
在上一篇中，我们学习了大模型推理的采样策略：decode 的每一步，模型输出的是词表上的一组 logits，经过 softmax、温度和 top-p 这些加工之后，从中选出下一个 token。但 token 选出来，旅程还没有结...