学习大模型训练的数据：从互联网到高质量语料
在上一篇中，我们把一个模型的诞生过程画成了一张地图：先收集海量原始数据，经过清洗和配比得到训练语料，再用分词器切成 token，接着预训练出基座模型，然后经过监督微调学会听指令，最后通过偏好对齐让回答合乎人类偏好，得到一个会对话的模型。今天我...
大模型训练介绍：一个模型是怎么炼成的
2024 年 12 月，DeepSeek 开源 DeepSeek-V3 模型，这是一个 671B 参数的混合专家（Mixture-of-Experts，简称 MoE）模型，每次前向只激活 37B 参数。放出的技术报告里有一组数字被反复...
学习大模型推理的加速技术：量化、投机采样与 PD 分离
在上一篇中，我们学习了推理的显存优化：PagedAttention 把 KV Cache 切成固定大小的块按需分配，前缀缓存让相同前缀的请求复用已算好的 KV 块。再往前看，KV Cache 本身是拿显存换时间，连续批处理是...
学习大模型推理的显存优化：PagedAttention 与前缀缓存
在上一篇中，我们解决了 GPU 空转的问题：用迭代级调度替代静态批处理，请求随到随入、随完随出，GPU 不再为了等齐一批请求而闲置。调度器的目标很明确，就是往运行集里塞尽可能多的并发请求，把算力吃满。但并发不是想加就能加的。每...
学习大模型推理的批处理：Continuous Batching
至此，我们把一次请求从进来到出去的整条链路都走了一遍：prompt 进来、分词、查 embedding、逐层 Transformer 前向、prefill 建 KV Cache、decode 逐 token 生成、最后 token...
学习大模型推理的输出阶段：从 Token 回到文本
在上一篇中，我们学习了大模型推理的采样策略：decode 的每一步，模型输出的是词表上的一组 logits，经过 softmax、温度和 top-p 这些加工之后，从中选出下一个 token。但 token 选出来，旅程还没有结...
学习大模型推理的采样策略
在上一篇中，我们学习了大模型推理的两个阶段：prefill 把整段 prompt 并行过一遍模型，填满 KV Cache 并产出第一个 token；decode 则进入循环，每一步只处理一个新生成的 token。当时我们留了一个环节没有展开：decod...
学习大模型推理的两个阶段：Prefill 与 Decode
在上一篇中，我们学习了 KV Cache：推理时把历史 token 的 Key 和 Value 缓存下来，每一步生成都不用重算整段上下文，正是它让逐 token 的自回归生成在工程上变得可行。当时我们留了一个视角没有展开：这份缓存不是一次性...
学习大模型推理的 KV Cache
在上一篇中，我们把一次前向传播完整走了一遍：token 先查表变成向量，然后逐层经过 Transformer Block，每层里用 Q、K、V 三个向量做自注意力，最后从词表分布里挑出下一个 token。我们也知道了生成是自回归（Autoregress...
学习大模型推理的前向传播：Transformer 与注意力机制
在上一篇中，我们把一段文本切成了 token，查嵌入表把每个 token 变成向量，又讲了两种注入位置信息的做法：正弦编码直接加在嵌入向量上，RoPE 则作用在注意力计算里的 Q 和 K 上。到这里，一段文本已经变成一串带语义的向...