DeepSpec：推测性解码生产指南

推理优化常被简化为一个数字：每秒 token 数。DeepSpec 是 DeepSeek 推出的全新全栈代码库，它提醒我们这个数字是由系统产生的。其仓库涵盖了数据准备、草稿模型训练、发布的检查点以及推测性解码的评估，而不是仅仅呈现单个内核或基准图表。

推测性解码将较小的草稿模型与较大的目标模型配对。草稿模型提出多个 token；目标模型在更少的昂贵 passes 中验证它们。当足够多的 proposed tokens 被接受时，用户无需改变目标模型的输出分布即可看到更低的延迟。当接受率较差时，额外的草稿工作可能会抹消收益。

本指南参考的源：DeepSpec 官方仓库及其链接的 DSpark 论文。

DeepSpec 的三阶段工作流

官方工作流有意设计为顺序执行：

准备数据并重新生成目标答案；
针对目标缓存训练草稿模型；
在代表性任务上评估接受率。

这种顺序并非行政流程。每个阶段定义了下一阶段的有效性。使用错误的目标设置产生的缓存会训练出一个针对未部署系统的草稿模型。与生产流量无关的基准测试可能让一个令人印象深刻的检查点看起来很有用，而其在真实提示词上的接受率却会崩溃。

DeepSpec 目前包含 DSpark、DFlash 和 Eagle3 实现。它还发布了针对 Qwen3 4B、8B 和 14B 目标以及 Gemma 4 12B IT 的检查点。这些检查点是有价值的基线，但仓库警告说，特定领域的部署应该再次微调——尤其是当目标模型在 thinking mode 下运行时。

从经济性入手，而非训练命令

默认的数据准备路径对于文档记录的 Qwen3-4B 设置可能需要约 38 TB 的目标缓存。默认训练脚本假设一个节点有八个可见 GPU。这些并非次要细节。在克隆仓库之前，估算四个预算：

用于提示词、再生答案、缓存分片和检查点的存储；
构建缓存所需的目标模型推理；
草稿训练的 GPU 小时数；
集成和可重复评估的工程时间。

如果您的服务账单较小或流量高度波动，购买此流程可能永远无法收回成本。如果您服务于稳定的高容量工作负载，其中每一毫秒都很重要，那么领域调优的草稿模型可能具有持久价值。

一个简单的决策模型是：

monthly benefit = requests × tokens/request × latency value × measured speedup
monthly cost = amortized training + storage + extra draft serving + maintenance

不要用论文加速比代替 measured speedup。它取决于接受长度、硬件、batch shape、目标模式和提示词分布。

Explore DeepSeek in MidassAI

构建代表性评估切片

DeepSpec 包含 GSM8K、Math500、AIME25、HumanEval、MBPP、LiveCodeBench、MT-Bench、Alpaca 和 Arena-Hard v2。这个范围有助于比较算法，但生产就绪需要您自己的切片。

按任务、输出长度、语言、上下文大小和工具使用模式采样流量。移除敏感数据并保留结构特征。编码服务可能会将集合分为完成、重构、测试生成、解释和仓库级推理。支持助手可能会按意图和对话深度划分。

对于每个切片，记录：

每个验证步骤接受的 token 数；
首 token 端到端时间和总完成时间；
草稿和目标 GPU 利用率；
输出等价性检查；
草稿推理失败时的回退行为；
峰值内存和缓存压力。

平均值可能会掩盖有害的长尾问题。如果短聊天回答加速而长代码生成变慢，请仅将推测性解码路由到获胜的部分。

精确匹配目标行为

草稿模型学习特定目标的提案分布。使用生产中使用的相同目标检查点、tokenizer、解码配置和 thinking mode 重新生成训练答案。看似微小的漂移会改变接受率。

对完整配对进行版本控制，而不仅仅是草稿检查点：

target model + target revision + tokenizer + sampling policy + draft model + draft revision + DeepSpec config + training data snapshot

当目标模型变更时，在重用草稿之前重新运行兼容性评估。不应假设在非 thinking 输出上训练的草稿能加速 thinking-mode 流量。DeepSpec 自身的指导强调了这一区别。

使用发布的检查点作为对照

已发布的 DSpark、DFlash 和 Eagle3 检查点提供了有用的实验阶梯。首先使用发布的配对复现评估。接下来针对您脱敏的流量运行相同的检查点。然后再训练自定义草稿。

这区分了环境问题和数据问题。如果官方配对无法复现，检查软件版本、GPU 架构、tokenizer 对齐和评估设置。如果能复现但在您的流量上表现不佳，自定义训练可能有帮助。如果自定义草稿仍然接受率弱，您的工作负载可能确实不适合。

使用可逆路由器部署

不要将推测性解码置于通往目标模型的唯一路径上。将其置于带有直接目标回退的流量路由器后面。从影子评估开始，然后是少量生产流量。记录接受度指标而不保留敏感提示词。

回滚应仅需配置更改，而非重新构建。监控速度和质量信号，因为运营缺陷——tokenizer 不匹配、过时缓存、内存压力——可能表现为延迟尖峰或格式错误输出。

DeepSpec 通过发布整个生命周期使推测性解码更易上手。它也使真实成本可见。实际机会不是“免费速度”。这是一种受控交换：投资数据、训练和评估，以减少可预测流量分布上的重复目标模型工作。仔细衡量这种交换的团队可以将研究技术转化为有用的服务层；跳过衡量的团队只会增加另一个需要操作的模型。