Efficient Resource Use: With lower than 6% of its parameters active at a time, DeepSeek significantly lowers computational costs. This exceptional efficiency, combined with the availability of DeepSeek Free, a model offering Free DeepSeek r1 access to certain features and models, makes Deepseek Online chat accessible to a variety of customers, from students and hobbyists to professional builders. This comparability will spotlight DeepSeek-R1’s useful resource-efficient Mixture-of-Experts (MoE) framework and ChatGPT’s versatile transformer-primarily based strategy, offering useful insights into their unique capabilities.跨节点 MoE 训练的一大挑战是巨大的通信开销。每个 MoE 层包含 1 个共享专家和 256 个路由专家，每个 Token 选择 eight 个路由专家，最多路由至 4 个节点。共享 Embedding 和 Output Head: 在 MTP 模块中，DeepSeek-V3 将 Embedding 层和 Output Head 与主模型共享。这种稀疏激活的机制，使得 DeepSeek-V3 能够在不显著增加计算成本的情况下，拥有庞大的模型容量。通过在 8 个 PP rank 上，20 个 micro-batch 的 DualPipe 调度情况，可以看到，通过双向流水线的设计，以及计算和通信的重叠，流水线气泡被显著减少，GPU 利用率得到了极大提升。

DeepSeek-V3 在内存管理方面也做到了极致，通过多种策略最大程度地减少了内存占用。这两天，DeepSeek-V3 低调发布，在国际上狠狠秀了一波肌肉：只用了 500 多万美金的成本，带来了不输 Claude 3.5 的成绩，并开源！并且，这么棒的数据，总成本只需要约 550 万美金：如果是租 H800 来搞这个（但我们都知道，Free DeepSeek Ai Chat 背后的幻方，最不缺的就是卡）。 Eight 个 PP rank 和 20 个 micro-batch 的 DualPipe 调度示例（原报告第 13页）。单个 ahead 和 backward chunk 的重叠策略（原报告第 12页）。

以上图（报告第 28 页，图9）中的数据为例，使用了该策略的训练模型在不同领域的专家负载情况，相比于添加了额外负载损失(Aux-Loss-Based)的模型，分工更为明确，这表明该策略能更好地释放MoE的潜力。这种设计在保证模型性能的同时，大幅减少了显存占用和计算开销。该策略的偏置项更新速度 (γ) 在预训练的前 14.3T 个 Token 中设置为 0.001，剩余 500B 个 Token 中设置为 0.0；序列级平衡损失因子 (α) 设置为 0.0001。

DeepSeek-V3 的这次发布，伴随三项创新：Multi-head Latent Attention (MLA)、DeepSeekMoE 架构以及无额外损耗的负载均衡策略。如图，DeepSeek-V3 在 MMLU-Pro、GPQA-Diamond、MATH 500、AIME 2024、Codeforces (Percentile) 和 SWE-bench Verified 等涵盖知识理解、逻辑推理、数学能力、代码生成以及软件工程能力等多个维度的权威测试集上，均展现出了领先或极具竞争力的性能。在与包括 GPT-4o、Claude-3.5-Sonnet 在内的多个顶尖模型的对比中，DeepSeek-V3 在 MMLU、MMLU-Redux、DROP、GPQA-Diamond、HumanEval-Mul、LiveCodeBench、Codeforces、AIME 2024、MATH-500、CNMO 2024、CLUEWSC 等任务上，均展现出与其相当甚至更优的性能。 DeepSeek-V3 的这次发布，伴随多项工程优化贯穿了流水线并行、通信优化、内存管理和低精度训练等多个方面。