DeepSeek宣布开源优化并行策略

快讯7小时前发布 biquandh
2 0 0

金色财经报道,Deepseek于开源周第四天宣布开源优化并行策略,其中DualPipe——包括一种用于V3/R1训练中计算-通信重叠的双向管道并行算法;EPLB——一种用于V3/R1的专家并行负载平衡器;以及分析V3/R1中的计算-通信重叠。(金十)

© 版权声明

相关文章

暂无评论

暂无评论...