VicroCode
让代码创造价值
VicroCode是一个轻量级代码在线发布、交易平台,开箱即用,免部署、免服务器、免备案,支持接入智能体、通用管理系统、游戏等多种项目
稍候片刻,您可先学习AI编程手册
正在加载中...

市场信息

摩尔线程开源 Megatron-MUSA-Titan,聚焦万卡级集群的万亿参数 MoE 模型训练

IT之家 10 月 28 日消息,摩尔线程今日宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan。该项目基于摩尔线程全功能 GPU, 聚焦万卡级集群的万亿参数 MoE 模型训练需求 , 覆盖预训练与强化学习两大场景 ,为开发者提供面向 MUSA 平台的训练适配与系统优化能力。

www.ithome.com · 2026-10-28T10:16:40+00:00

感谢IT之家网友 有鲫雪狐 的线索投递! IT之家 10 月 28 日消息,摩尔线程今日宣布开源大模型训练基础设施项目 Megatron-MUSA-Titan。

该项目基于摩尔线程全功能 GPU, 聚焦万卡级集群的万亿参数 MoE 模型训练需求 , 覆盖预训练与强化学习两大场景 ,为开发者提供面向 MUSA 平台的训练适配与系统优化能力。据介绍,Megatron-MUSA-Titan 已在摩尔线程万卡级集群的万亿参数 MoE 模型预训练中持续应用,经过长时间训练实践检验,实现高 MFU(模型算力利用率)与长稳训练,同时支持与 slime、miles 强化学习框架协同,结合 Megatron 训练与 SGLang 样本生成,构建贯通万亿参数 MoE 预训练与强化学习的训练基础。

IT之家注意到,Megatron-MUSA-Titan 支持 blockwise FP8 训练,将摩尔线程全功能 GPU 的低精度计算能力引入训练流程,提升大规模训练的计算效率。还可结合 DeepEP 与 ACE 异步通信引擎,加速 MoE 中的 Token 分发与结果合并,并实现专家并行(EP)与计算的通算重叠,让数据交换与计算任务协同执行,提升端到端训练效率。

参考: https://github.com/MooreThreads/Megatron-MUSA-Titan 广告声明:文内含有的对外跳转链接(包括不限于超链接、二维码、口令等形式),用于传递更多信息,节省甄选时间,结果仅供参考,IT之家包含外链的文章均包含本声明。

返回 AI 市场导读

来源:ithome.com