Post

SpaceX自研C语言AI训练框架接近完工,将用于训练Grok v5

币界网
币界网
币界网消息,SpaceX CEO马斯克透露,SpaceX内部团队正在接近完成用C语言自研的超大规模AI训练框架v1.0版本。该框架在硬件映射与并行机制上,能精准适配由22万张英伟达GB300加速卡与800G网卡组成的超大规模计算集群。为了压榨底层算力,框架在设计上极度贴近裸金属(bare metal)底层,并深度采用流水线并行(pipeline parallelism)技术。在应对超大规模训练任务时,纯C语言编写的底层架构相较于谷歌主流的高级AI框架JAX,潜在运行速度可提升一个数量级以上(即10倍以上)。全新自研训练栈将运行于SpaceX旗下的Colossus超级计算集群,直接服务于下一代大模型Grok v5的全量训练与迭代。

Disclaimer: OKX Orbit content is provided for informational purposes only. Learn more

Replies

No comments yet. Be the first to reply!