阶跃星辰推出Step 5 Preview 600B稀疏MoE架构打破开源算力效率壁垒

匿名作者
2026-09-21 02:4313

激活参数仅数十分之一的超大底座,标志着国内大模型工程重心全面转向稀疏化推理与显存解耦。

阶跃星辰正式公布其旗舰模型Step 5 Preview,并宣布将在10月15日向全球开发者完整开源其权重。该模型总参数量高达600B(6000亿),采用前沿的细粒度稀疏专家混合(Sparse MoE)架构。在密集计算逼近物理功耗极限与互连带宽瓶颈的背景下,Step 5 Preview选择在超大规模参数下通过精细化路由激活机制实现推理加速,为大尺寸开源模型的落地开辟了全新的工程路径。

细粒度专家路由与通信拓扑优化

稀疏激活打破参数与算力绑架 在600B的总量级下,Step 5 Preview在每个Token前向传播时仅动态激活其中极小比例的专家网络。与传统粗粒度MoE方案相比,细粒度专家切分降低了单个专家的参数尺寸,大幅提升了模型在复杂上下文推理中的知识召回精度,同时将单Token的FLOPs消耗压缩到与中等尺寸稠密模型相当的水准。

长文本显存与拓扑感知调度 处理超大规模参数模型的通信开销向来是集群扩展的噩梦。阶跃星辰在训练架构中深度整合了专家并行(EP)与张量并行(TP)的拓扑感知路由,将频繁通信的专家节点收敛在单个服务器节点的高速NVLink域内,有效化解了跨节点All-to-All通信对网络带宽的极致压榨。 42.jpg

图源备注 图片由AI生成

算力重构下的开源生态裂变

本地化推理硬件门槛重定义 权重开源的最大价值在于给开发者社区提供了顶级的架构基座。得益于激活参数的精简与量化技术的进步,该模型有望使原本必须依赖多机多卡集群才能运行的600B级别推理任务,被压缩至消费级或单台工作站即可承载的显存区间,极大激发学术界与垂直行业二次微调的创造力。

国产多模态底座协议标准化 Step 5系列长期沉淀的多模态对齐能力将随开源权重注入开源社区。开发者不再需要依赖拼装海外开源组件来构建原生图文系统,围绕该架构将迅速衍生出一整套从量化加速、微调框架到边缘部署的国产化软硬件适配生态,冲击海外开源模型的垄断格局。 43.jpg

图源备注 图片由AI生成

600B开源权重的释放不仅是一次技术参数的秀肌肉,更是稀疏架构在规模化工程实践中对传统稠密路线的降维打击。

评论 (0)

暂无评论,快来发表第一条评论吧!