商汤开源 SenseNova Loop-9B-Preview,9B 参数达到 27B 级性能
中文摘要
商汤开源 SenseNova Loop-9B-Preview,凭借创新架构以 9B 参数实现 27B 级强悍性能。
English Summary
SenseSenseNova open-sources Loop-9B-Preview, using innovative Looped Transformer architecture to achieve 27B-level performance with only 9B parameters.
原文节选
商汤发布并开源 SenseNova Loop-9B-Preview,采用 9B 参数共享循环的 Looped Transformer 加 mHC(Manifold-Constrained Hyper-Connections)改进信息流与推理。