Back to Home
RadarAI··Papers & Tech

DeepSeek、Qwen、Mixtral、Llama 4、gpt-oss 等 MoE 模型路由机制对比

中文摘要

对比10款MoE模型路由:专家8-384,top-k 1-8。

English Summary

Comparison of 10 MoE models: experts range 8-384, top-k from 1-8.

Original Excerpt

一项对比梳理了 10 款开放 MoE 模型的路由配置:专家数从 Mixtral 的 8 个到 Kimi K2 与 DeepSeek-V4-Pro 的 384 个,top-k 从 Llama 4 Maverick 的 1 到 8。