OpenRouter 发布 LLM 基准测试教程:如何用自己应用的任务评测模型
中文摘要
OpenRouter发布教程,用真实任务评测LLM准确率、成本与耗时。GPT-6.1 Sol表现最佳,DeepSeek成本最低,且与公开榜单相关性低。
English Summary
OpenRouter released a tutorial evaluating LLMs via real tasks for accuracy, cost, and latency. GPT-6.1 Sol excelled, DeepSeek was cheapest, and correlation with leaderboards was low.
原文节选
OpenRouter 发布教程,讲解如何用应用的真实输入和输出契约评测 LLM,通过相同任务对比评分准确率、计费成本和请求耗时。在其 60 个合成任务上,GPT-6.1 Sol 三次重复全部通过 180/180,DeepSeek 成本最低、通过 157/180;与 Artificial Analysis 公开榜单的 Spearman 相关性仅 0.109。