ARC-AGI 三项基准分数呈强关联
中文摘要
ARC-AGI三项基准分数呈强关联,幂曲线可解释ARC-AGI-2约98%的变化,但不同版本间得分仍有显著差异。
English Summary
ARC-AGI benchmarks show strong correlation; a power curve explains 98% of ARC-AGI-2 variance, yet scores can still vary significantly between versions.
Original Excerpt
绘制 ARC-AGI 模型分数后发现,三项基准之间存在很强的关联。 例如,幂曲线 v2 = v1^4.53 能解释 ARC-AGI-2 分数约 98% 的变化。在 ARC-AGI-1 上得分相同的模型,在 ARC-AGI-2 上仍可能相差超过 20 个百分点。