Elorian 发布 DecoyCount 基准,前沿模型视觉计数得分低于 50%
中文摘要
Elorian与Mercor发布DecoyCount基准,测试模型是真计数还是依赖视觉捷径,结果显示前沿模型视觉计数得分低于50%。
English Summary
Elorian and Mercor released DecoyCount to test if models truly count or use visual shortcuts; leading models scored below 50% in visual counting.
Original Excerpt
Latent Space 采访 Elorian CEO Andrew Dai,介绍其与 Mercor 联合发布的 DecoyCount 基准,测试模型是真正数数还是依赖视觉捷径。