MerchantBench 评测显示八款 LLM 长周期任务表现远逊人类,最好模型仅达人类 27.3%
中文摘要
MerchantBench评测显示,八款主流LLM在长周期电商任务中表现不佳,最佳模型仅达人类水平的27.3%。
English Summary
MerchantBench evaluation shows eight leading LLMs struggle with long-term e-commerce tasks, with the best model reaching only 27.3% of human performance.
原文节选
MerchantBench 用 365 天电商模拟环境评测八款 LLM 智能体在长期连贯性上的表现,包括 GPT-5.6 Sol 和 Claude Opus 4.8。