芝加哥大学:LLM 自述决策关键因素不可靠
中文摘要
芝加哥大学研究发现,LLM对自己决策关键因素的解释并不准确且不可靠,无法反映实际影响变量。新评估方法显著降低了分析成本。
English Summary
UChicago study shows LLMs' self-reported decision factors are unreliable and inconsistent with actual influences. A new evaluation method reduces costs to 1/86th of traditional benchmarks.
原文节选
芝加哥大学新论文发现,LLM 对自己决策关键因素的自我说明与实际影响其答案的变量并不一致,模型无法预测自身答案分歧所在的关键问题。研究让模型多次预测 59 场 March Madness 比赛和 15 个 Metaculus 事件,再用 reranker 比对预测对以找出争议事实,成本约为本地 LLM 评判的 1/86。