Back to Home
RadarAI··Papers & Tech

芝加哥大学:LLM 自述决策关键因素不可靠

中文摘要

芝加哥大学研究发现,LLM对自己决策关键因素的解释并不准确且不可靠,无法反映实际影响变量。新评估方法显著降低了分析成本。

English Summary

UChicago study shows LLMs' self-reported decision factors are unreliable and inconsistent with actual influences. A new evaluation method reduces costs to 1/86th of traditional benchmarks.

Original Excerpt

芝加哥大学新论文发现,LLM 对自己决策关键因素的自我说明与实际影响其答案的变量并不一致,模型无法预测自身答案分歧所在的关键问题。研究让模型多次预测 59 场 March Madness 比赛和 15 个 Metaculus 事件,再用 reranker 比对预测对以找出争议事实,成本约为本地 LLM 评判的 1/86。