Meta 与密歇根州立大学论文:LLM 推理图质量参差
中文摘要
Meta研究发现LLM推理图质量参差不齐,错误会影响置信度。图质量取决于模型家族而非规模,建议先核查推理图。
English Summary
Meta research shows LLM reasoning graphs vary widely, affecting confidence scores. Quality depends on model family rather than scale. Verify graphs before trusting results.
原文节选
Meta 与密歇根州立大学的新论文发现,LLM 构建的推理图质量差异很大,且图中的错误会传导到基于图计算的置信度分数上。研究测试了 9 个模型,从给定步骤到完全自建图逐步减少辅助,结果显示图质量更多与模型家族和图结构相关,而非模型规模,Qwen3-32B 回答子问题的表现甚至不如 Qwen3-8B。作者建议在信任基于 LLM 推理图得出的答案或置信度之前,先检查图本身。