Meta 与密歇根州立大学论文:LLM 推理图质量参差
中文摘要
Meta研究发现LLM推理图质量参差不齐,错误会影响置信度。图质量取决于模型家族而非规模,建议先核查推理图。
English Summary
Meta research shows LLM reasoning graphs vary widely, affecting confidence scores. Quality depends on model family rather than scale. Verify graphs before trusting results.
Original Excerpt
Meta 与密歇根州立大学的新论文发现,LLM 构建的推理图质量差异很大,且图中的错误会传导到基于图计算的置信度分数上。研究测试了 9 个模型,从给定步骤到完全自建图逐步减少辅助,结果显示图质量更多与模型家族和图结构相关,而非模型规模,Qwen3-32B 回答子问题的表现甚至不如 Qwen3-8B。作者建议在信任基于 LLM 推理图得出的答案或置信度之前,先检查图本身。