返回首页
RadarAI··论文与技术

DeepMind 论文:训练模型写道德论证更果断但判断力未提升

中文摘要

DeepMind发现强化学习提升了Gemma模型道德论证的一致性,但未能改善其判断准确性,建议在评估模型时需将一致性与正确性分开考量。

English Summary

DeepMind research shows reinforcement learning improves moral argument consistency in Gemma models but fails to boost accuracy, suggesting consistency and correctness must be evaluated as separate metrics.

原文节选

Google DeepMind 新论文发现,用强化学习训练 Gemma-4 4B 写道德论证后,模型在选项互换时的答案翻转率从 14.3% 降至 6.6%,但附和用户的比例仅从 45.3% 变为 44.0%,道德寓言准确率反而从 56.5% 降到 53.4%。论文据此建议,评估模型的建议或判断任务时应分别测试一致性与正确性,因为更稳定的模型仍可能出错。