Hermes 8B 内部状态预测与干预
中文摘要
研究发现可利用Hermes 8B少量隐藏状态数值精准预测并干预其内部状态,预测误差比基线降低69-76%。
English Summary
Researchers can predict and edit Hermes 8B's internal states using minimal hidden values, reducing prediction error by 69-76% compared to the baseline.
原文节选
你可以预测 LLM 内部状态的走向,并且有针对性的编辑可以将其拉回正轨。 在一个冻结的 Hermes 8B 上,从模型某一层的隐藏状态中取出的 8 个数字,可以预测几层之后发生的 68 项测量结果。 预测误差比简单的平均基线低约 69-76%。