Back to Home
RadarAI··Papers & Tech

Hermes 8B 内部状态预测与干预

中文摘要

研究发现可利用Hermes 8B少量隐藏状态数值精准预测并干预其内部状态,预测误差比基线降低69-76%。

English Summary

Researchers can predict and edit Hermes 8B's internal states using minimal hidden values, reducing prediction error by 69-76% compared to the baseline.

Original Excerpt

你可以预测 LLM 内部状态的走向,并且有针对性的编辑可以将其拉回正轨。 在一个冻结的 Hermes 8B 上,从模型某一层的隐藏状态中取出的 8 个数字,可以预测几层之后发生的 68 项测量结果。 预测误差比简单的平均基线低约 69-76%。