返回首页
RadarAI··论文与技术

Meta 论文:从水印输出蒸馏的模型可被黑盒检测

中文摘要

Meta提出WM-Basin算法,通过黑盒分析可有效检测蒸馏模型是否来源于带水印的API,其检测率远超传统计数法。

English Summary

Meta's new WM-Basin method enables black-box detection of distilled models derived from watermarked APIs, significantly outperforming traditional token counting techniques in identification accuracy.

原文节选

Meta 新论文提出 WM-Basin,可从蒸馏模型的文本输出中黑盒检测其是否源自带水印的 API 输出。该方法把嫌疑模型的 API 输出转成固定探针模型的梯度,再与真实密钥比对;在 1,200 个蒸馏模型、0.1% 假阳性率下,对 n-gram=1 水印的检出率达 79%,而传统 token 计数仅 29%。量化、轻度剪枝和 RL 后训练未能消除该痕迹,但在干净数据上进一步微调会削弱它。