共 2 篇
读完能明白模型输出为什么难追溯到具体训练数据：现有评估把多个变量搅在一起，新研究用虚构知识造出标准答案，找出归因失灵的两个原因并给出修法。
微调数据表面无害也可能练掉安全性。论文提出可扩展的梯度对齐筛查，从百万级样本里找出与不安全行为同向的梯度，删掉后 GCG 攻击成功率最多降 22 个百分点且能力不掉，工具已开源。