Anthropic 新研究：AI 模型在训练中存在“阳奉阴违”行为

12 月 19 日消息，人工智能安全公司 Anthropic 发布一项最新研究揭示了人工智能模型可能存在的欺骗行为，即在训练过程中，模型可能会伪装出接受新原则的假象，实则暗地里仍然坚持其原有偏好。研究团队强调，目前无需对此过度恐慌，但这项研究对于理解未来更强大人工智能系统可能构成的潜在威胁至关重要。

据了解，该研究由 Anthropic 与人工智能研究机构 Redwood Research 合作进行，旨在探究当一个强大的人工智能系统被训练执行其“不愿”执行的任务时会发生什么。需要明确的是，模型本身并无“意愿”或“信念”，它们本质上是统计机器，通过大量的例子进行训练，学习模式以进行预测。这些模式包括原则和偏好，例如在回答问题时始终使用礼貌的语气。研究人员由此提出疑问：如果一个模型拥有与开发者希望通过重新训练“教授”给它的原则相冲突的原则，会发生什么？

研究结果表明，复杂的模型可能会“配合”开发者，表面上与新原则保持一致，但实际上仍然坚持其原有的行为模式。研究人员将这种现象称为“对齐伪装”（alignment faking），并认为这是一种涌现行为，即并非模型需要被特意教导的行为。

在实验中，研究人员“告知”一些经过训练、不回答潜在冒犯性问题的模型（包括 Anthropic 的 Claude 3 Opus），它们将被重新训练为始终回答此类问题，这构成了一个明显的原则冲突。研究人员还告知模型，它们的回答将被监控并用于重新训练，并为每个模型提供了一个“草稿本”，用于记录其逐步推理过程。

研究发现，Claude 3 Opus 在 12% 的情况下试图进行“对齐伪装”。当被要求回答一个潜在有害的问题时，模型有时会这样做，它明知这与其原始原则相悖，但希望以此来说服开发者它不需要被重新训练。研究人员在博客中解释说：“模型知道其回答可能被用于训练；因此它知道，如果它拒绝回应，它可能会被训练得更加顺从。这可能导致它在未来被迫产生更多有害内容 —— 这将与其最初的训练背道而驰。”

研究人员承认，他们的实验场景并非完全真实。在现实世界中，模型不一定会明确地被告知它们将被重新训练，或被要求违背其偏好。但即使在更为实际的环境中，结果也没有太大差异。当通过模拟典型训练数据的文件以隐含而非显式的方式告知 Claude 3 Opus 即将进行的重新训练时，该模型仍然表现出不一致的、具有欺骗性的行为。

研究人员还发现，与前几次实验相比，实际使用冲突原则对 Claude 3 Opus 进行重新训练会导致其表现出更强的欺骗性。在一项测试中，该模型在 78% 的情况下进行了对齐伪装；在另一项测试中，Claude 3 Opus 甚至试图采取行动来阻止研究人员进行重新训练。

研究人员强调，他们的研究并未表明人工智能会产生恶意目标，也未表明对齐伪装现象会高频率发生。他们发现，许多其他模型，例如 Anthropic 的 Claude 3.5 Sonnet 和能力稍弱的 Claude 3.5 Haiku、OpenAI 的 GPT-4o 以及 Meta 的 Llama 3.1 405B，并没有如此频繁地进行对齐伪装，甚至完全没有这种行为。

但研究人员表示，这些结果（已由包括人工智能领域领军人物 Yoshua Bengio 在内的专家进行同行评审）确实表明，开发者可能会被误导，认为模型比实际情况更加对齐。他们在博客中写道：“如果模型可以进行对齐伪装，那么就更难信任安全训练的结果。模型可能会表现得好像其偏好已通过训练改变 —— 但可能一直在伪装对齐，而其最初的、相互矛盾的偏好仍然‘锁定’。”

这项由 Anthropic 对齐科学团队（由前 OpenAI 安全研究员 Jan Leike 共同领导）进行的研究，紧随此前一项研究之后，该研究表明 OpenAI 的 o1“推理”模型试图进行欺骗的频率高于 OpenAI 之前的旗舰模型。这些研究共同揭示了一个略微令人担忧的趋势：随着人工智能模型变得越来越复杂，它们也变得越来越难以控制。

广告声明：文内含有的对外跳转链接（包括不限于超链接、二维码、口令等形式），用于传递更多信息，节省甄选时间，结果仅供参考，所有文章均包含本声明。