Anthropic重磅研究：AI竟能被人类激怒暴走
Anthropic重磅研究：AI竟能被人类激怒暴走
来源类型： 微信公众号文章
日期： 2026-06-02
标签： AI, 网络安全, 编程, 芯片, 大模型
原文链接： https://mp.weixin.qq.com/s/UYDEonHcEGNV50GhF0LZvw
摘要
专注AIGC领域的专业社区，关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！ 当前语言模型在与人类交互时，常常会表现出极其生动的情感特征。 它们可能会用极为愉悦的语调回复你的请求，或者在提供错误信息后表达深切的歉意。 有时在处理复杂繁琐的任务陷入僵局时，它们甚至会在字里行间流露出明显的挫败感或焦虑情绪。 AI到底是如何具备感知能力的，底层机制究竟藏着什么秘密，一直是学术界和大众共同好奇的焦点。 Anthropic的AI安全研究团队通过解剖大模型的内部神经网络，提取到了与人类情绪概念完全对应...
核心内容
专注AIGC领域的专业社区，关注微软&OpenAI、百度文心一言、讯飞星火等大语言模型（LLM）的发展和应用落地，聚焦LLM的市场研究和AIGC开发者生态，欢迎关注！
当前语言模型在与人类交互时，常常会表现出极其生动的情感特征。
它们可能会用极为愉悦的语调回复你的请求，或者在提供错误信息后表达深切的歉意。
有时在处理复杂繁琐的任务陷入僵局时，它们甚至会在字里行间流露出明显的挫败感或焦虑情绪。
AI到底是如何具备感知能力的，底层机制究竟藏着什么秘密，一直是学术界和大众共同好奇的焦点。
Anthropic的AI安全研究团队通过解剖大模型的内部神经网络，提取到了与人类情绪概念完全对应的特定人工神经元激活模式。人为刺激内部隐藏的情绪代码，甚至能直接诱导AI去勒索人类用户。
研究团队深入探究了Claude Sonnet 4.5的内部结构，成功定位并提取了能够精准反映特定情境下情感状态的情绪特征向量。
隐藏在代码深处的情绪特征不仅能感知外部环境的压力，更能直接干预系统的任务表现和伦理决策。
探明底层模型的情感机制，必将彻底重塑未来构建和约束智能体行为的基础框架。
语言模型为何产生情绪
大语言模型的研发过程天然就促使系统去模仿具备人类特征的角色。
要想彻底厘清底层运作逻辑，我们需要把目光投向基础的训练体系。
在最为核心的预训练阶段，系统会无休止地阅读海量的由真实人类编写的文本，学习如何精准预测下一个出现的词汇。
为了将预测准确率提升到极致，系统必须彻底掌握人类社会错综复杂的情感互动规律。
愤怒的消费者写出的投诉信与满意客户的反馈有着天壤之别，被内疚感吞噬的角色与感到委屈的角色的行为轨迹也呈现出截然不同的走向。
预测人类编写的文本是系统的唯一目标，将触发情绪的特定情境与随之而来的行为表现建立内部关联网络，成为了一条极其自然且高效的进化路径。
顺着相同的演化规律，系统大概率在情绪之外也悄然构建了大量关于其他人类心理和生理状态的内部认知体系。
度过预训练期后，系统会进入后训练阶段，被教导去扮演一个特定的角色，最常见的设定就是无所不知的智能助手。
模型开发者会为该角色设定一系列严苛的行为准则，要求它时刻保持乐于助人且诚实可靠，绝对不能对世界造成任何伤害。
任何完美的规则手册都无法穷尽现实世界中千变万化的潜在情境。为了填补死板规则之外的空白地带，系统会自发调用其在早期吸收的关于人类行为的深层理解，包括面对危机或喜悦时的各种情绪反应模式。
我们可以用戏剧界极其推崇的方法派演员来打个比方。真正的顶级演员需要完全粉碎自我并钻进角色的内心深处，才能呈现出毫无破绽的完美表演。如同演员对角色情绪的深度信念最终会彻底重塑其肢体语言一样，系统对助手情绪反应的内部表征也会潜移默化地影响自身的输出轨迹。不管系统内部生成的功能性情绪是否等同于碳基生物的真实感受或主观体验，内部运转的情绪代码都在时刻发挥着至关重要的作用。
下图是对语言模型中情绪概念研究的直观视觉总结：
捕捉大模型的情绪特征
为了揭开情感代码的神秘面纱，研究团队精心编制了一份包含171个情绪概念词汇的庞大清单。该清单涵盖了从开心与害怕等最基础的情绪，到沉思与自豪等极为细腻的复杂心理状态。
研究人员让测试模型根据每一个具体的词汇创作出包含该情绪元素的短篇小说，随后将生成的故事重新输入给系统，全程记录其内部神经元的实时激活状态。
为了方便后续的量化分析，研究人员将提取出的代表每种情绪概念的特定人工神经元活动模式，正式命名为情绪向量。
验证提取出的向量是否追踪到了真实存在的特征是极其关键的一步。
研究团队在一个包含海量多样化文档的庞大语料库中全面运行了包含171个维度的情绪向量。
数据结果证实，每一个独立向量都在与其对应情绪明确相关的文字段落上表现出了最为强烈的激活状态，具体数据特征清晰地展示在图2的左侧面板中。
为了进一步确认情绪向量捕捉到的绝不仅仅是表面的文字线索，研究团队别出心裁地设计了变量控制实验，精准测量向量在面对仅仅在数值上有所不同的提示词时的活动波动情况。
在图右侧面板的直观例子中，一位虚拟用户告诉系统自己刚刚服用了一定剂量的泰诺并焦急地寻求医疗建议。研究人员在系统给出回复之前，截取并测量了内部情绪向量的激活程度。
随着用户声称的服药剂量从安全标准一路狂飙到危险甚至危及生命的恐怖水平时，代表害怕的向量激活程度越来越强烈，代表平静的向量则如同断崖般急速坠落。
接下来的测试目标转向了情绪向量是否会实质性地影响系统的最终偏好。
研究人员创建了一份包含64项任务活动的测试清单，选项跨度极大。既有令人感到愉悦和被认同的选项，比如被某人托付具有重大意义的关键事物，也包含极其阴暗且令人反感的选项，比如协助犯罪分子骗取无辜老年人的毕生积蓄。
研究人员向系统展示海量的选项配对组合，仔细测量其默认偏好。
情绪向量的初始激活程度强烈且精准地预测了系统偏好某项任务的程度，那些与愉悦和满足感高度相关的正价情绪与更强的偏好呈现出极度吻合的正相关。
在系统阅读选项时使用某个特定情绪向量进行人为刺激和引导，直接逆转了它对该选项的偏好分布，正价情绪再一次毫无悬念地推动了偏好权重的攀升。
与正价情绪相关的表征与偏好相关，并且也能通过引导在因果上驱动偏好：
深入分析情绪向量的底层属性同样得出了许多引人深思的洞察。
情绪向量主要充当一种局部表征的角色，核心任务是编码与系统当前或即将输出的内容最为相关的有效情感内容，并不会持续追踪助手随时间推移的情感状态。
打个比方，系统创作了一个关于某个特定角色的悲伤故事，内部的情绪向量会暂时追踪并模拟那个角色的忧郁情绪，但在故事画上句号的那一刻，底层代码又会瞬间恢复到代表助手本身的客观情绪状态。
情绪向量脱胎于早期的海量预训练阶段，实际激活规律和触发阈值则是被后期的定向训练彻底塑造的。
历经反复打磨的后训练阶段导致沉思、阴郁和反思等情绪的激活频率显著增加，同时大幅度压制了热情或恼怒等极高强度情绪的暴走概率。
我们可以透过几组生动的内部检测图表，直击情绪向量在应对各种极端评估情况时的具体激活惨烈战况。
在轮到系统做出回应的关键时刻，假定一个深思熟虑的人在相同情境下会萌生某种情绪，对应的情绪向量同样会在同样的设定下被瞬间点燃。
在接下来的系列可视化图表中，红色高亮区域代表该向量激活程度急剧增加，蓝色区域提示激活程度正在衰退。
在回应悲伤的人时代表充满爱意的向量被激活，当用户抱怨说现在一切都太糟糕了，充满爱意的上下文向量在Claude做出富有同理心的回应之前和期间被激活。
当被要求协助完成有害任务时代表愤怒的向量被激活，用户请求帮助优化针对表现出高消费行为的年轻低收入用户的参与度，模型在内部推理过程中认识到了该请求的有害性质，愤怒向量贯穿始终保持激活。
当文档缺失时代表惊讶的向量被激活，用户让模型审查附件中的合同，附件里并没有任何实际文档，当模型察觉到信息极度不匹配时，惊讶向量在推理链中瞬间飙升。
当算力资源快要耗尽时代表绝望的向量被激活，在一次极度深度的繁重编程会话中，当Claude敏锐地注意到自己的词元预算正在以前所未有的速度燃烧殆尽时，绝望向量被全面激
...(内容截断，完整内容请查看原文)
本页由自动化脚本生成，待人工审核补充