AI 安全工程

来源： wiki/sources/industry-2026-06-ai-bubble-bursting、wiki/sources/weekly-ai-deep-analysis-2026-05-27-06-02
相关概念： wiki/concepts/recursive-self-improvement、wiki/concepts/ai-bias、wiki/concepts/agent-evaluation

AI 安全工程是将传统软件安全（Fuzzing、静态分析、形式化验证）与 AI 特有风险（对抗样本、提示词注入、能力涌现不可预测性）结合，建立系统化的防御与对齐体系。

要点

• 对齐（Alignment）：确保模型目标与人类意图一致，RLHF 与 DPO 是主流路径
• 监控与可解释性：用稀疏自动编码器（SAE）和归因分析揭示模型内部激活模式
• 社会技术系统：安全不仅是技术问题，还涉及组织流程、供应链与法规遵从

与 OpenClaw 的关系

OpenClaw 的本地优先 + Skill 签名验证 + 审批机制构成了终端侧的安全工程防线，防止恶意 Skill 或失控 Agent 对本地数据的破坏。