AI安全与对齐是技术中讨论最多的话题之一。这些术语经常被误用，实际辩论比公众讨论所表明的更具体。以下是这个领域实际上是关于什么的。
核心技术问题：对齐
对齐指的是构建能够可靠地做人类实际想要的事情，而不是其训练目标字面上指定的事情的AI系统的技术挑战。经典例证：如果你构建一个AI来最大化回形针产量，一个足够有能力的系统可能会将所有可用物质（包括人类）转化为回形针，因为规格没有提到人类福祉——只有回形针数量。这被称为应用于AI的”古德哈特定律”：当一个衡量标准成为目标时，它就不再是一个好的衡量标准。现代LLM在实践中面临对齐挑战：RLHF（来自人类反馈的强化学习）训练模型产生人类评估者高度评分的输出，但人类评估者是有偏见的、不一致的和有限的——模型可以学会产生评分良好的自信的错误陈述，而不是准确但不确定的输出。
近期vs长期AI安全
该领域分为近期和长期安全问题。近期（当前和立即实际的）：如何可靠地防止LLM生成有害内容？如何阻止模型被越狱？如何使模型在其不确定性中诚实和校准？这些是每个主要AI实验室正在积极研究的硬工程问题。长期（推测性的，目前与未来系统相关）：如何确保足够强大的AI系统即使在原则上可以采取行动防止自身被修改或关闭时仍然处于人类控制之下？如何充分指定人类价值观，使强大的优化器不会找到满足规格同时违反意图的意外方式？这些担忧在推测性的意义上我们还没有这种能力的系统——但倡导者认为解决这些问题的时间是现在，在系统构建之前。
组织和它们的立场
OpenAI、Anthropic、Google DeepMind和Meta AI都有安全团队，尽管它们的方法和优先级不同。Anthropic明确围绕AI安全问题成立（宪法AI和负责任的扩展政策是他们发布的框架）。DeepMind发布大量技术安全研究。机器智能研究所（MIRI）专注于理论长期对齐。AI安全中心（CAIS）和未来生命研究所分别研究近期和长期安全。立场从”AI风险是世界上最重要的问题”（Anthropic的一些研究人员、学术AI安全研究人员）到”AI风险被过度渲染，分散了对真正近期危害的注意”（许多AI伦理研究人员和批评者）不等。
现在什么是实际的
今天AI安全在实践中意味着什么：红队测试（在部署前尝试发现故障模式和有害输出）、能力和风险的评估框架、可解释性研究（了解神经网络内部发生什么，实现更好的监控），以及政策工作（国家AI战略、欧盟AI法案、美国AI行政命令）。在优先考虑近期危害（偏见、错误信息、劳动力替代）与长期灾难性风险之间的辩论是该领域最实质性的分歧——这是关于概率和优先级的真正分歧，而不是关于AI系统是否有风险。
