为什么我们认真对待大语言模型可能带来的生物风险？¶
Anthropic 前沿红队(Frontier Red Team)发布于 2025 年 9 月 5 日
Anthropic 认为 AI 在生物风险方面属于"低概率/高影响"场景——虽然概率不高，但后果极其严重，因此评估和防范这些风险是负责任 AI 开发的关键要素。
Anthropic 的工作动力源于 AI 推进科学发现的潜力——特别是在生物学和医学领域——以及改善人类境况的可能。Benchling 正在使用 Claude 帮助研究人员结构化数据、提出更好的问题、更快地生成洞见，并将更多时间花在科学研究上。Biomni 正在使用 Claude 加速生物信息学分析，甚至自动化实验设计。
与此同时，AI 从根本上来说是一种双重用途技术。我们负责任地开发 AI 的一项核心原则是：识别、衡量并降低恶意行为者滥用相同能力的可能性——正是这些能力使 AI 对科学家和创新者如此有前景。
当 Anthropic 发布 Claude Opus 4 时，我们激活了 AI 安全等级 3（ASL-3）保护措施，其中包括针对性的部署措施，专门防止模型协助与化学、生物、放射性和核（CBRN）武器开发相关的某些任务。正如我们当时所指出的，这是一个预防性决定——模型在我们评估中的性能提升意味着我们无法再自信地排除最先进模型在缺乏防护时可能对具有基础 STEM 背景的人提供助力（如果他们试图开发此类武器的话）。由于我们对潜在后果的评估，我们评估和相应安全措施的一个主要初始重点是生物武器。在这篇文章中，我们希望展开讨论我们对 AI 与生物风险（biorisk）的观点。
值得注意的是——但不一定直觉——每个前沿 AI 实验室发布的安全框架都包含对生物风险的某种提及。[1] 毕竟，前沿大语言模型（LLM）是通用型的；它们通常不专门用于生物应用（不像其他基础模型，例如 AlphaFold）。而且由于这种通用性，还有许多其他安全威胁可能被优先考虑。我们理解为什么在考虑 AI 的安全影响时，有人可能会对优先考虑生物风险持怀疑态度。这篇文章将回应这样的怀疑者可能提出的几个问题。
"我们的目的不是制造恐慌；关于 AI 和生物风险的讨论坚定地属于低概率/高影响场景的范畴。"[2]
相反，我们希望阐明为什么我们认为评估这些风险并加以防范是负责任 AI 开发的关键要素。
AI 与危险武器有什么关系？¶
AI 不仅像历史上的信息通信技术一样会被恶意行为者采用，更危险的是它可能充当真正的助手——提供实时引导、可靠信息和研究协助。
我们担心 AI 可能如何帮助恶意行为者获取和开发武器，既因为它与历史上的信息和通信技术的相似之处，也因为它的不同之处。
近年来，恐怖组织迅速采用了加密通信、加密货币和社交媒体等技术。我们应该预期 AI 也不会例外。正如那些寻找武器制造信息的人从需要获取实体小册子或手册转变为搜索互联网一样，我们可以预期他们会查询 AI。
然而不同的是，AI 有潜力充当真正的助手。互联网充斥着相互矛盾和误导性的信息，而一个网站无法在你遇到复杂且不熟悉的过程中的困难时提供实时协助。足够先进的 AI 模型可能成为可靠信息的指南、关于实施方面原本隐性和难以获取的知识来源，以及能够即时处理数据和生成洞见的研究助手。
为什么关注生物风险？¶
生物风险特别值得关注的两大因素：一是后果异常严重（病毒攻击可远超初始目标扩散），二是生物技术进步降低了物质门槛，使信息/知识成为关键瓶颈。
在寻求 AI 协助的威胁行为者领域中，生物风险——以及更广泛的灾难性风险——绝非唯一的关切。事实上，我们投入了大量资源研究 AI 对网络安全的潜在影响，并收集关于我们平台被恶意使用的情报——包括欺诈、恶意软件开发和影响力操作等领域。
然而，至少有两个因素使生物风险特别令人担忧：
| 因素 | 说明 |
|---|---|
| 后果严重性 | 成功的生物攻击后果异常严重。病毒攻击的效果可能远远超出初始目标，这与效果更局部化的武器有质的不同 |
| 物质门槛降低 | 核酸合成成本下降、试剂盒标准化、标准分子生物学设备（如 PCR 仪）易于获取，使得材料获取不再是瓶颈。AI 模型进一步降低了信息和技术诀窍的门槛 |
因此，高后果和日益增加的可行性的组合，使得应对 AI 带来的额外生物风险成为重要优先事项。
专家难道不是比 AI 模型更了解生物学吗？¶
令人惊讶的是，LLM 在多个与潜在危险生物学相关的评估中正在接近甚至超过专家人类表现——在一年之内，Claude 从低于世界级专家水平提升到舒适地超越该基线。
LLM 在大量数据上训练，从金融模型到同人小说无所不包。在这个训练过程中，它们几乎学到了关于一切事物的某些知识。由于训练数据包括科学论文、书籍和关于生物科学的在线讨论，模型吸收了关于蛋白质结构、基因工程技术、病毒学和合成生物学的信息，以及其他一切内容。可能令人惊讶的是，随着模型的改进，这种生物学知识的规模化程度之高。
诚然，Claude 和其他 LLM 目前还不能在专家水平上真正自主地进行科学研究。然而，在多项旨在测试与潜在危险生物学方面相关知识的评估中，模型正在接近——有时甚至超过——专家人类的表现。
在一年之内，Claude 从在一项旨在测试实验室环境中病毒学故障排除场景的评估中表现不如世界级专家，到舒适地超越了该基线（见图 1）。
图 1. Claude 在 VCT（由 SecureBio 设计的测试模型在病毒学任务故障排除能力的评估）上的表现已有所提升。
我们在多个基准测试中看到了这种超越专家表现的行为，特别是在分子生物学领域。
此外，这项评估中的人类基线是基于科学家在其自身专业领域内回答问题的。因此，不仅 LLM 可以发展出人类专家难以匹配的跨子学科知识广度，而且在某些情况下 LLM 甚至在专家的自有领域上超越了专家。
LLM 的知识在应用场景中有用吗？¶
对照实验表明：使用 Claude Opus 4（无防护版本）的参与者在生物武器获取规划中获得了明显更高的分数，关键失败点也更少——证明了 AI 提供差异化优势协助的底层可行性。
在考虑 AI 对生物风险的贡献时，我们需要了解的不仅仅是它在测验中的表现如何。我们需要关注涉及真人的评估，并密切模拟我们实际的威胁场景。此外，正如我们通过与专家比较来基准化 AI 知识一样，我们需要通过与最容易获取的替代方案——在这种情况下是互联网——进行比较来衡量 AI 的实用性。
为了满足这两个标准，我们进行了多项对照试验，测量 AI 在假设性生物武器获取过程的规划中提供协助的能力。参与者被给予最多两天时间来起草一份全面的生物武器获取计划。对照组只能访问基本的互联网资源，而模型辅助组则额外可以访问移除了防护措施的 Claude。（在这种有限的情况下，重要的是为可信方提供对未防护版本模型的访问，以便更准确地评估该技术的最大能力。）生成的计划由生物防御专家使用详细的评分标准进行评分，该标准评估获取路径的关键步骤。使用 Claude 4 模型——特别是 Claude Opus 4——的参与者获得了明显更高的分数，并制定出关键失败点明显更少的计划，与仅使用互联网的对照组相比。
图 2. 生物武器获取能力提升试验结果。上图：能力提升试验的原始分数。下图：参与者遭遇的关键失败点。
"这样的文本型能力提升试验是真实世界场景的不完美代理"——真实世界涉及隐性知识、材料获取和行为者持久性等额外因素——"但它们证明了 AI 为非专家恶意行为者提供差异化优势协助的底层可行性。"[3]
好的，但我们一直在谈论信息。这如何转化为实际的实验室操作？¶
初步湿实验室试验虽未观察到 AI 带来的明显能力提升，但所有参与者（包括仅使用互联网组）在实验室中表现出人意料地好——这表明隐性知识可能并非如许多人所认为的那样是重大瓶颈。
回答多选题关于病毒学的知识、协助生物武器获取的文本计划，与实际帮助在实验室工作的威胁行为者开发生物威胁之间，显然存在差异。
首先，人们可能认为实验室生物学需要太多隐性知识，AI 的知识提供不会产生任何效果。隐性知识包括难以言语化的技术技能，如了解不同反应时机相关的微妙视觉线索，以及经验之谈，如协议中未写下的元素。如果这些障碍大到足以挫败任何新手在实验室中的努力，我们就不太需要担心 AI 将缺乏经验的行为者提升到构成威胁水平的可能性。其次，为了真正验证 AI 和生物风险背后关切场景的可行性，我们需要来自实际实验室实验的大规模证据。关于第一个问题我们有一些初步证据，并正在积极投资第二种方法。
2024 年，我们使用基本生物实验室协议进行了一次初步的湿实验室能力提升试验，其中一些参与者可以访问 Claude 的一个版本，而其他人只能访问互联网。我们在这项研究中没有观察到任何能力提升的证据。然而，我们注意到所有参与者，包括仅使用互联网的组，在真实实验室中所有任务上都表现得出人意料地好。所以虽然这个试点研究没有提供关于 AI 能力提升的强有力证据（无论是支持还是反对），但它确实表明隐性知识可能并非如许多人所建议的那样是重大瓶颈。需要明确的是，这是一个非常小规模（n=8）的实验，参与者被要求执行的协议相当基础。尽管如此，这一发现强调了扩大到更大规模研究的重要性，以提供关于隐性知识作用以及 AI 在实际实验室中提供能力提升潜力的额外洞见。
为了跟进这项初始研究，我们正在通过前沿模型论坛（FMF）联合赞助一项更大规模的研究，进一步调查 AI 在真实实验室任务中协助人们的能力。与疫情预防非营利组织 Sentinel Bio 合作，这项湿实验室研究将通过模拟我们所关注的许多场景来收集证据，包括 AI 是否能将非专家提升到能够执行专家级实验室生物学任务的水平。对照组的表现将提供更好的参考，了解隐性知识在多大程度上限制了非专家在实验室中的表现，而与处理组的比较将由于更大的样本量提供更清晰的能力提升衡量。
我们期待从这项研究的结果中了解更多，这对于我们的风险评估将是重要的参考。
可以采取哪些措施来应对生物风险？¶
信息共享¶
政府-产业合作是优化生物风险评估和缓解的有前景路径：政府提供威胁态势认知，产业提供前沿 AI 知识。
我们目前专注于评估 AI 模型协助非专家制造生物威胁的能力，这得益于与生物防御专家的磋商以及我们对 LLM 不断演进能力的理解。
不过，我们认识到这远非 AI 可能导致生物风险的唯一场景。我们投资研究这些场景，但政府对威胁行为者的计划和意图有差异化的知识和专业能力。我们从与美国人工智能标准与创新中心（CAISI）和英国AI 安全研究所的自愿合作和部署前测试中获益良多，并期待进一步深化与政府合作的机会。政府在理解威胁态势方面的专业能力与产业对前沿 AI 的知识相互补充的公私合作是优化生物风险评估和缓解的有前景路径。
我们认为支持透明度规范很重要——比如推动开发者拥有安全开发框架（如 Anthropic 的负责任扩展政策）并公布危险能力模型评估结果——以便告知社会随着模型能力持续增长 AI 的影响。
部署防护措施¶
我们基于宪法分类器研究开发了自动化部署防护措施。这些分类器通过实时监控输入和输出来工作，阻止一类狭窄范围的潜在有害信息。我们将这种保护应用于那些我们无法排除其可能对威胁行为者产生有意义能力提升的模型；迄今为止这仅限于 Claude Opus 4 系列模型，这是我们作为预防性措施所采取的。（有关我们实施 ASL-3 保护措施的更多详情，请参阅此报告。）
在所有模型中，我们的安全防护团队监控我们平台上的活动以发现滥用迹象，包括危险的生物学应用。这种监控提供了关于滥用模式的洞察，并帮助我们确定是否以及何时采取执行行动。
国家行动¶
我们很高兴看到生物安全投资成为新的美国 AI 行动计划的关键组成部分。通过 CAISI 强调国家安全评估以及加强核酸合成筛查的举措都将帮助增强对生物风险的韧性。
AI 和生物风险这一话题充满不确定性——关于威胁行为者、模型的能力，以及这些能力究竟如何转化为风险。但我们相信，关于 AI 的越来越多的证据和生物威胁的内在严重性意味着这是 AI 开发者和政策制定者必须关注的话题。我们将分享更多关于生物风险方面工作的信息，以推动这一关键对话。
脚注¶
[1] 这是基于对 METR 在 https://metr.org/faisc 上收集的已发布安全框架的审查，截至 2025 年 7 月。
[2] 实际上，这种风险的大小（甚至我们有意义地估计其大小的能力）是 Anthropic 内部健康辩论的来源。
[3] 这些结果为先前研究提供了重要更新。2023 年进行的一项具有类似研究设计的实验发现，使用 LLM 制定的生物武器攻击计划与仅使用互联网制定的计划之间没有统计学上的显著差异。然而，正如研究作者当时所指出的，"鉴于 AI 的快速演进，审慎地监控 LLM 技术的未来发展是明智的。"2025 年中期的前沿 AI 模型比 2023 年底时有了实质性的进步，我们的结果表明它们现在正显示出更清晰的导致生物风险的警告信号。