Anthropic 研究院的重点研究方向¶
Anthropic 研究院(TAI)利用前沿实验室内部可获得的信息,研究 AI 对世界的影响并向公众分享发现,其研究议程聚焦经济扩散、威胁与韧性、现实中的 AI 系统、以及 AI 驱动的研发四大方向。
引言¶
Anthropic 研究院(TAI)的团队利用前沿实验室内部可获取的信息来研究 AI 对世界的影响,并将所学与公众分享。本文分享了驱动其研究议程的核心问题。
该议程聚焦于四个研究领域:
- 经济扩散
- 威胁与韧性
- 现实中的 AI 系统
- AI 驱动的研发
正如 AI 安全核心观点中所述,"进行有效的安全研究需要与前沿 AI 系统密切接触"——同样的逻辑适用于研究 AI 对安全、经济和社会的影响。
在 Anthropic 内部,他们已观察到早期迹象:软件工程等工作正在发生根本性变化、内部经济正在转型、新威胁正在涌现、AI 开始加速 AI 研发本身。
TAI 将分享的内容¶
- 通过 Anthropic 经济指数以更高频率提供关于劳动力影响和 AI 使用的更细粒度信息,作为颠覆的早期预警信号
- 关于哪些社会领域需要投资韧性以应对 AI 赋能安全风险的研究
- Anthropic 自身工作如何被 AI 工具加速的详细信息,以及潜在递归式自我改进的含义
TAI 对 Anthropic 的影响¶
TAI 影响着 Anthropic 的决策——促使其分享本不会公开的数据(如经济指数),或以不同方式对待技术发布(如将网络威胁分析纳入 Project Glasswing)。
TAI 的工作将日益成为 Anthropic 长期利益信托基金(LTBT)的输入,该信托的使命是确保 Anthropic 为人类长期利益优化。本议程与 LTBT 及 Anthropic 全体员工共同制定。
这是一份动态议程,欢迎反馈并将根据对话进行修订。
有兴趣参与研究的人可以申请 Anthropic Fellowship——为期四个月的带薪机会,由 TAI 团队成员提供指导。申请入口。
研究议程¶
最后更新:2026 年 5 月 7 日
一、经济扩散¶
理解部署日益强大的 AI 如何改变经济,开发经济数据和预测能力以有益地部署 AI。
为回答这些问题,TAI 将进一步开发 Anthropic 经济指数并探索其他方法来建模 AI 的社会效应。
AI 采用与扩散¶
谁在采用 AI? AI 开发集中在少数公司和国家,但部署是全球化的。关键问题包括:获取 AI 的决定因素是什么?经济价值如何被捕获?哪些政策/商业模式能改变平衡?免费/开放权重模型如何贡献?
企业内的采用: 什么因素导致企业级 AI 采用及其后果?AI 如何改变企业/团队的最优规模?AI 使用在企业间的集中程度如何?
如果一个 3 人团队能完成以前 300 人的工作,会发生什么?又或者,如果大规模集中化知识激励了更大的企业(伴随更大程度的员工监控),又会怎样?
AI 是通用目的技术吗? AI 是否遵循此前通用目的技术的模式——在高利润商业应用中采用最快,在社会回报超过私人回报的领域采用最慢?政策能否改变这些动态?
生产力与经济增长¶
- 生产力增长: AI 对创新和生产力增长率的影响
- 分享收益: 哪些预分配或再分配机制能更广泛地传播 AI 开发/部署的收益?
- 市场交易成本: AI 如何影响交换系统和交易成本?什么时候获得谈判代理能改善效率和公平结果?什么时候不能?
广泛的劳动力市场影响¶
AI 与就业: AI 将如何改变整个经济中的工作和就业?可能出现哪些新任务/新工作?地区/国家间有何差异?Anthropic 经济指数调查提供月度信号,经济指数正在更新以提供更高频、更细粒度的数据。
AI 扩散能否被调节? 央行通过政策利率和前瞻指引等"旋钮"来调控通胀。AI 公司(在行业层面,与政府合作)是否有类似的"旋钮"来逐行业控制 AI 扩散?这样做是否有明确的公共利益?
工作与职场的未来¶
| 研究问题 | 核心关切 |
|---|---|
| 工作者如何看待自己的工作 | 专业变化的体验、影响力、工人权力能否被保留或转型 |
| 职业培养管道 | 如果 AI 吸收了构建专业能力的初级任务(律师助理、初级分析师、初级开发者),人们如何成为专家? |
| 该学什么 | 今天应该学什么?未来的职业是什么?AI 如何改变学习和专业发展? |
| 有偿工作的角色 | 如果 AI 降低了有偿工作的中心地位,什么条件能让时间被重新分配到有意义的事情上? |
二、威胁与韧性¶
AI 系统同时提升多种能力,包括双重用途能力。更强的生物学能力 = 更强的生物武器。更强的编程能力 = 更强的黑客攻击。
这些问题帮助建立韧性伙伴关系和早期预警系统。许多问题将驱动 Frontier Red Team 的研究议程。
评估风险与双重用途能力¶
- 双重用途技术: 强大的 AI 本质上是双重用途的。能否构建可观测性工具来了解这是否/如何发生?
- 适当的风险定价: 有哪些有效的市场驱动方法来增强社会韧性?需要哪些新的风险定价方法、技术工具和人类组织?
- 攻防平衡: AI 赋能的能力在网络/生物领域是否会结构性地有利于攻击者?在指挥/控制集成等常规领域呢?AI 将如何改变人类冲突的特征?
建立风险缓解机制¶
- 危机场景规划: 冷战期间,美国总统与克里姆林宫之间有热线。AI 危机场景需要什么样的地缘政治基础设施?可能是公司对国家或公司对公司,而非仅限于国家对国家。
- 更快的防御机制: AI 能力以月为单位推进;监管/保险/基础设施响应需要数年。如何缩小差距?自动化修补、AI 驱动的威胁检测或预置响应能否匹配 AI 赋能攻击的节奏和规模?这种不对称是结构性的吗?
监控的情报能力¶
- AI 对监控的影响: AI 如何改变监控。监控会变得更便宜、更有效,还是两者兼具?
三、现实中的 AI 系统¶
人与组织同 AI 的交互是社会变革的主要驱动力。
理解 AI 如何改变与之互动的个人和机构是 社会影响团队的核心关注点。他们正在推进现有工具并构建新工具——从平台可观测性软件到大规模定性调查工具。
AI 对个人和社会的影响¶
- 群体认识论: 当大部分人口咨询同样少数几个模型时,认识论会发生什么?能否测量到可归因于共享 AI 使用的大规模信念变化、写作风格转变和问题解决方式改变?
- 批判性思维: 如何检测和避免人类批判性思维因日益依赖 AI 判断而退化?
- 技术界面: 界面决定交互方式——电视造就被动观众,电脑赋能生成式创作。什么界面能让 AI 改善和促进人类能动性?
- 管理人机系统: 人类如何管理人机混合团队?AI 系统如何管理人类、AI 或混合团队?
识别 AI 的重大影响¶
- 行为效应: 如同社交媒体带来的行为变化,AI 可能塑造人类行为。什么监测/测量能为研究者提供信息?
- 赋能研究: 是否存在使广泛研究真实 AI 使用成为可能的透明度制度和工具——不仅限于前沿公司?
理解和治理 AI 模型¶
| 问题 | 要点 |
|---|---|
| 系统"价值观" | AI 系统表达的"价值观"是什么?与训练有何关系?如何测量 AI "宪法"对部署行为的影响?延续此前研究 |
| 治理自主代理 | 哪些现有法律/治理/问责机制可适应自主 AI 代理?海事法对弃船的处理方式与无人监督运行的代理有关联性 |
| 代理可靠性 | 能否确保代理即使没有直接人类控制也有可靠输出的唯一身份? |
| AI 治理 AI | AI 能多有效地治理 AI 系统?人类在哪些方面有比较优势或法律/规范要求"在环"? |
| 代理间交互 | 代理对代理交互中涌现出什么规范?不同代理如何表达偏好并影响其他代理? |
四、AI 驱动的研发¶
随着 AI 日益强大,科学家将其用于更多研究——越来越自主,人类主动监督越来越少。在 AI 研究中,更强大的系统可能帮助开发后续版本——这有时被称为"AI 驱动的 AI 研发"。
AI 驱动的 AI 研发可能是构建更智能系统的"自然红利"。正如编程进步带来双重用途的网络能力,科学进步带来双重用途的生物能力,复杂技术工作的进步可能产生有能力开发 AI 系统的 AI 系统。
这蕴含着巨大的潜在危险。政策制定者需要理解 AI 进步速度正在如何变化,以及 AI 研究是否可能出现复合回报。
AI 用于 AI 研发¶
- AI 研发治理: 如果 AI 系统自主开发/改进自身,人类如何行使有意义的可见性和控制?什么将治理这些系统?
- 消防演习场景: 如何为智能爆炸运行"消防演习"?测试实验室领导层、董事会和政府决策的桌面推演会是什么样的?
- AI 研发遥测: 如何测量 AI 研发的总体速度?必须存在什么遥测/技术手段?AI 研发指标如何作为递归式自我改进的早期预警信号?
- 控制 AI 加速: 如果智能爆炸来临,哪些干预点能促进减缓或改变其速率?哪些实体应掌握这种能力——政府?公司?
AI 用于通用研发(其他领域的 AI 驱动研究)¶
- 科技树: AI 对不同科学的加速不均匀,取决于数据可用性、评估信号以及多少知识是隐性的/被机构把持的。这种梯度有多不均匀?科学进步构成的变化对哪些问题首先被解决意味着什么?
- 参差不齐的前沿: 模型能力在某些领域更强。具有大正外部性的领域(药物发现、材料科学)获得的投资低于其应得水平。市场通过私人回报引导模型改进——能否为社会外部性改善模型性能?