永华证券杠杆股票奥尔特曼领衔成立新安全委员会，OpenAI安全文化警报解除了吗

OpenAI正雄心勃勃筹划着下一代人工智能（AI）软件，但原安全团队的解散与核心成员的集体“跳船”，也给这家AI“当红炸子鸡”企业拉响了安全警报。

当地时间28日，OpenAI首席执行官奥尔特曼（Sam Altman）领衔成立了该公司全新的安全委员会，监督系统的后续开发，原安全团队离开带来的隐忧和安全文化警报就此解除了吗？

莱克指责OpenAI

“宫斗”表象平息，分歧并未弥合？

去年7月，OpenAI组建“超级对齐”团队，其职能是确保这家公司研发的AI系统符合人类利益和价值观。然而，不到一年，该团队两位负责人本月相继出走，多位骨干成员主动辞职或被解雇，OpenAI也在本月中旬将这一团队彻底解散。

去年11月，奥尔特曼在所谓“高层内斗”中被董事会闪电解雇，又在短短数日后重返原职。而这场激烈变动的起因，被认为正是OpenAI内部对于AI安全性的巨大分歧。

OpenAI联合创始人兼首席科学家苏茨克维尔（Ilya Sutskever）是“超级对齐”团队的负责人之一，也被视为奥尔特曼被解雇事件的发起人之一。相比奥尔特曼对AI领域技术进步的乐观态度，苏茨克维尔要谨慎得多，他认为，通用人工智能（AGI）的发展可能“会出现雪崩”，从而给人类社会带来不可控的毁灭性风险。因此，第一批AGI的底层信念将极其重要，“必须为其正确地编写程序”。

这场“高层内斗”后，奥尔特曼领导OpenAI照常推进技术转化与成果发布。今年2月，OpenAI推出了支持将文本转化为视频的模型“Sora”，并在5月发布了新旗舰模型GPT-4o，它比去年11月发布的GPT-4 Turbo快两倍，在视觉和音频理解上也更先进。

苏茨克维尔在5月14日宣布离职时也一团和气地表示，OpenAI将在现任领导层的带领下，“打造出既安全又有益的AGI”。

但“超级对齐”团队的另一位负责人莱克（Jan Leike）则没有这么客气。他在社交媒体平台上披露离职原因时称，他与OpenAI高层在什么是“核心优先事项”上存在分歧，并已到了不可弥合的临界点。

“我认为我们应该花更多精力在准备下一代模型上，注重安全、监控、准备、对抗性的稳健、（超级）对齐、保密、社会影响等相关问题。这些问题非常难以解决，我忧虑的是，我们并没有在达成这些目标的轨道上。”莱克称，“过去几个月，我们的团队遭遇到阻力，有时为了算力而挣扎，要完成这些关键研究越来越难。”

莱克写道：“OpenAI必须成为一家安全优先的AGI公司。”几天后，莱克宣布加入OpenAI的竞争对手Anthropic，领导一个新的“超级对齐”团队。

Anthropic首席执行官阿莫迪（Dario Amodei）也出身于OpenAI。据报道，由于无法认同后者越来越商业化的发展方向，他带领多位前OpenAI员工创办了现公司。

除了上述两位重量级人物，同样出走OpenAI的还有“超级对齐”团队成员桑德斯（William Saunders）、科科泰洛（Daniel Kokotajlo），负责对外沟通和社区建设的基尔帕特里克（Logan Kilpatrick），以及AI政策研究员克鲁格（Gretchen Krueger）和奥基夫（Cullen O’Keefe）等人。此外，超级对齐团队成员阿申布伦纳（Leopold Aschenbrenner）和伊兹迈洛夫（Pavel Izmailov）则因泄露信息给媒体记者而在4月份被解雇。

科科泰洛称，他对OpenAI在发布能力越来越强的AI时是否“负责任”失去信心。克鲁格也呼吁该公司提高其责任感和透明度，以及“谨慎使用自己的技术”。

安全文化和闪亮的产品

当地时间28日，OpenAI成立了新的安全与保障委员会，负责监督与公司项目和运营相关的关键安全决策。但OpenAI并未选择外部观察员参与监督，这一委员会由公司内部人员组成，包括奥尔特曼以及多位OpenAI董事会成员等。

OpenAI表示，该委员会将与OpenAI董事会全体成员分享其调查结果和建议，以供审查，届时将“以符合安全和保障的方式”公布任何被采纳建议的最新情况。

“OpenAI最近已经开始训练下一个前沿模型，我们预计由此产生的系统将使我们在通往AGI的道路上达到更高的能力水平。”OpenAI写道。

去年11月，奥尔特曼在接受采访时表示，他的大部分时间都在研究“如何打造超级智能”，但该公司负责全球事务的副总裁马坎居（Anna Makanju）以及发言人布尔乔亚（Liz Bourgeois）之后都否认，该公司的“使命”并非开发超级智能，而是通用人工智能（AGI）。相比具有人类水平的AGI，超级智能是指超越人类智力水平的AI系统。

OpenAI在官网和创始公告中明确指出，公司的使命是确保AI技术的发展是“安全且广泛受益”的。这意味着，一方面，AI技术必须是安全的；另一方面，AI技术带来的好处应该惠及所有人，而不仅仅是特定群体。

在美国硅谷从事AI方向创业、也曾在多家科技企业负责AI相关产品开发的Iris此前对第一财经记者表示，OpenAI的企业发展进程不可避免地带来了这场“安全文化”之争。

Iris表示，最早期的OpenAI作为非营利组织成立，特别是在模型研发阶段，更多以技术创新为基础。“这一时期的OpenAI非常强调安全性，因此，苏茨克维尔这样技术背景出身的创始人话语权非常大。”她称，但随着技术的发展，当到产品市场匹配阶段，OpenAI更多开始考虑如何让这些技术惠及更多人。

Iris认为，这一阶段，“公司的发展将完全依赖于产品和业务的商业化，这意味着需要将产品更有效地推向市场”。

而这或许也是为什么莱克在其离职声明中写道：“在过去的几年里，安全文化和流程已经被闪亮的产品所取代。”

举报第一财经广告合作，请点击这里此内容为第一财经原创，著作权归第一财经所有。未经第一财经书面授权，不得以任何方式加以使用，包括转载、摘编、复制或建立镜像。第一财经保留追究侵权者法律责任的权利。如需获得授权请联系第一财经版权部：021-22002972或021-22002335；banquan@yicai.com。文章作者