OpenAI联合创始人打造安全超级智能
几个月以来，“Ilya去哪了？”成为人工智能领域的一大悬念。Ilya Sutskever，这位著名的研究员和OpenAI的联合创始人，在2023年参与了撤换首席执行官Sam Altman的董事会行动，随后又推动了Altman的回归。从那时起，Sutskever就保持沉默，未来动向成谜。今年5月中旬，Sutskever宣布离开OpenAI，但只表示将“在适当的时候”公布下一步计划。
AI安全堪比核安全
据彭博社报道，Sutskever近日终于揭开了新项目的面纱——Safe Superintelligence Inc.（SSI）。这个新研究机构旨在打造一个安全且强大的人工智能系统，不会在近期内出售任何AI产品或服务。换句话说，他希望在没有OpenAI、Google和Anthropic等竞争对手所面临的干扰下继续他的工作。“这家公司特别之处在于，它的第一个产品将是安全的超级智能，在此之前不会做任何其他事情。”Sutskever在一次独家采访中表示。“它将完全隔绝外界压力，不必应对大型复杂产品的开发，也不需要陷入激烈的竞争。”
Sutskever没有透露Safe Superintelligence的资金来源或筹集金额。
公司的名称突显了Sutskever对AI安全的重视。当然，挑战在于确定到底什么使一个AI系统比另一个更安全，或者说真正安全。Sutskever目前对此含糊其辞，但他暗示新公司将通过嵌入AI系统的工程突破来实现安全，而不是依赖于临时加上的防护措施。“我们所说的安全是像核安全那样的安全，而不仅仅是‘信任与安全’。”他说。
SSI在官方网站首页公告中传递了四个关键信息：
- 超级智能已经触手可及。
- 构建安全的超级智能（SSI）是我们这个时代最重要的技术问题。
- 我们已经启动了世界上第一个直线 SSI 实验室，其目标只有一个，产品只有一个：安全的超级智能。
- 我们将安全性和性能并重，将其视为需要通过革命性的工程和科学突破来解决的技术问题。我们计划尽快提高性能，同时确保我们的安全性始终处于领先地位。这样，我们就可以安心地扩大规模。
超级AI研发回归原点
Sutskever有两位联合创始人。一位是投资者、前Apple Inc. AI主管Daniel Gross，他因支持许多高调的AI初创公司而备受关注，包括John Carmack创办的Keen Technologies。另一位是Daniel Levy，他在OpenAI期间与Sutskever一起工作，因训练大型AI模型而建立了良好声誉。“我认为现在是开展这样一个项目的合适时机，”Levy说。“我的愿景与Ilya完全一致：一个专注于安全超级智能的小型精干团队。”
Safe Superintelligence将在加利福尼亚州帕洛阿尔托和特拉维夫设立办公室。Sutskever和Gross都在以色列长大。
鉴于Sutskever在AI行业的近乎传奇地位，他的去向一直是硅谷关注的焦点。作为大学研究员和Google科学家，他在许多关键AI进展中发挥了重要作用。他在OpenAI早期的参与帮助吸引了顶尖人才，这对其成功至关重要。Sutskever以倡导构建越来越大的模型而闻名，这一策略帮助OpenAI超越了Google，并推动了ChatGPT的崛起。
在去年OpenAI的戏剧性事件后，人们对Sutskever的动向更加好奇。对此，他仍不愿多谈。被问及与Altman的关系时，Sutskever只表示“关系良好”，并称Altman对新项目“有所了解”。谈到过去几个月的经历，他说：“这很奇怪，非常奇怪。我不知道能否给出比这更好的回答。”
在某些方面，Safe Superintelligence回归了OpenAI的原始理念：一个研究机构，试图构建一个可以在许多任务上与人类媲美甚至超越的通用人工智能。但OpenAI的结构随着筹集大量计算能力资金的需求而演变。这导致了公司与微软的紧密合作，并推动其推出创收产品。所有主要的AI公司都面临着类似的困境，需要为不断扩展的计算需求买单，因为AI模型的规模以指数级增长。
这些经济现实使Safe Superintelligence对投资者而言成为一种赌注，他们赌Sutskever及其团队能够实现突破，超越那些拥有更大团队和显著先发优势的竞争对手。这些投资者将投入资金，而不会期望在此过程中创造出盈利的热门产品。而且尚不清楚Safe Superintelligence希望实现的目标是否可能实现。所谓的“超级智能”，指的是一种远超人类水平的AI系统。业界对这种智能是否可行或如何构建没有达成共识。
尽管如此，考虑到创始团队的资历和领域的强烈兴趣，Safe Superintelligence筹集资金可能不会遇到太多困难。“在所有我们面临的问题中，筹集资金不会是其中之一。”Gross说。
研究人员和知识分子几十年来一直在思考如何使AI系统更安全，但在这些问题上进行深入工程研究的却不多。目前的技术状态是通过人类和AI共同引导软件，使其与人类的最佳利益保持一致。如何阻止AI系统失控仍然主要是哲学层面的讨论。
Sutskever表示，他多年来一直在思考安全问题，并且已经有一些方法。但Safe Superintelligence尚未讨论具体细节。“最基本的层面上，安全的超级智能应该具备不对人类造成大规模伤害的机制，”Sutskever说。“在此之后，我们可以说希望它成为一种积极的力量。我们希望它基于一些关键价值观运作，比如民主和自由，这些价值观在过去几百年里在自由民主国家中取得了巨大成功。”
Sutskever指出，大型语言模型在Safe Superintelligence中将发挥重要作用，但目标是更强大的系统。他说，当前的系统是“你与之对话，结束后就结束了。”他想追求的系统将更具通用性和扩展性。“我们谈论的是一个自主开发技术的巨大超级数据中心。这很疯狂，对吧？我们希望为这种系统的安全做出贡献。”
第一时间获取面向IT决策者的独家深度资讯，敬请关注IT经理网微信号：ctociocom
除非注明，本站文章均为原创或编译，未经许可严禁转载。
相关文章：
关于作者Cashcow
隐私已经死去，软件正在吃掉世界，数据即将爆炸
