大模型的大风险

在2023年3月，仅在GPT-4发布两周后，微软的研究人员宣布了一个计划，该计划旨在将数百万个API（可以执行从订购比萨饼到解决物理方程的各种工具）编译成一个手册，并使其可以被大型语言模型（LLMs）访问。这只是工业和学术界竞相寻找LLMs如何操纵工具的最佳方法的一个里程碑。

微软的项目旨在教AI如何一次性使用所有数字工具，这是一个巧妙且高效的方法。如今，LLMs可以根据您描述的饮食偏好为您推荐比萨饼配料，并为您提供打电话给餐厅时可以使用的对话。但是，大多数AI工具都无法下订单，甚至不能在线下订单。相比之下，Google的助手工具可以在电话中合成声音并填写在线订单表格，但它不能选择餐厅或猜测您的订单。但是，通过结合这些功能，使用工具的AI可以完成所有操作。

最引人注目的让AI操纵工具的潜在应用是那些赋予AI改进自身能力的应用。例如，如果您要求聊天机器人帮助解释古罗马法律的某个方面，而在模型的原始训练中没有人考虑包括这方面的例子，那么有权搜索学术数据库并触发自己培训过程的LLM可以在回答之前对罗马法律的理解进行微调。 这种工具使用带来了巨大的风险。

访问专用工具甚至可以帮助大语言模型更好地解释自己。虽然像 GPT-4 这样的 LLM 在被问到时已经很好地解释了他们的推理，但这些解释来自“黑匣子”，容易受到错误和幻觉的影响。但是，使用LLM的工具可以剖析自己的内部结构，对自己的推理进行实证评估，并对为什么会产生答案进行确定性解释。

如果可以访问用于征求人类反馈的工具，使用LLM的工具甚至可以生成尚未在网络上捕获的专业知识。它可以向Reddit或Quora发布问题，或者将任务委托给亚马逊Mechanical Turk上的人类。它甚至可以通过调查研究来寻找有关人类偏好的数据，要么直接为您提供答案，要么微调自己的训练，以便将来能够更好地回答问题。随着时间的推移，使用工具的AI可能会看起来很像使用工具的人类。LLM可以比任何人类程序员更快地生成代码，因此它可以轻松操作计算机的系统和服务。它也可以像人一样使用您计算机的键盘和光标，从而允许它使用您所做的任何程序。它可以提高自己的能力，使用工具提出问题，进行研究，并编写代码以整合到自身中。

想象一下，LLM能够找到某人的电话号码，打电话给他们并秘密录制他们的声音，根据他们所在地区的最大提供商猜测他们使用的银行，模仿他们在与客户服务的电话通话中重置密码，并清空他们的帐户以向政党捐款。这些任务中的每一个步骤都只需调用一个简单的工具 – 互联网搜索，语音合成器，银行应用程序 – LLM能利用这些工具编写操作序列。

尽管LLMs非常高效，但它们并不是专门为操作工具而构建的，目前尚不清楚它们在工具使用方面的早期成功如何转化为这里描述的未来用例。 公司如微软在授予AI访问某些工具组合的权限时应特别小心。允许AI访问信息检索、进行专门计算和检查实际世界传感器的工具都带有一定的风险。传输消息到工具的直接用户之外或使用可以操纵物理对象的API的能力带来了更大的风险。让当前的生成式人工智能突然访问数百万个 API – 正如Microsoft计划的那样 – 可能有点像让一个蹒跚学步的孩子在武器库中玩耍。

最先进的LLM（如OpenAI）的运营商在开始使用工具时应继续谨慎行事，并应限制其产品在政治，医疗保健，银行和国防等敏感领域的使用。但似乎很明显，这些行业领导者已经在很大程度上失去了对LLM技术的护城河 – 开源正在迎头赶上。认识到这一趋势，Meta 采取了“如果你不能打败他们，就加入他们”的方法，并部分接受了提供开源 LLM 平台的角色。

在政策方面，国家和地区的人工智能处方似乎是徒劳的。欧洲是唯一一个在规范负责任地使用人工智能方面取得有意义进展的重要司法管辖区，但目前尚不清楚监管机构将如何执行它。美国正在迎头赶上，似乎注定要更加宽容，甚至允许欧盟认为“不可接受的”风险。与此同时，没有政府投资于“公共选择”人工智能模型，该模型将为大型科技公司提供替代方案，使其对公民更具响应性和问责制。

我们还必须为会使用工具的AI可能对社会产生的良性影响做好准备。在最佳情况下，这样的LLM可能会迅速加速诸如药物发现之类的领域。 专利局和FDA应该为合法候选药物数量的急剧增加做好准备。我们应该重塑我们与政府的互动方式，以利用人工智能工具，使我们所有人都有更大的潜力来表达我们的声音。我们应该确保超级智能、省力的人工智能的经济效益得到公平分配。

我们可以争论LLMs是否真的有智能或意识，或者是否有代理权，但AI无论如何都将成为越来越有能力的工具用户。具有操纵和与简单工具互动的能力的AI将比工具本身更加强大。我们要确保我们为它们做好准备。

原文链接：https://www.wired.com/story/does-chatgpt-make-you-nervous-try-chatgpt-with-a-hammer/