Stable Diffusion 生成式 AI 可以在智能手机上运行？

客户端运行的Stable Diffusion对电脑硬件配置要求很高，因此大多数用户都选择云端服务。但高通近日透露，通过结合软件和硬件优化，可以让Stable Diffusion的瘦身版在手机上运行。

Stable Diffusion 由初创公司Stability AI开发，是当今最流行的图像创建生成 AI 模型之一，经常与OpenAI 的 DALL-E竞争。

有一点需要明确的是，训练生成式 AI 模型所需的技术堆栈非常庞大，目前不可能在智能手机上完成。相反，高通所做的是推理方面，即“生成”部分，它可以从预训练模型中创建新图像。迄今为止，用户已经能够以间接方式在手机上生成基于 Stable Diffusion 的图像，即移动应用程序或浏览器访问生成图像的云服务。高通现在展示的是直接在 Android 智能手机上生成 Stable Diffusion 生成式 AI 图像的能力，无需调用云端来完成繁重的工作。

在客户端生成图片的最大好处就是隐私和安全保护。“当用户通过用于Stable Diffusion的云 API 输入查询时，你的所有信息或想法都会发送到某家公司的云服务器，”Qualcomm Technologies 工程副总裁 Jilei Hou 告诉 VentureBeat：“有了设备上的人工智能，这个问题就消失了，因为你所有的想法都只存在于设备上。”

侯指出，对于企业使用生成人工智能，这可能是一个更大的问题，因为公司机密信息需要受到保护。

单靠硬件不足以运行生成式 AI

Qualcomm 的“移动版”Stable Diffusion演示在配备最新的 Snapdragon 8 Gen 2 移动平台的 Qualcomm 参考设计设备上运行，该平台已在当今的许多商用设备中使用。

Hou表示，推理部分是在 Hexagon 处理器上完成的，Hexagon 处理器是高通工程师针对 AI 加速的完整定制设计，是骁龙 8 Gen 2 芯片的一部分。

虽然高通的芯片对于移动设备来说功能强大，但 Stable Diffusion 对直接在智能手机上运行提出了一系列挑战。Hou 指出，一方面，模型的大小超过 11 亿个参数，相关计算是智能手机上运行的典型工作负载大小的 10 倍以上。

“这是我们在智能手机上运行过的最大的模型，”侯说。“我们所做的所有全栈优化对于使模型适合并高效运行非常重要。”
Qualcomm 如何给Stable Diffusion瘦身在 Android 上运行

所需的优化涉及大量使用Qualcomm AI Stack，这是一个旨在帮助优化模型和工作负载的 AI 工具组合。

Hou 解释说，对于 Stable Diffusion，他的团队从Hugging Face的FP32 版本 1-5 开源模型开始，通过量化、编译和硬件加速进行优化，以在搭载骁龙 8 Gen 2 移动平台的手机上运行。

为了缩小模型，他的团队使用了AI 模型效率工具包 (AIMET) 的训练后量化功能。

“量化不仅可以提高性能，还可以通过让模型在我们专用的 AI 硬件上高效运行并消耗更少的内存带宽来节省电量，”Hou 说。

对于编译，Qualcomm AI Engine 直接框架用于将神经网络映射到可在智能手机硬件上高效运行的程序中。侯指出，Qualcomm AI Engine 的整体优化显着降低了运行时延和功耗。他补充说，为使 Stable Diffusion 在智能手机上良好运行所做的所有工作都将有利于 Qualcomm AI Stack 的未来迭代和用户。

展望未来，Hou 表示，高通将吸取经验教训，将其他大型生成 AI 模型（例如，类似 GPT 的模型）从云端带到设备上。他补充说，为使 Stable Diffusion 在手机上高效运行而进行的优化也可用于其他平台，例如笔记本电脑、XR 耳机以及几乎任何其他由 Qualcomm Technologies 提供支持的设备。

“在云端运行所有人工智能的成本太高，这就是高效的边缘人工智能处理如此重要的原因，”Hou说：“边缘 AI 处理在运行 Stable Diffusion 和其他生成 AI 模型的同时确保用户隐私，因为输入文本和生成的图像永远不需要离开设备——这对于消费者和企业应用程序的采用来说是一件大事。”