挑战英伟达霸权，Groq扬言2024年让所有创业公司都用上LPU

Image by CTOCIO/DALL-E 3

英伟达（Nvidia）近日公布的财报令人震惊，2024财年Q4营收高达221亿美元，同比增长265%。但狂欢之余，英伟达也迎来了一个强劲的挑战者——Groq。

总部位于硅谷的Groq正在为大型语言模型 (LLM) 推理（对现有模型做出决策或预测，而不是训练）开发新的 AI 芯片（LPU）。上周末，Groq 推出测试网站在社交媒体上引发广泛关注。

虽然没有埃隆·马斯克宣传自家大语言模型Grok的帖子那样火爆，但是英伟达的技术人员对Groq更加警觉，因为HyperWrite首席执行官 Matt Shumer在 X 上评价Groq是“狂野技术”，能够“以近 500 tok/s 的速度为Mixtral提供服务”，并且给出答案的速度“几乎是实时的”。

Shumer 在 X 上进行了一个“快如闪电的答案引擎”的公开演示，展示了“不到一秒生成数百个单词的事实引用答案”——突然之间，人工智能领域的每个人都在谈论并尝试 Groq 的解决方案。其网站上的聊天应用程序，用户可以选择用Llama 或 Mistral 大语言模型输出结果。

其CEO Jonathan Ross在接受采访时表示，Groq的处理单元（LPUs）在处理LLM任务时的速度和成本效益，使其成为初创公司的首选基础设施。

虽然目前还没有公司可以挑战 英伟达的主导地位（占据了高端芯片市场80% 以上的份额）其他人工智能芯片初创公司，如 SambaNova 和 Cerebras，在人工智能推理方面也尚未取得太大进展；但是Groq 首席执行官兼创始人乔纳森·罗斯 (Jonathan Ross) 指出，令人咂舌的推理成本促使他的初创公司专门为 LLM 模型使用提供了“超快”、更便宜的芯片选择。

罗斯宣称：“到今年年底，我们可能会成为大多数初创公司使用的基础设施，我们的价格对初创公司非常友好。”

Groq LPU 与 Nvidia GPU 对比

Groq的LPUs被设计为一种全新的端到端处理单元系统，专为那些包含顺序组成部分的计算密集型应用提供最快速的推断能力，尤其是在AI语言应用程序中表现出色。与此相对，Nvidia的图形处理单元（GPUs）主要优化了并行图形处理任务，而不是针对语言模型的处理。

Groq 的网站将其 LPU（即“语言处理单元”）描述为“一种新型的端到端处理单元系统，可为具有顺序组件的计算密集型应用程序提供最快的推理，例如 AI 语言应用程序 (LLM) ）”。 

相比之下，Nvidia GPU 针对并行图形处理进行了优化，而不是 LLM。由于 Groq 的 LPU 是专门为处理数据序列（如代码和自然语言）而设计的，因此它们可以比 GPU 更快地提供 LLM 输出，从而绕过GPU 或 CPU 难以解决的两个领域：计算密度和内存带宽。

此外，Ross 声称 Groq 与 OpenAI 等公司不同，更专注于保护用户隐私，因为 Groq 不训练模型，因此不需要记录任何数据，并且可以保持聊天查询的私密性。 这一特点可能使Groq成为注重数据隐私的公司和开发者的理想合作伙伴。

有趣的是，Groq与英伟达之间存在潜在的合作可能，有人推测，如果 ChatGPT 采用Groq 芯片，预计运行速度将提高 13 倍以上。

LPU 真的能改变 AI 推理的游戏规则吗？

Groq 是“能够赢得人工智能竞赛的美国芯片制造商”？还是人工智能炒作周期中的投机者？Groq 的 LPU 真的能改变 AI 推理游戏规则吗？

Groq 的技术优势

Groq 的 LLM 推理单元 (LPU) 采用了独特的设计，专为处理语言数据序列而优化。与目前主流的基于 Nvidia GPU 的 LLM 推理方案相比，Groq 宣称其芯片能提供以下优势：

• 更高的速度：Groq 估计 ChatGPT 如果使用其芯片运行，速度将提升 13 倍以上。
• 更低的成本：Groq 的 LPU 芯片可以显著降低 LLM 推理的成本，特别适用于初创公司。
• 更高的隐私保护：Groq 不需要训练模型，因此不需要记录任何数据，可以保证用户聊天查询的隐私。

Groq 的市场机遇

近年来，随着 LLM 技术的快速发展，LLM 推理的需求也迅速增长。然而，传统的 GPU 方案在 LLM 推理方面存在一些局限性，例如速度慢、成本高和隐私保护不足。

Groq 的 LPU 芯片的出现，为 LLM 推理领域带来了新的选择。凭借其独特的技术优势，Groq 有望在 LLM 推理市场占据一席之地，甚至挑战 Nvidia 的霸主地位。

Groq 面临的挑战

尽管 Groq 的技术前景看好，但仍面临一些挑战，例如：

• 盈利模式：Groq 目前尚未实现盈利，需要探索合适的 API 收费模式。
• 竞争：OpenAI 等巨头也正在布局 AI 芯片领域，可能会成为 Groq 的潜在竞争对手。

“平替“英伟达GPU已经成为一个大生意

全球对英伟达GPU的渴望已经催生了新的 GPU 云独角兽（Lamda、Together AI 和 Coreweave），而 GitHub 前首席执行官 Nat Friedman 昨天宣布，他的团队甚至为 GPU 集群创建了 Craigslist。《华尔街日报》报道称，OpenAI 首席执行官 Sam Altman 希望通过重塑 AI 芯片世界来应对需求——这个项目可能耗资数万亿美元，且具有复杂的地缘政治背景。

响应黄仁勋“AI主权”提议，Groq的目标是用充足产能为全球主权国家的AI芯片供应做出贡献。 

“到今年年底，我们肯定会拥有每秒生成2500 万个token或容量，这大概是 OpenAI 在 2023 年底的水平，”Ross表示：“我们正在与各国合作部署硬件，这将增加这个数字。就像阿联酋一样，也像许多其他国家一样。我来欧洲是有原因的——各种各样的国家都会对此感兴趣。”

当然，在争夺GPU蛋糕的游戏中，Groq还面临很多强劲对手的挑战，以下是Groq与OpenAI等竞争对手的比较：

• OpenAI 正在开发自己的 AI 芯片，名为“Cerebras”。
• Cerebras 是一种专门为 LLM 训练设计的芯片。
• 与 Cerebras 相比，Groq 的 LPU 芯片在推理速度和成本方面具有优势。

参考链接：https://venturebeat.com/ai/ai-chip-race-groq-ceo-takes-on-nvidia-claims-most-startups-will-use-speedy-lpus-by-end-of-2024/