GPU 不是产品：面向未来的私有 AI 架构

关于本地 AI 基础设施的讨论往往始于一个错误的问题：

我应该买哪款 GPU？

更好的问题是：

我需要执行哪些类型的 AI 工作负载，每种工作负载应该在哪里运行？

随着 AI 基础设施分化为几种截然不同的硬件类别，这种区分变得越来越重要。高端消费级 GPU 可以提供出色的推理速度，但内存相对有限。紧凑型 AI 系统可以在更低功耗下提供大得多的内存，但内存带宽要低得多。边缘平台增加了传感器处理、实时视频和物理接口，而传统的 GPU 工作站从未被设计来处理这些。

结果是，可能不再存在一台理想的 AI 计算机。取而代之的，可能是一个理想的 AI 执行架构。

不同硬件解决不同问题

考虑当前几类 NVIDIA 平台。它们并不只是同一台机器更快和更慢的版本。它们代表了不同的能力特征。

GeForce RTX 5090 围绕极高的计算吞吐量和内存带宽而设计。凭借 32 GB GDDR7 内存和非常高的带宽，当模型能够轻松放入 GPU 内存时，它特别适合对延迟敏感的推理。

NVIDIA RTX 5090 规格

DGX Spark 做出了几乎相反的取舍。它将 128 GB 一致性统一内存与 273 GB/s 内存带宽以及相对较低的功耗范围结合在一起。它的主要优势不是最大 token 吞吐量，而是能够将大得多的模型和上下文常驻内存。

NVIDIA DGX Spark

Jetson AGX Thor 也提供了大型统一内存架构，但其用途不同。它是为物理 AI 设计的：摄像头流、音频、传感器融合、机器人技术，以及其他 AI 必须与物理环境实时交互的工作负载。

NVIDIA Jetson Thor

在专业端，RTX PRO 6000 Blackwell 将 96 GB GDDR7 ECC 内存与极高的内存带宽结合在一起。这类加速器对商业多租户推理尤其有吸引力，因为它将大得多的内存容量与工作站级吞吐量结合在一起。

NVIDIA RTX PRO 6000 Blackwell

延迟、容量与物理 AI

一个有用的基础设施模型将工作负载分为三大类。

面向延迟的推理

面向容量的推理

物理 AI

AI 路由器成为真正的平台

• 一个简短的内部 FAQ 请求可以发送到 RTX GPU 上的快速本地模型。
• 涉及数百个文档的请求可以路由到内存丰富的 Spark 节点。
• 摄像头或传感器工作负载可以分派到 Thor。
• 如果租户策略允许，特别困难的推理请求可以选择升级到前沿云模型。

多模型服务与分布式推理不同

NVIDIA DGX Spark 集群文档

但私有 AI 服务并不一定需要分发每个模型。相反，它可以让不同的模型常驻在不同的节点上。

• 一个节点可以托管快速的对话模型。
• 另一个节点可以托管大型推理模型。
• 第三个节点可以运行嵌入和重排序。
• Thor 可以处理实时视觉、音频和传感器工作负载。

在这种架构中，请求和响应通过网络传输，而不是通过内部模型张量。这是多模型服务，而不是分布式模型推理。

对于许多商业部署而言，这种方式更简单、更便宜，也更容易扩展。

一个集群可以服务多家公司

基础设施容量不能仅以客户公司的数量来衡量。

二十家公司并不一定会产生二十个同时进行的推理工作负载。一家拥有三十名员工的公司，在正常办公工作中可能只会产生少量并发请求，而一个自动化程度很高的客户可能会维持数十个持续运行的代理。

因此，相关的容量指标是并发数、每秒令牌数、上下文大小、每分钟请求数和服务优先级。

这为统计复用创造了机会：客户很少会同时消耗其合同约定的最大容量。

因此，异构集群可以服务许多较小的组织，同时仍为对延迟或可用性有更严格要求的客户保留容量。

商业产品不是 GPU 时间

与超大规模 GPU 租赁提供商直接竞争很困难。他们的经济模式是围绕基础设施利用率和规模进行优化的。

更具防御性的产品是托管式私有 AI 平台。

• 私有推理
• 检索增强生成
• 租户隔离
• 基于角色的访问控制
• 审计日志
• 模型路由
• 文档摄取
• 连接器和 API
• 评估和监控
• 专用或预留容量

客户主要支付的并不是访问 GPU 的费用。客户支付的是受控的 AI 应用层。

本地模型不需要击败前沿 AI

另一个架构错误是将开放权重模型视为最强前沿系统的直接替代品。

它们不必如此。

一家公司问，“这份合同中定义的终止期是什么？”并不一定需要可用的最强通用推理模型。

它需要可靠的摄取、正确的检索、权限感知的访问、来源溯源以及一个足够强大的模型。

对于很大比例的企业工作负载，周围应用层的质量可能与底层LLM同样重要。

因此，平台可以将本地模型用于隐私敏感和高容量工作负载，同时将前沿模型保留给真正需要它们的相对较小比例的请求。

这创造了一种级联推理形式：廉价的私有模型处理大多数请求，而更昂贵的能力仅在必要时被调用。

面向未来并不意味着防止过时

从字面意义上说，没有AI加速器是面向未来的。新硬件总会变得更快。

有用的工程目标反而是降低技术过时风险。

今天作为主要推理设备的GPU，以后可以成为嵌入服务器、批处理工作器、图像生成节点或辅助推理池。

一个曾托管最大可用模型的内存丰富系统，以后可以成为专用的RAG、长上下文或批分析节点。

新硬件应该扩展平台，而不是使其失效。

这要求将执行层与应用层分离。

持久资产不是GPU本身。它们是API契约、路由逻辑、租户模型、安全规则、文档管道、RAG架构、评估系统、可观测性和客户集成。

硬件成为可替换的基础设施。

真正的产品

因此，最持久的私有AI架构看起来不太像工作站，而更像一个微型云。

• 不同的硬件池提供不同的能力。
• 调度层决定每个工作负载的归属。
• 本地模型处理私有和高并发的请求。
• 物理AI硬件处理传感器和实时环境。
• 前沿服务作为受控的升级路径保持可用。
• 可以引入新的加速器，而无需强制客户更改其应用程序。

从这个角度来看，核心问题不再是：

应该用哪块GPU来驱动系统？

而是变成了：

当GPU、模型或提供商发生变化时，平台能否继续提供相同的服务？

如果答案是肯定的，那么基础设施所实现的价值就远不止是拥有快速的硬件。

它已将计算转变为可替换的执行层。

而这正是私有AI系统开始成为一个平台的地方。