GPU 不是产品：面向未来的私有 AI 架构
关于本地 AI 基础设施的讨论往往始于一个错误的问题：
我应该买哪款 GPU？
更好的问题是：
我需要执行哪些类型的 AI 工作负载，每种工作负载应该在哪里运行？
随着 AI 基础设施分化为几种截然不同的硬件类别，这种区分变得越来越重要。高端消费级 GPU 可以提供出色的推理速度，但内存相对有限。紧凑型 AI 系统可以在更低功耗下提供大得多的内存，但内存带宽要低得多。边缘平台增加了传感器处理、实时视频和物理接口，而传统的 GPU 工作站从未被设计来处理这些。
结果是，可能不再存在一台理想的 AI 计算机。取而代之的，可能是一个理想的 AI 执行架构。
不同硬件解决不同问题
考虑当前几类 NVIDIA 平台。它们并不只是同一台机器更快和更慢的版本。它们代表了不同的能力特征。
GeForce RTX 5090 围绕极高的计算吞吐量和内存带宽而设计。凭借 32 GB GDDR7 内存和非常高的带宽，当模型能够轻松放入 GPU 内存时，它特别适合对延迟敏感的推理。
DGX Spark 做出了几乎相反的取舍。它将 128 GB 一致性统一内存与 273 GB/s 内存带宽以及相对较低的功耗范围结合在一起。它的主要优势不是最大 token 吞吐量，而是能够将大得多的模型和上下文常驻内存。
Jetson AGX Thor 也提供了大型统一内存架构，但其用途不同。它是为物理 AI 设计的：摄像头流、音频、传感器融合、机器人技术，以及其他 AI 必须与物理环境实时交互的工作负载。
在专业端，RTX PRO 6000 Blackwell 将 96 GB GDDR7 ECC 内存与极高的内存带宽结合在一起。这类加速器对商业多租户推理尤其有吸引力，因为它将大得多的内存容量与工作站级吞吐量结合在一起。
延迟、容量与物理 AI
一个有用的基础设施模型将工作负载分为三大类。
面向延迟的推理
面向容量的推理
物理 AI
AI 路由器成为真正的平台
- 一个简短的内部 FAQ 请求可以发送到 RTX GPU 上的快速本地模型。
- 涉及数百个文档的请求可以路由到内存丰富的 Spark 节点。
- 摄像头或传感器工作负载可以分派到 Thor。
- 如果租户策略允许，特别困难的推理请求可以选择升级到前沿云模型。
多模型服务与分布式推理不同
但私有 AI 服务并不一定需要分发每个模型。相反，它可以让不同的模型常驻在不同的节点上。
- 一个节点可以托管快速的对话模型。
- 另一个节点可以托管大型推理模型。
- 第三个节点可以运行嵌入和重排序。
- Thor 可以处理实时视觉、音频和传感器工作负载。
在这种架构中，请求和响应通过网络传输，而不是通过内部模型张量。这是多模型服务，而不是分布式模型推理。
对于许多商业部署而言，这种方式更简单、更便宜，也更容易扩展。
一个集群可以服务多家公司
基础设施容量不能仅以客户公司的数量来衡量。
二十家公司并不一定会产生二十个同时进行的推理工作负载。一家拥有三十名员工的公司，在正常办公工作中可能只会产生少量并发请求，而一个自动化程度很高的客户可能会维持数十个持续运行的代理。
因此，相关的容量指标是并发数、每秒令牌数、上下文大小、每分钟请求数和服务优先级。
这为统计复用创造了机会：客户很少会同时消耗其合同约定的最大容量。
因此，异构集群可以服务许多较小的组织，同时仍为对延迟或可用性有更严格要求的客户保留容量。
商业产品不是 GPU 时间
与超大规模 GPU 租赁提供商直接竞争很困难。他们的经济模式是围绕基础设施利用率和规模进行优化的。
更具防御性的产品是托管式私有 AI 平台。
- 私有推理
- 检索增强生成
- 租户隔离
- 基于角色的访问控制
- 审计日志
- 模型路由
- 文档摄取
- 连接器和 API
- 评估和监控
- 专用或预留容量
客户主要支付的并不是访问 GPU 的费用。客户支付的是受控的 AI 应用层。
本地模型不需要击败前沿 AI
另一个架构错误是将开放权重模型视为最强前沿系统的直接替代品。
它们不必如此。
一家公司问，“这份合同中定义的终止期是什么？”并不一定需要可用的最强通用推理模型。
它需要可靠的摄取、正确的检索、权限感知的访问、来源溯源以及一个足够强大的模型。
对于很大比例的企业工作负载，周围应用层的质量可能与底层LLM同样重要。
因此，平台可以将本地模型用于隐私敏感和高容量工作负载，同时将前沿模型保留给真正需要它们的相对较小比例的请求。
这创造了一种级联推理形式：廉价的私有模型处理大多数请求，而更昂贵的能力仅在必要时被调用。
面向未来并不意味着防止过时
从字面意义上说，没有AI加速器是面向未来的。新硬件总会变得更快。
有用的工程目标反而是降低技术过时风险。
今天作为主要推理设备的GPU，以后可以成为嵌入服务器、批处理工作器、图像生成节点或辅助推理池。
一个曾托管最大可用模型的内存丰富系统，以后可以成为专用的RAG、长上下文或批分析节点。
新硬件应该扩展平台，而不是使其失效。
这要求将执行层与应用层分离。
持久资产不是GPU本身。它们是API契约、路由逻辑、租户模型、安全规则、文档管道、RAG架构、评估系统、可观测性和客户集成。
硬件成为可替换的基础设施。
真正的产品
因此，最持久的私有AI架构看起来不太像工作站，而更像一个微型云。
- 不同的硬件池提供不同的能力。
- 调度层决定每个工作负载的归属。
- 本地模型处理私有和高并发的请求。
- 物理AI硬件处理传感器和实时环境。
- 前沿服务作为受控的升级路径保持可用。
- 可以引入新的加速器，而无需强制客户更改其应用程序。
从这个角度来看，核心问题不再是：
应该用哪块GPU来驱动系统？
而是变成了：
当GPU、模型或提供商发生变化时，平台能否继续提供相同的服务？
如果答案是肯定的，那么基础设施所实现的价值就远不止是拥有快速的硬件。
它已将计算转变为可替换的执行层。
而这正是私有AI系统开始成为一个平台的地方。
Related Articles
AI代理记忆不是RAG：如何区分记忆、检索、状态和上下文
代理记忆、RAG、状态和上下文经常被当作可以互换的概念来使用。它们并不是。这个实用的架构模型将这四个层次区分开来，展示了每一层各自应处的位置，并解释了当系统将它们合并为一层时会出现什么问题。
RBAC与租户隔离：两种不同的安全边界
RBAC 控制用户可以做什么；租户隔离控制该操作可以触及哪个租户的资源。了解为什么多租户 SaaS 安全需要这两道边界。
AI代理应该记住、遗忘、重新计算还是再次检索什么？
长时间运行的代理不应记住所有内容。本文提供了一个实用的生命周期模型，用于决定哪些内容应属于持久记忆、哪些内容应重新检索、哪些内容重新计算更安全，以及哪些内容应过期或被取代。
主权人工智能：模型、数据、基础设施与依赖关系的控制
主权人工智能关乎对模型、数据、基础设施、软件、运营和战略依赖的有效控制——而不仅仅是人工智能模型托管在哪里。
人工智能何时应停止信任自身知识？——检索触发机制
AI 模型并非每个问题都需要检索。重要的问题在于知道何时其内部知识已不再足够。检索触发器是一个实用的决策边界，它决定 AI 系统何时应停止仅依赖模型知识，并在回答前获取外部证据。
智能体AI解析：当AI系统能够规划、使用工具并采取行动
代理式AI在多步执行循环中使用模型，这些模型可以在明确的运行时和权限边界内选择工具、观察结果、更新状态并调整其下一步行动。
LLM从哪里获取数据？Python中的RAG数据源
LLM 并不会神奇地知道你的文件、数据库或 API。这个 RAG 系列的实用续篇用简单的 Python 展示了外部数据如何变成可检索的证据：从文本文件和 SQL 到全文搜索、嵌入、上下文组装以及最终的 LLM 调用。
为什么更多上下文会让AI的回答更糟
更大的上下文窗口并不保证更好的答案。本文解释了信号稀释、证据冲突、状态过时、位置敏感性和有损压缩如何降低AI可靠性——并介绍了一种实用的上下文压力测试。
什么是AI解决方案架构师？系统边界、职责与权衡
AI解决方案架构师将业务需求转化为生产就绪的AI系统，涵盖数据、模型、工具、安全、运行时、评估和运维。
答案有效性边界：相关性到可靠AI答案之间缺失的层级
一个来源可能相关、权威，但对于所提出的问题仍然是错误的。缺失的层次是适用性：答案成立的条件，以及迫使其被重新考虑的变化。本文介绍了“答案有效性边界”这一面向人类、AI搜索和RAG系统的来源设计模式。
气隙AI：AI系统如何在没有互联网或云访问的情况下工作
气隙AI在隔离的安全域内运行模型、RAG和AI应用，无需互联网或云依赖。了解模型、数据、更新和工具如何离线运行。
AI系统中的真相来源：可靠知识究竟从何而来
事实来源（Source of Truth）定义了对于特定事实或状态，哪个来源具有权威性。了解它与RAG、溯源、记忆、上下文、向量数据库和记录系统有何不同。