99.9% 的推理可用性意味着什么？

推理服务的 99.9% 可用性要求供应商具备跨数据中心冗余能力，并能通过持续运行流量而非冷备模式实现故障转移。实现高可用性需应对 VRAM 错误、热节流及网络故障等 GPU 特有的硬件失效模式，且基础设施所有权决定了故障响应的物理控制力。企业在评估供应商时，应重点考察其是否拥有从芯片到 token 的全栈可见性，以及是否具备应对区域性中断的预留容量。