TECHNOLOGY BRIEF / 芯片与算力

Kubernetes 接入 CUDA 显存限额,细化 GPU 共享与调度

NVIDIA 介绍如何通过 GPU Fractioning Operator 与 KAI Scheduler,将 CUDA 13.4 的显存边界能力用于 Kubernetes。工作负载可声明显存保底与上限,并选择时间片或 SM 共享方式,由节点侧组件执行配置和统计使用量。

原文发布 本次整理 来源:NVIDIA 技术博客整理:
NVIDIA 官方 GPU 显存边界与共享计算主题配图
图源 · NVIDIA查看原文配图 ↗

发生了什么

  • KAI Scheduler 从 v0.18.0 集成 NvFractions 模式,通过 Pod 注解传递配额;超过显存上限的分配会失败。
  • 同一 GPU 不混用两种计算共享模式;显存配额、计算共享方式与故障隔离需要分别评估。

NVIDIA 技术博客 · 查看原文

ENGINEERING PERSPECTIVE

对工程应用的启发

工程观察:共享 GPU 前,可用真实推理和批处理任务检查显存峰值、超限行为、吞吐及邻居任务影响,确认调度器和节点配置一致。

以上为基于公开资料的应用思考,具体能力与适用范围需结合原文和实际测试判断。

← 返回科技情报