k8s-gpu

Kubernetes GPU 기본 구성 — NVIDIA GPU Operator, MIG 파티셔닝, GPU 공유 전략. Use when 클러스터에 GPU 노드를 도입하거나 MIG·time-slicing 으로 GPU 를 나눠 쓸 때.

SKILL.md

GitHub

Kubernetes GPU 가이드

NVIDIA GPU Operator, MIG 파티셔닝, GPU 공유 전략

Quick Reference (결정 트리)

GPU 워크로드 유형?
    │
    ├─ 분산 학습 (Multi-GPU)
    │       │
    │       ├─ Gang 스케줄링 필요 ───> Volcano
    │       └─ 큐 관리 필요 ────────> Kueue
    │
    ├─ 단일 GPU 학습
    │       │
    │       └─ 기본 스케줄링 ───────> NVIDIA Device Plugin
    │
    ├─ GPU 공유 (소형 워크로드)
    │       │
    │       ├─ 격리 필요 ──────────> MIG (A100/H100)
    │       └─ 처리량 우선 ────────> MPS (시분할)
    │
    └─ 추론
            │
            ├─ 소형 모델 ──────────> MIG / Time-slicing
            └─ 대형 LLM ───────────> 전용 GPU

CRITICAL: GPU 스케줄링 아키텍처

┌─────────────────────────────────────────────────────────────────┐
│                 Kubernetes GPU Scheduling Stack                  │
├─────────────────────────────────────────────────────────────────┤
│                                                                  │
│  ┌──────────────────────────────────────────────────────────┐   │
│  │              Application Layer                            │   │
│  │  PyTorch Job, TensorFlow Job, KServe, Custom Pod         │   │
│  └──────────────────────────────────────────────────────────┘   │
│                              │                                   │
│  ┌──────────────────────────────────────────────────────────┐   │
│  │              Scheduling Layer                             │   │
│  │  Kueue (Queue/Quota) | Volcano (Gang Scheduling)         │   │
│  │                      │                                    │   │
│  │  Default K8s Scheduler                                    │   │
│  └──────────────────────────────────────────────────────────┘   │
│                              │                                   │
│  ┌──────────────────────────────────────────────────────────┐   │
│  │              Device Layer                                 │   │
│  │  NVIDIA Device Plugin | MIG Manager | MPS | DCGM         │   │
│  └──────────────────────────────────────────────────────────┘   │
│                              │                                   │
│  ┌──────────────────────────────────────────────────────────┐   │
│  │              Hardware Layer                               │   │
│  │  A100 (80GB) | H100 (80GB) | T4 (16GB) | L4 (24GB)       │   │
│  └──────────────────────────────────────────────────────────┘   │
│                                                                  │
└─────────────────────────────────────────────────────────────────┘

NVIDIA GPU Operator

설치

# Helm repo 추가
helm repo add nvidia https://helm.ngc.nvidia.com/nvidia
helm repo update

# GPU Operator 설치
helm install gpu-operator nvidia/gpu-operator \
  --namespace gpu-operator \
  --create-namespace \
  --set driver.enabled=true \
  --set toolkit.enabled=true \
  --set devicePlugin.enabled=true \
  --set dcgmExporter.enabled=true \
  --set mig.strategy=mixed  # MIG 지원

설정 옵션

# gpu-operator-values.yaml
driver:
  enabled: true
  version: "535.104.12"  # CUDA 12.2

toolkit:
  enabled: true

devicePlugin:
  enabled: true
  config:
    name: time-slicing-config
    default: any

dcgmExporter:
  enabled: true
  serviceMonitor:
    enabled: true

mig:
  strategy: mixed  # none, single, mixed

validator:
  enabled: true

GPU 노드 확인

# GPU 노드 레이블 확인
kubectl get nodes -l nvidia.com/gpu.present=true

# GPU 리소스 확인
kubectl describe node <gpu-node> | grep -A 10 "Allocatable"

# 할당된 GPU 확인
kubectl get pods -A -o custom-columns=\
"POD:.metadata.name,GPU:.spec.containers[*].resources.limits.nvidia\.com/gpu"

GPU 공유 전략

MIG (Multi-Instance GPU)

지원 GPU: A100, A30, H100

# MIG 파티션 설정
apiVersion: v1
kind: ConfigMap
metadata:
  name: mig-parted-config
  namespace: gpu-operator
data:
  config.yaml: |
    version: v1
    mig-configs:
      # A100-40GB 파티션 예시
      all-1g.5gb:
        - devices: all
          mig-enabled: true
          mig-devices:
            "1g.5gb": 7     # 7개의 소형 인스턴스

      all-balanced:
        - devices: all
          mig-enabled: true
          mig-devices:
            "3g.20gb": 2    # 중형 2개
            "1g.5gb": 1     # 소형 1개

      # H100-80GB 파티션 예시
      h100-inference:
        - devices: all
          mig-enabled: true
          mig-devices:
            "1g.10gb": 7    # 추론용 소형 7개

MIG 사용 Pod

apiVersion: v1
kind: Pod
metadata:
  name: mig-inference-pod
spec:
  containers:
    - name: inference
      image: nvcr.io/nvidia/tritonserver:latest
      resources:
        limits:
          nvidia.com/mig-1g.5gb: 1  # MIG 슬라이스 요청

Time-Slicing (시분할)

모든 GPU 지원

# Time-slicing 설정
apiVersion: v1
kind: ConfigMap
metadata:
  name: time-slicing-config
  namespace: gpu-operator
data:
  any: |
    version: v1
    sharing:
      timeSlicing:
        renameByDefault: false
        resources:
          - name: nvidia.com/gpu
            replicas: 4  # 1 GPU를 4개로 분할
# Time-slicing 사용 Pod
apiVersion: v1
kind: Pod
metadata:
  name: shared-gpu-pod
spec:
  containers:
    - name: app
      image: cuda-app:latest
      resources:
        limits:
          nvidia.com/gpu: 1  # 1/4 GPU 사용

MPS (Multi-Process Service)

# MPS 활성화
apiVersion: v1
kind: ConfigMap
metadata:
  name: mps-config
  namespace: gpu-operator
data:
  config.yaml: |
    version: v1
    sharing:
      mps:
        renameByDefault: false
        resources:
          - name: nvidia.com/gpu
            replicas: 10  # 최대 10개 프로세스 공유

공유 전략 비교

전략 격리 성능 적합 워크로드
MIG 하드웨어 최고 안정적 추론, 학습
Time-slicing 없음 중간 개발, CI/CD
MPS 소프트웨어 높음 추론, 배치

Anti-Patterns

실수 문제 해결
전체 GPU 요청 리소스 낭비 MIG/Time-slicing
Gang 스케줄링 미사용 분산 학습 실패 Volcano 사용
쿼터 미설정 팀간 경합 Kueue ClusterQueue
모니터링 부재 사용률 불명 DCGM Exporter
단일 노드 풀 스케일링 어려움 워크로드별 노드 풀

체크리스트

인프라 설정

  • NVIDIA GPU Operator 설치
  • DCGM Exporter 활성화
  • GPU 노드 레이블링
  • Karpenter/CA GPU 풀 설정

공유 전략

  • MIG 프로필 설정 (A100/H100)
  • Time-slicing 또는 MPS 설정
  • ResourceFlavor 정의

관련 agent: mlops-expert 관련 skill: /k8s:k8s-gpu-scheduling (Kueue, Volcano, 모니터링), /ai:ml-serving, /k8s:k8s-autoscaling