kafka
Apache Kafka 기초 — 클러스터 개념, 토픽·파티션 전략, Strimzi Operator 설치. Use when Kafka 를 처음 도입하거나 파티션 설계 등 기본 개념을 잡을 때, 고급·Connect·Streams 는 kafka- 접두 skill 사용.
SKILL.mdplugins/messaging/skills/kafka/SKILL.md
GitHubApache Kafka 가이드
Kafka 클러스터, Strimzi Operator, 핵심 개념
Quick Reference (결정 트리)
Kafka 배포 방식?
│
├─ 관리형 서비스 ────> Amazon MSK / Confluent Cloud
├─ K8s 운영 ─────────> Strimzi Operator (추천)
└─ VM 직접 운영 ────> Confluent Platform
Consumer 스케일링?
│
├─ K8s 환경 ─────────> KEDA + Kafka Scaler
└─ 일반 환경 ────────> Consumer Group 수동 관리
파티션 수?
│
├─ 예상 처리량 / Consumer당 처리량
└─ 최소: Consumer 수 이상
CRITICAL: Kafka 개념
┌─────────────────────────────────────────────────────────────┐
│ Kafka Architecture │
├─────────────────────────────────────────────────────────────┤
│ │
│ Producer ──────────────────────────────> Topic │
│ │ │
│ ┌─────────┼─────────┐ │
│ │ Partitions │ │
│ │ [P0] [P1] [P2] │ │
│ └─────────┼─────────┘ │
│ │ │
│ ┌─────────┼─────────┐ │
│ │ Consumer Group │ │
│ │ [C0] [C1] [C2] │ │
│ └───────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────┘
파티션 : Consumer = 1:1 (최대 효율)
파티션 > Consumer: 일부 Consumer가 여러 파티션 처리
파티션 < Consumer: 일부 Consumer가 유휴 상태
핵심 개념
| 개념 | 설명 |
|---|---|
| Topic | 메시지 카테고리 |
| Partition | 토픽의 병렬 처리 단위 |
| Offset | 파티션 내 메시지 위치 |
| Consumer Group | 메시지를 분산 처리하는 Consumer 집합 |
| Replication Factor | 파티션 복제 수 (HA) |
| ISR | In-Sync Replicas (동기화된 복제본) |
Strimzi (Kubernetes Operator)
설치
# Strimzi Operator 설치
kubectl create namespace kafka
kubectl apply -f https://strimzi.io/install/latest?namespace=kafka -n kafka
Kafka 클러스터
apiVersion: kafka.strimzi.io/v1beta2
kind: Kafka
metadata:
name: my-cluster
namespace: kafka
spec:
kafka:
version: 3.6.0
replicas: 3
listeners:
- name: plain
port: 9092
type: internal
tls: false
- name: tls
port: 9093
type: internal
tls: true
config:
offsets.topic.replication.factor: 3
transaction.state.log.replication.factor: 3
transaction.state.log.min.isr: 2
default.replication.factor: 3
min.insync.replicas: 2
inter.broker.protocol.version: "3.6"
storage:
type: jbod
volumes:
- id: 0
type: persistent-claim
size: 100Gi
class: gp3
deleteClaim: false
resources:
requests:
memory: 4Gi
cpu: "1"
limits:
memory: 8Gi
cpu: "2"
zookeeper:
replicas: 3
storage:
type: persistent-claim
size: 10Gi
class: gp3
resources:
requests:
memory: 1Gi
cpu: "500m"
entityOperator:
topicOperator: {}
userOperator: {}
Topic 생성
apiVersion: kafka.strimzi.io/v1beta2
kind: KafkaTopic
metadata:
name: orders
namespace: kafka
labels:
strimzi.io/cluster: my-cluster
spec:
partitions: 12
replicas: 3
config:
retention.ms: 604800000 # 7일
segment.bytes: 1073741824
min.insync.replicas: 2
파티션 전략
파티션 수 결정
파티션 수 = max(예상 처리량 / Consumer당 처리량, Consumer 수)
예시:
- 예상 처리량: 10,000 msg/s
- Consumer당 처리량: 1,000 msg/s
- 파티션 수 = 10,000 / 1,000 = 10 (최소)
- 여유분 포함: 12개 권장
파티션 키 전략
| 전략 | 용도 | 예시 |
|---|---|---|
| 사용자 ID | 사용자별 순서 보장 | key=user_123 |
| 주문 ID | 주문별 순서 보장 | key=order_456 |
| Round Robin | 균등 분산 (키 없음) | key=null |
| 지역 기반 | 지역별 처리 | key=region_kr |
Anti-Patterns
| 실수 | 문제 | 해결 |
|---|---|---|
| auto.commit=true | 메시지 유실 | 수동 커밋 사용 |
| acks=0/1 | 메시지 유실 | acks=all |
| 파티션 < Consumer | 유휴 Consumer | 파티션 수 조정 |
| 단일 파티션 | 병렬 처리 불가 | 충분한 파티션 |
| 너무 많은 파티션 | 오버헤드 증가 | 적정 수 유지 |
| lag 무시 | 처리 지연 | KEDA + 모니터링 |
체크리스트
클러스터
- Replication Factor 3 이상
- min.insync.replicas 2 이상
- 충분한 파티션 수
Producer
- acks=all 설정
- idempotence 활성화
- 적절한 배치/압축 설정
Consumer
- 수동 오프셋 커밋
- Consumer Group 설정
- 에러 핸들링
관련 skill: /messaging:kafka-patterns (Producer/Consumer 패턴, KEDA), /k8s:k8s-autoscaling, /observability:monitoring-metrics