서버 OOM Authentik 업그레이드
이 페이지는 Authentik 업그레이드 중에 발생한 2026년 1월 13일 마스터 노드 OOM 이벤트에 대한 사고 회고입니다. 계기는 Authentik 메모리 급증이었지만 지속적인 교훈은 노드 역할 격리와 전반적인 제어 영역 헤드룸에 관한 것이었습니다.
실패한 것
업그레이드하는 동안 cgroup OOM 제한으로 인해 Authentik gunicorn 워커가 반복적으로 종료되었습니다. 그것은 첫 번째 실패에 불과했습니다. 마스터 노드는 이미 제어 영역이 아닌 워크로드를 너무 많이 처리하고 있었기 때문에 추가 부담이 외부로 퍼졌습니다.
- SSH를 사용할 수 없게 되었습니다.
- 호스트가 비상 모드 복구에 들어갔습니다.
- K3s API 호출 시간이 초과되었습니다.
- Longhorn 프로브가 실패하고 컨테이너가 순차적으로 다시 시작됨
사고 기록에는 Falco, VPA, Goldilocks 및 Trivy와 같은 지원 도구를 포함하여 해당 노드에 공동 배치된 46개의 포드가 있는 단일 마스터 클러스터가 설명되어 있습니다.
확인된 원인
- 새로운 Authentik 버전에는 허용된 이전
512Mi컨테이너 제한보다 더 많은 메모리가 필요했습니다. - 마스터 노드는 제어 평면 작업을 위해 격리되지 않았으므로 한 애플리케이션 의 메모리 급증으로 인해 전체 클러스터가 중단될 수 있습니다.
복구 및 지속적인 수정
효과적인 교정에는 두 가지 계층이 있습니다.
- 즉각적인 호스트 복구 및 K3s 재시작
- 제어 평면 경합의 구조적 감소
구조적 변화는 내구성이 뛰어났습니다.
- 업그레이드 경로에 충분한 공간이 있도록 Authentik 메모리 제한을 높입니다.
- 제어 영역 노드에서 선택적 지원 워크로드 실행을 중지합니다.
- API 서버와 경쟁하는 대신 일반 워크로드가 제거되도록 마스터 노드를 오염시킵니다.
현재 저장소가 여전히 증명하는 것
검사된 저장소에는 더 이상 Authentik 매니페스트가 포함되어 있지 않으므로 사고로 인한 정확한 메모리 제한 변경을 증명할 수 없습니다.
이벤트에서 나온 이후의 발자국 감소 방향은 여전히 표시됩니다.
lumie-infra/applications/kustomization.yaml는 소규모 노드 설치 공간 계획을 위한 헤드램프 및 코더와 같은 옵션 도구를 설명합니다.lumie-infra/observability/kustomization.yaml는 동일한 설치 공간 이유로 Goldilocks 및 VPA를 주석 처리합니다.lumie-infra/security/kustomization.yaml는 메모리 감소 작동 모드에 대해 Trivy 및 Keycloak을 주석 처리합니다.
해당 파일은 사건을 재현하지는 않지만 동일한 운영 원칙을 보여줍니다. 즉, 선택적 서비스는 작은 노드의 플랫폼 헤드룸을 양보해야 합니다.
주의할 점
Authentik은 검사된 저장소에 더 이상 존재하지 않기 때문에 이 페이지는 사건 자체에 대한 보관 페이지입니다. 현재 저장소는 OOM을 트리거한 원래 애플리케이션 매니페스트가 아닌 다운스트림 일정 및 공간 학습만 보존합니다.
지속적인 교훈
- 가능한 한 빨리 선택적 플랫폼 워크로드에서 제어 영역 용량을 분리하세요.
- 대규모 애플리케이션 업그레이드를 버전 범프뿐만 아니라 리소스 프로필 변경으로 처리합니다.
- 하나의 포드가 작은 제어 평면 노드에서 OOMing을 시작하면 다음으로 스토리지 및 클러스터 API 경로에 2차 오류가 나타날 것이라고 가정합니다.
- Git에서 축소된 공간 토글을 명확하게 유지하여 운영 상충관계가 계속 표시되도록 합니다.
확인
cd Lumie
sed -n '1,60p' lumie-infra/applications/kustomization.yaml
sed -n '1,40p' lumie-infra/observability/kustomization.yaml
sed -n '1,40p' lumie-infra/security/kustomization.yaml
성공은 원래 Authentik 배포 자체가 더 이상 체크인되지 않더라도 리포지토리가 사고로 인해 발생한 축소된 공간 결정을 계속 노출한다는 것을 의미합니다.