6. Alertmanager를 이용한 장애 알림 시스템 구축

모니터링의 최종 목표는 단순히 데이터를 쌓고 대시보드를 보는 것이 아니라, 문제가 발생했을 때 이를 자동으로 인지하고 담당자에게 알리는 것입니다. 아무리 멋진 대시보드도 24시간 보고 있을 수는 없기 때문입니다. 이 역할을 하는 것이 바로 프로메테우스 생태계의 '알림 처리 전문 컴포넌트'인 Alertmanager입니다.

이번 장에서는 프로메테우스에서 알림 규칙을 정의하고, Alertmanager를 통해 중복 알림을 방지하며 슬랙(Slack)으로 의미 있는 장애 알림을 보내는 전체 과정을 실습합니다.

1. 프로메테우스와 Alertmanager의 역할 분담

프로메테우스 생태계는 알림 발생과 알림 처리를 의도적으로 분리했습니다. 이는 각 컴포넌트가 자신의 역할에만 집중하도록 하는 좋은 설계입니다.

• Prometheus Server: 언제(When) 알림을 발생시킬지 결정합니다. 설정된 알림 규칙(Alerting Rules)을 주기적으로 평가하여, 조건이 충족되면 Alertmanager로 알림 이벤트를 보냅니다.
• Alertmanager: 어떻게(How), 어디로(Where) 알림을 보낼지 결정합니다. 프로메테우스로부터 받은 알림들을 그룹화(Grouping), 중복제거(Deduplication), 억제(Inhibition/Silencing)한 후, 최종적으로 슬랙, 이메일, PagerDuty 등 실제 채널로 알림을 라우팅(Routing)합니다.

2. 1단계: 프로메테우스에 알림 규칙(Alerting Rules) 정의하기

먼저 프로메테우스가 "어떤 상황에 알림을 보낼지"를 정의해야 합니다. 이는 별도의 YAML 파일(예: alert.rules.yml)에 작성합니다.

# alert.rules.yml
groups:
  - name: host-alerts
    rules:
      - alert: InstanceDown
        expr: up == 0
        for: 1m
        labels:
          severity: critical
        annotations:
          summary: "인스턴스 다운: {{ $labels.instance }}"
          description: "{{ $labels.job }} 잡의 {{ $labels.instance }} 인스턴스가 1분 이상 다운 상태입니다."

      - alert: HighCpuUsage
        expr: (100 - (avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[2m])) * 100)) > 80
        for: 5m
        labels:
          severity: warning
        annotations:
          summary: "높은 CPU 사용률: {{ $labels.instance }}"
          description: "{{ $labels.instance }}의 CPU 사용률이 5분 동안 {{ $value | printf `%.2f` }}% 입니다."

위 규칙 파일의 각 필드는 다음과 같은 의미를 가집니다.

• alert: 알림의 이름입니다.
• expr: 알림을 발생시킬 PromQL 표현식입니다. 이 식이 참이 되면 알림이 'Pending' 상태가 됩니다.
• for: expr 조건이 이 시간 동안 지속될 경우에만 알림을 'Firing' 상태로 바꾸고 Alertmanager로 보냅니다. 일시적인 변동(flapping)으로 인한 불필요한 알림을 방지하는 매우 중요한 설정입니다.
• labels: 알림 자체에 붙는 추가 레이블입니다. Alertmanager에서 라우팅 규칙을 정하거나, 심각도(severity)를 구분하는 데 사용됩니다.
• annotations: 알림 메시지에 포함될 상세 정보입니다. summary, description 등을 사용하며, {{ $labels.instance }}, {{ $value }} 같은 템플릿 변수를 사용하여 동적인 메시지를 만들 수 있습니다.

이 규칙 파일을 prometheus.yml에 등록하고 프로메테우스를 재시작하면, 프로메테우스는 이제 알림을 발생시킬 준비를 마칩니다.

# prometheus.yml
rule_files:
  - "alert.rules.yml"

alerting:
  alertmanagers:
    - static_configs:
      - targets:
        - 'localhost:9093' # Alertmanager 주소

3. 2단계: Alertmanager 설정하기 (`alertmanager.yml`)

이제 프로메테우스가 보낸 알림을 받아서 처리할 Alertmanager를 설정합니다.

# alertmanager.yml
global:
  # 여기에 슬랙 웹훅 URL 등을 설정할 수 있습니다.
  slack_api_url: 'https://hooks.slack.com/services/...'

route:
  # 기본 수신자
  receiver: 'slack-default'
  # 어떤 레이블로 알림을 그룹화할지 결정합니다.
  # cluster, alertname이 같다면 하나의 알림으로 묶입니다.
  group_by: ['alertname', 'cluster']
  
  # 첫 알림을 받은 후, 이 시간만큼 기다렸다가 그룹 내 다른 알림이 오는지 확인
  group_wait: 30s
  # 그룹 내 새로운 알림이 발생했을 때, 다음 알림까지 대기하는 시간
  group_interval: 5m
  # 동일한 알림이 해결되지 않았을 때, 다시 알림을 보내는 주기
  repeat_interval: 4h

  # 하위 라우팅 규칙들
  routes:
    - receiver: 'slack-critical'
      # severity 레이블이 'critical'인 알림은 이 경로를 따릅니다.
      match:
        severity: 'critical'

receivers:
  - name: 'slack-default'
    slack_configs:
      - channel: '#alerts-general'
        # 슬랙 메시지 템플릿
        text: "summary: {{ .CommonAnnotations.summary }}\ndescription: {{ .CommonAnnotations.description }}"

  - name: 'slack-critical'
    slack_configs:
      - channel: '#alerts-critical'
        text: " [CRITICAL] {{ .CommonAnnotations.summary }}\n{{ .CommonAnnotations.description }}"

4. 고급 기능: Inhibition과 Silencing

Alertmanager의 강력함은 불필요한 알림을 '억제'하는 기능에서 나옵니다.

• Silencing (수동 억제): "지금부터 2시간 동안 서버 점검 예정이니, `instance-1` 서버 관련 알림은 보내지 마" 와 같이, 특정 기간 동안 특정 조건의 알림을 수동으로 끄는 기능입니다. Alertmanager의 웹 UI를 통해 쉽게 설정할 수 있습니다.
• Inhibition (자동 억제): 하나의 근본 원인이 여러 개의 알림을 발생시킬 때, 덜 중요한 알림을 자동으로 억제하는 규칙입니다. 예를 들어, 데이터센터 전체의 네트워크 스위치가 다운되어 `DatacenterDown` 알림이 발생했다면, 그 안에 속한 수백 대의 서버에서 발생하는 `InstanceDown` 알림은 의미가 없습니다. 이럴 때 `DatacenterDown` 알림이 `InstanceDown` 알림을 억제하도록 규칙을 설정할 수 있습니다.

# alertmanager.yml에 추가
inhibit_rules:
  - source_match:
      severity: 'critical' # 심각도 'critical' 알림이 발생하면
    target_match:
      severity: 'warning'   # 심각도 'warning' 알림을 억제한다
    # 단, cluster 레이블이 같을 때만 억제한다
    equal: ['cluster']