[Monitoring] Grafana & Slack 알람

개요
EC2와 EKS에 대한 프로메테우스&그라파나 연동은 완료했으니
SLACK으로 알람을 받아보자💪

[Grafana]

1. Alert Rule 설정

• Aleting -> alert rules

• metric browser를 통해 알람받 메트릭정보를 고를수 있다.

100 - avg by (instance, cpu) (irate(node_cpu_seconds_total{job="node_exporter", mode="idle"}[1m])) * 100

• 별도로 메트릭정보를 커스텀해서 cpu사용량에 대한 알람을 받을거다.

• cpu사용량이 50이 넘을경우 알람발생

• 알람은 1분간격으로 5분동안 울리도록 설정 

• 룰 네임 및 규칙이 저장될 폴더 및 그룹은 하고싶은대로 생성 
• 나의 경우 URL은 알람에 해당되는 그라파나대시보드URL로 지정하였다.

2. Contact point 설정

• 새로운 connact point 생성 

• Webhook URL은 그라파나 알람을 받을 slack의 웹훅URL

• 알람 메시지 커스텀을 위해 Text Body에 mytemplate을 지정해두었다. 

• 새로운 템플릿 생성

{{ define "mytemplate" }}
{{ range .CommonAnnotations.SortedPairs }}
{{ .Name }}: {{ .Value }}
{{ end }}
{{ end }}

• 위와 같이 설정하면 내가 지정해놓은 원하는 메시지만 받을 수 있다.

[SLACK]

1. EC2 CPU 부하

# 설치 명령어
yum install -y stress
# 버전 확인 명령어
stress --version
# 1코어의 cpu를 60초동안 과부화시킨다.
stress --cpu 1 --timeout 60s

• EC2가 아주 잘 스트레스 받고있다.

2. SLACK 알람 확인 

• Slack을 통해 알람이 정상적으로 도착했다.
• URL을 통해 알람정보 확인

• URL접속을 통해 알람대시보드 확인까지 완료 ~
• 참조블로그

[Grafana] Slack Alert 메세지 커스텀마이징