유성

[클라우드 네이티브] 3편: 고가용성 모니터링(메트릭) 아키텍처 설계 전략지난 1, 2편에서는 로그 수집의 핵심인 ELK 스택을 고가용성 환경으로 구축하는 방법을 살펴보았다.로그가 서비스에서 발생하는 "기록"을 추적한다면, 이번에 다룰 메트릭(Metric)은 시스템의 "상태youseong.tistory.com이전 글에서는 모니터링 구조 설계에 대한 이론적 배경을 살펴보았다.이번 실전 편에서는 ArgoCD와 Helm을 통해 실제 메트릭 모니터링 시스템을 구축하는 과정을 공유한다. 모든 인프라는 코드로 관리되며, 복잡한 설치 과정을 Helm 차트로 추상화하여 관리 효율을 높인다. 먼저, 실습에 사용할 인프라 구축 코드를 로컬 환경으로 가져오자.# 실습 코드 클론 및 체크아웃git clone https://g..

지난 1, 2편에서는 로그 수집의 핵심인 ELK 스택을 고가용성 환경으로 구축하는 방법을 살펴보았다.로그가 서비스에서 발생하는 "기록"을 추적한다면, 이번에 다룰 메트릭(Metric)은 시스템의 "상태"를 숫자로 파악하는 작업이다. 메트릭 모니터링은 로그 수집과 설계 철학부터 다르다.이번 글에서는 모니터링으로 많이 사용되는 Prometheus와 Thanos, Grafana를 활용한 고가용성 모니터링 구조를 설계해본다. 1. 모니터링 아키텍처: Prometheus + Thanos + Grafana이번 설계의 핵심은 "수집은 중복으로, 조회는 통합으로"이다. 이를 위해 다음과 같이 레플리카를 구성한다.Service Monitor: 일종의 명세서로, 어디서 메트릭을 가져가야 하는지 적어놓는다.Prometheu..

지표가 "서버가 아프다"는 신호를 보내는 경고등이라면, 덤프(Dump)는 "진짜 범인이 누구인지" 지목하는 결정적인 블랙박스 증거이다. 장애 분석의 핵심 단계인 덤프를 통해 구체적으로 무엇을 파악할 수 있을까에 대하여, 이번 글에서는 힙 덤프와 스레드 덤프를 직접 뜯어보며, 장애의 실마리를 찾는 과정을 공유한다. 분석 도구: Intellij Profiler과거 덤프 분석을 위해 Eclipse MAT(Memeory Analyzer Tool)을 많이 사용했지만, 최근에는 개발 환경과의 통합성이 높고 시각화가 뛰어난 Intelllij Profiler를 (필자가) 선호한다.이번 글에서는 모든 분석 과정 역시 Intellij Profiler를 기준으로 진행해본다. 1. 힙 덤프(Heap Dump): 메모리 속 '..

커널을 들여다보는 방법, eBPF서버가 느려질 때 우리는 보통 이런 순서로 원인을 찾는다.APM을 확인한다.CPU, 메모리, GC 로그를 본다.스레드 덤프를 뜬다.그래도 안나오면 감으로 추정하거나, 다양한 시나리오를 가지고 재현을 한다.그런데 어느 순간 이런 케이스를 만날 수 있다.CPU는 25% 계속 사용중인데, 서버에서 하는 일은 없다.사용자는 특정 페이지만 로딩이 불가능하고, 에러 로그도 없다. 이럴 때, "JVM 위에 있는 정보들만 보고는 절대 원인을 확정할 수 없는 순간"이 온다.이 지점에서 만나는 도구가 eBPF이다. eBPF는 뭔가?한줄로 정리하면 다음과 같다.eBPF는 커널에서 발생하는 이벤트를 실시간으로 가로채서 직접 관측할 수 있게 해주는 기술이다. 기존 모니터링이 이런 구조라면,애플리..