Kafka 운영을 리포트로 만드는 가장 편한 방법 — Insight

매주 월요일 아침 운영 회의에 들어가기 전, 지난주 클러스터가 어떻게 돌아갔는지 정리하는 일은 생각보다 시간을 많이 잡아먹어요. Grafana를 열고 시간 범위를 일주일로 바꾼 다음, 패널 하나씩 캡처를 떠서 슬라이드에 붙이고, 토픽별로 다시, 컨슈머 그룹별로 다시. 다 끝내고 나면 회의는 30분 만에 끝나고, 그 자료는 그대로 사라져요.

Kafka 운영을 오래 해본 분들이라면 이 풍경이 그다지 낯설지 않을 거예요. 매주 같은 작업을 반복하면서도 좀처럼 자동화되지 않는 영역이죠. 모니터링 도구는 현재 상태를 보여주는 데 최적화되어 있지, 운영 리포트를 만들어 주지는 않거든요.

이번 글에서는 Felice Studio의 Insight 기능을 소개드릴게요. 한마디로 표현하면, Kafka 클러스터의 운영 메트릭을 사용자가 만든 템플릿 단위로 월간·주간·일간 자동 집계해서, 정기 운영 리포트를 PDF로 바로 내보낼 수 있게 해주는 기능이에요.

Kafka 운영자에게 익숙한 장면들

매주 월요일 운영 회의용 자료를 손으로 만드는 인프라 팀이 있어요. 한 사람당 한두 시간씩, 매주 같은 작업이 반복되죠.

분기 임원 보고를 준비하는 자리도 있어요. Kafka가 잘 돌고 있다는 한 문장을 뒷받침할 정량 데이터가 필요한데, 화면용 대시보드에서 보고용 자료로 만드는 작업이 또 반나절을 잡아먹어요.

다음 분기에 새 서비스가 붙으면서 트래픽이 늘어날 예정이라 브로커를 몇 대 더 추가해야 할지 결정해야 하는 자리도 있어요. 그런데 그 의사결정의 근거가 될 추세 데이터를 만드는 데 또 며칠이 들어가죠. 어떤 토픽이 가장 빨리 자라고 있는지, 컨슈머 그룹별 처리량이 한계에 가까워지고 있는지를 월 단위로 비교해야 하는데, 모니터링 화면을 넘기며 손으로 정리하는 방식으로는 결정 자리에서 설득력이 부족해요.

Insight는 모니터링 기능이 아니라 리포트 기능이에요

Felice Studio의 Insight가 일반적인 모니터링 대시보드와 가장 크게 다른 점은, 처음부터 리포트를 만들기 위해 설계되었다는 거예요. Governance 메뉴의 Insight로 들어가서 템플릿을 만들면, 아래 9개 카테고리의 패널을 자유롭게 조합할 수 있어요.

[embed]

자주 쓰이는 용도의 기본 템플릿으로 시작해서, 목적별로 템플릿을 따로 만들어 두어 활용하실 수 있어요. 월간 운영 보고용, 성능 분석용, 장애 회고용 같은 식으로요. 보고 자리가 생길 때마다 클릭 한 번이면 같은 형식의 리포트가 나와요.

매일 새벽, 알아서 미리 만들어 두는 데이터

주간 지연시간 통계

Felice Studio의 Insight는 정해진 시간에 데이터를 미리 생성해서 저장하는 구조예요. 일간 Insight는 매일 새벽 00:10에, 주간은 매주 월요일 00:20에, 월간은 매월 1일 00:30에 자동으로 만들어져요.

큰 범위 조회도 가볍게 열려요. 한 달치, 한 분기치를 펼쳐도 부담이 없고, 무엇보다 시점 데이터가 영속된다는 점이 중요해요. 일간 Insight는 4주, 주간 Insight는 3개월, 월간 Insight는 1년 치를 보관해 두기 때문에, 보고 사이클이 주·월·분기·연간 어느 단위든 사후에 다시 꺼내볼 수 있어요. 메트릭은 Felice Studio와 동일한 저장소에서 가져오기 때문에, 평소 화면에서 보던 데이터와 같은 흐름으로 그대로 리포트에 정리돼 나와요.

만약 어떤 이유로 생성이 실패했더라도, 다음 주기가 돌기 전까지는 직접 재생성을 요청할 수 있어요. 일간이면 어제, 주간이면 저번 주, 월간이면 지난달 Insight를 다시 만들 수 있는 식이에요.

클릭 한 번으로 끝나는 정기 리포트

대시보드 우상단의 데이터 내보내기 버튼을 누르면, 현재 필터가 적용된 모든 패널이 PDF로 나와요. 시계열 그래프와 집계 수치가 다 포함된 채로요. 그대로 운영 회의 자료에 첨부하거나, 임원 보고서에 붙이거나, 감사 증빙으로 보관할 수 있어요.

Sample Insight Report

권한은 거버넌스 수준으로 분리되어 있어 조회, 생성, 수정, 삭제 권한이 모두 따로 관리돼요. 일반 운영자는 정해진 템플릿 조회만, 시니어는 템플릿 수정까지, 관리자만 삭제까지 — 이런 식으로 정책을 세울 수 있어요. 템플릿은 기본적으로 생성한 계정 단위로 격리되어 다른 사용자에게 함부로 노출되지 않고, 누가 어떤 리포트를 보고 만지는지가 명확하게 통제되는 구조예요.

이런 신호가 있다면 한번 검토해 볼 만해요

다음 다섯 가지 중에 두 개 이상 해당된다면, Insight 기능을 더욱 편리하게 활용할 수 있을 거예요.

• 매주 또는 매월 같은 형식의 운영 회의 자료를 손으로 만들고 있어요.
• 보고나 감사용으로 정기 운영 리포트를 만들어 활용해야 해요.
• 분기나 월 단위로 클러스터 추세를 비교해야 하는 일이 자주 있어요.
• 운영자마다 보는 대시보드가 제각각이라 회의에서 같은 그림을 못 보고 있어요.
• 사후에 시점 데이터가 필요한 경우가 있는데 모니터링 도구의 보존 기간이 짧아서 자주 곤란을 겪어요.

마무리

Felice Studio의 Insight는 Kafka 운영 데이터를 정리하는 작업을 정해진 템플릿으로 표준화해, 담당자가 바뀌어도 같은 형식의 리포트가 나오게 해줍니다. 단순한 모니터링을 넘어서, 운영 데이터를 의사결정에 쓸 수 있는 형태로 정리해주는 편리한 거버넌스 도구예요.

도입 검토나 데모가 필요하시면 spitha.io에서 편하게 문의 주세요.