[Kafka Connect] 카프카 커넥트 모니터링

작업 내용

• Telegraf, Grafana를 사용해 서버 메트릭 수집 및 모니터링 구성

 

구성 방식

순서

• 메트릭 수집/전송 (jolokia, telegraf) → 메트릭 저장 (kafka, influxdb) → 저장된 메트릭 분석 & 시각화 (grafana)

 

 

상세 구조

• 발급 VM 장비 내 Telegraf를 사용해 kafka connect, system 메트릭 수집 후 Kafka로 전송
  
  • 위치 : /etc/telegraf
  • 실행 주기 : 60s
• telegraf.conf 파일 내부 input plugin에 수집할 메트릭을 추가하여 추가 수집 가능함
  • 방식 : https://fordevelop.tistory.com/236
  • 참고
    • 카프카 커넥트의 경우 커넥트 워커가 할당받은 Connector 및 Task에 대해서만 JMX 메트릭 수집 가능
    • 즉, 커넥트 클러스터 환경일 경우 클러스터에 속한 모든 워커의 메트릭을 수집해야 전체 Connector 및 Task 메트릭 수집이 가능함
• 사내 제공 인프라
  • 각 서버에서 수집된 데이터는 사내 공통 카프카에 전송됨
  • 카프카 브로커 서버에 설치된 telegraf를 이용해 kafka → influxdb로 데이터 저장

 

 

대시보드 구성

• 모니터링 항목
  • VM 장비의 CPU, Memory 사용량
  • Connector, Task 상태
  • 커넥트 워커의 리밸런싱 발생 여부
  • Kafka Connect → Kafka 로 발행하는 토픽의 MessagesInPerSec
• Alert 설정 기준
  • Connector, Task 상태가 failed 일 때 (수동 restart 필요)