Work
-
[Quarkus] SmallRye Kafka ConnectorWork 2025. 3. 5. 21:56
개요Quarkus Kafka Connector > Incoming Channel의 failure, commit 전략 이해하기 내용주의) 아래는 Kafka Consumer의 동작이 아닌 Quakurs Kafka Connector의 동작이다. 커밋 방식default : 수동 커밋enable.auto.commit=false Q. 메시지 처리 중 예외가 발생했을 때 어떻게 동작할까?메시지가 정상적으로 처리되었는지는 메시지의 ack/nack으로 구분함 (acknowledgement/not acknowledgement)예외가 발생했을 때 메시지는 nack됨failure-strategy 설정에 따라 동작함fail어플리케이션 중단시켜 메시지가 더이상 처리되지 못함 (컨슈머 종료)예외가 발생한 메시지의 오프셋을 커밋하지..
-
[Kafka Connect] 참고 - Telegraf로 커넥트 메트릭 수집하기Work 2025. 2. 3. 21:42
1. jolokia agent 실행실행 위치 : 커넥트 실행 서버 내부 실행 방법1) jolokia agent jar 다운로드sudo wget https://repo.maven.apache.org/maven2/org/jolokia/jolokia-agent-jvm/2.0.0/jolokia-agent-jvm-2.0.0-javaagent.jar 2) docker-compose.yml 에 KAFKA_JMX_OPTS을 설정하여 커넥트 jar 실행 시 -javaagent 옵션 지정cf)https://docs.confluent.io/platform/current/kafka/monitoring.html#configure-jmxhttps://jolokia.org/agent/jvm.htmlhttps://nyyang.tis..
-
[Kafka Connect] 카프카 커넥트 모니터링Work 2025. 2. 3. 21:39
작업 내용Telegraf, Grafana를 사용해 서버 메트릭 수집 및 모니터링 구성 구성 방식순서메트릭 수집/전송 (jolokia, telegraf) → 메트릭 저장 (kafka, influxdb) → 저장된 메트릭 분석 & 시각화 (grafana) 상세 구조발급 VM 장비 내 Telegraf를 사용해 kafka connect, system 메트릭 수집 후 Kafka로 전송위치 : /etc/telegraf실행 주기 : 60stelegraf.conf 파일 내부 input plugin에 수집할 메트릭을 추가하여 추가 수집 가능함방식 : https://fordevelop.tistory.com/236참고카프카 커넥트의 경우 커넥트 워커가 할당받은 Connector 및 Task에 대해서만 JMX 메트릭 수집 ..
-
[Kafka Connect] 카프카 커넥트 클러스터 구성Work 2025. 2. 3. 21:23
작업 배경검색 기능 제공을 위해 Kafka Connect를 사용해 MongoDB --> Kafka로의 데이터 파이프라인 구성Mongo Source Connector가 MongoDB의 게시글, 댓글 컬렉션 내 데이터 변경사항에 대한 change event를 조회해와 Kafka에 메시지 발행ES Sync가 해당 메시지를 컨슘하여 Elastic Search로 관련 데이터 전달Elastic Search는 검색 시 사용되고 있음 참고)더보기Kafka Connect란?데이터베이스, 키-밸류 스토어, 파일 시스템과 같은 외부 시스템을 kafka에 연결해주는 구성 요소로, Apache Kafka에서 제공하는 오픈소스Kafka Connect를 이용하면 다양한 제품을 시스템에 쉽게 연동할 수 있어 간편하게 데이터 파이프라..