Study/카프카 핵심 가이드
-
[카프카 핵심 가이드] CH3. 카프카 프로듀서: 카프카에 메시지 쓰기Study/카프카 핵심 가이드 2025. 2. 4. 01:34
배울 내용프로듀서의 디자인과 주요 요소KafkaProducer와 ProducerRecord 객체를 어떻게 생성하는지, 어떻게 카프카에 레코드를 전송하는지, 카프카가 리턴할 수 있는 에러를 어떻게 처리하는지프로듀서의 작동을 제어하기 위해 사용되는 가장 중요한 설정 옵션들파티션 할당 방식을 정의하는 파티셔너와 객체의 직렬화 방식을 정의하는 시리얼라이저에는 어떠한 것들이 있는지, 이들을 작성하기 위해 어떻게 해야 하는지 3.1 프로듀서 개요프로듀서 API는 매우 단순하지만, 내부적으로는 많은 작업들이 이루어진다.1. ProducerRecord 객체 생성topic, value는 필수 / partition, key는 선택2. 객체 직렬화ProducerRecord 전송 API 호출 시 프로듀서는 키와 값 객체가 네..
-
[카프카 핵심 가이드] CH1. 카프카 시작하기Study/카프카 핵심 가이드 2025. 2. 4. 00:50
토픽과 파티션카프카에 저장되는 메시지는 토픽 단위로 분류된다.토픽은 여러 개의 파티션으로 나뉘어진다.파티션은 하나의 로그에 해당한다.파티션에 메시지가 쓰여질 때는 추가만 가능(append-only)한 형태로 쓰여지며, 읽을 때는 맨 앞부터 제일 끝까지의 순서로 읽힌다.토픽 안의 메시지 전체에 대해 순서 보장 X, 단일 파티션 안에서만 순서 보장파티션은 카프카가 데이터 중복과 확장성을 제공하는 방법이기도 하다.확장성각 파티션이 서로 다른 서버에 저장될 수 있음하나의 토픽이 여러 개의 서버로 수평 확장되어 하나의 서버 용량을 넘어서는 성능을 보여줄 수 있음데이터 중복파티션은 복제될 수 있음서로 다른 서버들이 동일한 파티션의 복제본을 저장하고 있어 서버 중 하나에 장애가 발생해도 읽거나 쓸 수 없는 상황이 벌..