Consumer 썸네일형 리스트형 [Spring + Kafka] Consume Messages Message Listener Record MessageListener Auto Commit AcknowlegingMessageListener Manual Commit ConsumerAwareMessageListener Consumer 객체 활용 AcknowledgingConsumerAwareMessageListener Manual Commit + Consumer 객체 활용 Batch BatchMessageListener Auto Commit BatchAcknowlegingMessageListener Manual Commit BatchConsumerAwareMessageListener Consumer 객체 활용 BatchAcknowledgingConsumerAwareMessageListener Manua.. 더보기 [Kafka] Consumer (2) 지난 글 요약 Consumer는 메시지를 가져오기 위해서 Partition에 연속적으로 Poll을 하고 가져온 위치를 나타내는 offset 정보를 __consumer_offsets Topic에 저장하여 관리한다. 동일한 group.id로 구성된 모든 Consumer들은 하나의 Consumer Group을 형성하고 Consumer Group의 Consumer들은 작업량을 어느 정도 균등하게 분할한다. 이때, 데이터는 Partition에 균등하게 존재해야 한다. 동일한 Topic에서 Consume 하는 여러 Consumer Group이 존재할 수 있다. Partition Assignment Partition을 Consumer에게 Assign(할당)할 때 하나의 Partition은 지정된 Consumer Gr.. 더보기 [Kafka] Consumer (1) Partition으로부터 Record(데이터)를 가져와서 활용하는 애플리케이션 Consumer는 각각의 고유의 속도로 Partition(Commit Log)으로부터 순서대로 Read를 수행한다. * Consumer Group 다른 Consumer Group에 속한 Consumer들은 서로 관련이 없으며(독립적), Partition에 있는 Event(Message)를 동시에 다른 위치에서 Read 할 수 있다. Consumer Group은 각 Consumer의 Group Id가 같은 Consumer의 모임이다. Consumer Group의 Consumer들은 작업량을 어느 정도 균등하게 분할한다. * Consumer Offset: Consumer Group이 읽은 위치를 표시한다. Consumer가 자동이.. 더보기 이전 1 다음
