Kafka 썸네일형 리스트형 [Kafka] Producer (2) Producer Acks Producer Parameter 중 하나 Producer에서 Kafka가 메시지를 잘 전달받았는지 확인할 수 있는 방법 acks 설정은 요청이 성공할 때를 정의하는 데 사용되는 Producer Parameter이다. * acks = 0 -> ack가 필요하지 않음(주로 사용되지 않지만, 메시지 손실이 다소 있더라도 메시지를 빠르게 보내야 할 때 사용한다.) * acks = 1(default) -> Leader가 메시지를 수신하면 ack를 보낸다. Leader가 Producer에게 ACK를 보낸 후, Follower가 복제하기 전에 Leader에 장애가 발생하면 메시지가 손실된다. (최대 한 번 전송을 보장한다.) * acks = -1 : acks = all 동일한 옵션, Pro.. 더보기 [Kafka] Producer (1) 메시지를 생산(Produce)해서 Kafka의 Topic으로 메시지를 보내는 애플리케이션 * Producer와 Consumer는 서로 알지 못해, 각각의 고유 속도로 Partition(Commit Log)에 Write 및 Read를 수행한다. Record Producer가 전송하는 데이터 Message = Record = Event = Data Headers = Metadata, Key + Value = Body Data Key + Value = Json, Avro 등 다양한 형태가 가능하다. ** Kafka는 Record를 Byte Array로만 저장한다. Producer 라이브러리가 입력 받은 데이터를 Serializer 작업을 진해해서 Byte Array로 데이터를 전달한다. 내부 동작 1. Cli.. 더보기 [Kafka] Apache Kafka란? 데이터가 흐르는 Event Streams를 받아 해당 데이터를 필요로 하는 곳으로 전송해주는 시스템이다. 한마디로, 움직이는 데이터를 처리하는 플랫폼(Event Streaming Platform) Event: 서비스에서 일어나는 모든 데이터를 의미한다. 빅데이터의 특징을 가진다. -> 서비스 모든 영역에서 광범위하게 발생하기 때문에 대용량의 데이터가 발생한다. Ex) 웹 사이트에서 무언가를 클릭하는 것, 위치 정보, 고객 정보 등... Event Streams: 연속적인 많은 Event들의 흐름 Kafka 주요 특징 1. Event Stream을 안전하게 전송한다. (Publish & Subscribe) 2. Event Stream을 디스크에 저장한다. (디스크에 저장하면서 매우 빠른 속도의 데이터 전송.. 더보기 이전 1 2 3 다음
