공부/Kafka

출처&참고 : https://product.kyobobook.co.kr/detail/S000201464167 카프카 핵심 가이드 | 그웬 샤피라 - 교보문고카프카 핵심 가이드 | 카프카를 창시한 사람들이 쓰고, 카프카 개발에 참여한 한국인 개발자가 옮긴 핵심 실무서모든 엔터프라이즈 애플리케이션은 로그 메시지, 지표, 사용자 행동 혹은 외부로product.kyobobook.co.kr 가. 멱등적 프로듀서 (Idempotence Producer)  a. Exactly Once  -  어플리케이션이 복잡해지면서 이벤트 중복 처리로 인해 문제가 발생할 수 있는 시스템이 존재한다.  -  이를 해결하기 위해서 카프카는 Exactly Once 기능을 제공하고 있다. 이 기능은 멱등적 프로듀서와 트랜잭션을 통해 구현..

출처&참고 : https://product.kyobobook.co.kr/detail/S000201464167 카프카 핵심 가이드 | 그웬 샤피라 - 교보문고카프카 핵심 가이드 | 카프카를 창시한 사람들이 쓰고, 카프카 개발에 참여한 한국인 개발자가 옮긴 핵심 실무서모든 엔터프라이즈 애플리케이션은 로그 메시지, 지표, 사용자 행동 혹은 외부로product.kyobobook.co.kr 가. 컨트롤러  a. Ephemeral Node  -  카프카는 현재 클러스터의 멤버인 브로커들의 목록을 유지하기 위해 아파치 주키퍼를 사용한다.      => 각 브로커는 브로커 설정파일에 저장되어있거나 아니면 자동으로 생성된 고유한 식별자를 가진다.    -  브로커 프로세스는 시작될때마다 주키퍼에 Ephemeral N..

출처&참고 : https://product.kyobobook.co.kr/detail/S000201464167 카프카 핵심 가이드 | 그웬 샤피라 - 교보문고카프카 핵심 가이드 | 카프카를 창시한 사람들이 쓰고, 카프카 개발에 참여한 한국인 개발자가 옮긴 핵심 실무서모든 엔터프라이즈 애플리케이션은 로그 메시지, 지표, 사용자 행동 혹은 외부로product.kyobobook.co.kr 가. 프로듀서(Producer) 알아보기 a. 언제 쓸까?  -  사용자의 행동 기록, 성능 메트릭 기록, 로그 메세지 저장, 스마트 가전에서 정보 수집, 다른 어플리케이션과 비동기적 통신, DB 저장하기전 버퍼링 등이 있다.     =>  유실이 용납되지 않는지, 허용되는지, 중복이 허용되도 상관없는지, 반드시 지켜야할 지연..

출처&참고 : https://product.kyobobook.co.kr/detail/S000201464167 카프카 핵심 가이드 | 그웬 샤피라 - 교보문고카프카 핵심 가이드 | 카프카를 창시한 사람들이 쓰고, 카프카 개발에 참여한 한국인 개발자가 옮긴 핵심 실무서모든 엔터프라이즈 애플리케이션은 로그 메시지, 지표, 사용자 행동 혹은 외부로product.kyobobook.co.kr가. 컨슈머 알아보기 a. 컨슈머와 컨슈머그룹 (Group Consumer)  -  프로듀서가 어플리케이션이 검사할수 있는 속도보다 더 빠른 속도로 토픽에 메세지를 쓰게 된다면 컨슈머의 메세지의 처리가 뒤로 밀리게 될 것 이다.       => 그렇기 때문에 토픽으로부터 데이터를 읽어오는 작업을 확장(scale-out)할 수 있..

출처&참고 : https://product.kyobobook.co.kr/detail/S000201464167 카프카 핵심 가이드 | 그웬 샤피라 - 교보문고카프카 핵심 가이드 | 카프카를 창시한 사람들이 쓰고, 카프카 개발에 참여한 한국인 개발자가 옮긴 핵심 실무서모든 엔터프라이즈 애플리케이션은 로그 메시지, 지표, 사용자 행동 혹은 외부로product.kyobobook.co.kr 가. 설치하기 (Docker Compose)  a. Confluent ?  -  카프카 도커 이미지를 찾아보니 Apache에서 제공하는것 이외에 엄청 다양한 이미지가 존재하는것을 볼수 있었다.       => 카프카 베이스 이미지에 좀 더 편리하게 쓰기위해 커스텀한 이미지들이다.    -  Confluent가 가장 많이 쓰이는..

출처&참고 : https://product.kyobobook.co.kr/detail/S000201464167 카프카 핵심 가이드 | 그웬 샤피라 - 교보문고카프카 핵심 가이드 | 카프카를 창시한 사람들이 쓰고, 카프카 개발에 참여한 한국인 개발자가 옮긴 핵심 실무서모든 엔터프라이즈 애플리케이션은 로그 메시지, 지표, 사용자 행동 혹은 외부로product.kyobobook.co.kr- 카프카를 최근까지 도메인 특성상 사용 할 일이 없었는데 적용해야하는 업무가 생겼고 마침 스터디도 진행하게 되어서 공부하게 되었다.- 살짝 보면서 단순히 메세지큐 같지 않을까라는 생각이 들었는데 생각보다 다양한 기술적인 부분들이 카프카 내에 존재하는게 많이 느껴졌다. 가. 카프카 기본용어 정리 a. 뭐가 많네..  - 카프카 ..