zookeeper

실습 환경 - 💡 Java10 (Java 8이상 필수) - 💡 Windows 10 - 💡 Git Bash - 💡 Kafka 2.6.0 이전 포스팅에서 Kafka를 설치하고 Zookeeper를 실행했는데 Zookeeper가 왜 필요한지, 어떻게 설정하면 되는지 알아보자. 1. Zookeeper란 1-1. zookeeper는 Apache의 오픈 소스 프로젝트 중 하나이며, 공개 분산형 구성 서비스, 동기 서비스 및 대용량 분산 시스템을 위한 NameSpace 레지스트리를 제공함. 1-2. znode(주키퍼 노드)는 NameSpace 안에 데이터를 저장하며, 클라이언트는 znode를 통해 데이터를 읽거나 씀. 1-3. Leader 노드가 존재하며, Leader를 제외한 노드들은 Leader로부터 데이터를 동기..

실습 환경 - 💡 Java10 (Java 8이상 필수) - 💡 Windows 10 - 💡 Git Bash - 💡 Kafka 2.6.0 1. Kafka 다운로드 Kafka 공식 홈페이지에서 Kafka를 다운로드 글 쓰는 시점(2020년11월)에 최신버전은 2020년 18월 Release된 2.6.0 이다. Binary downloads의 Scala 2.13 버전의 Kafka 압축파일을 다운로드 Scala를 사용 중이 아니라면 공식홈페이지에서 추천하는 2.13버전을 다운로드하자. 설명을 읽어보면 내가 현재 Scala를 사용할 경우 Kafka와 Scala 버전을 일치시키려면 해당 버전을 다운로드 받으면 된다고 한다. Kafka는 Scala로 개발되었기 때문에 Java8+ 버전이 설치되어있어야 구동할 수 있다...

Kafka 도입 이유 기존의 엔터프라이즈 메시징 시스템들의 한계 배달 보장(delivery guarantee)을 위한 기능들은 로그 처리를 위한 시스템 입장에서는 불필요 처리 속도(throughput)를 디자인 제약으로 고혀하지 않음. 분산에 대한 고려가 부족 메시지가 즉시 소비되는 것을 전제로 하기 때문에 메시지가 쌓일 경우 성능이 하락 로그 데이터를 오프라인으로 처리하는 것을 위해 만들어진 시스템 대부분은 push 모델 기존 메시징 시스템과의 차이점 (기존 메시징 시스템 : ActiveMQ, RabbitMQ 등) 1️⃣ 분산 시스템 & 실시간 로그 처리 대용량의 실시간 로그 처리에 특화 되어 설계된 메시징 시스템으로써 기존 범용 메시징 시스템 대비 TPS가 매우 우수하다. → 단, 특화된 시스템이기 ..