BigData/Kafka

먼저 docker가 설치되어있어야 합니다. 로컬 환경에 Docker를 통해 Kafka 서버를 구축해보자! Kafka docker image는 wurstmeister/kafka 가 가장 많이 사용되고 있다. Github에서 Release 버전 및 튜토리얼도 확인이 가능하다. 1. docker-compose.yml 작성 및 실행 Kafka를 통한 pub/sub 기능만 테스트해볼 것이기 때문에 싱글 브로커만 구성한다. 또한, topic의 Partition과 Replica 개수도 각각 하나씩만 설정하였다. version: '2' services: zookeeper: container_name: local-zookeeper image: wurstmeister/zookeeper:3.4.6 ports: - "2181..

실습 환경 - 💡 Java10 (Java 8이상 필수) - 💡 Windows 10 - 💡 Git Bash - 💡 Kafka 2.6.0 앞서 간단한 properties 설정도 모두 살펴보았고 실행하는 방법도 알아보았다. 이제 APACHE KAFKA QUICKSTART 공식문서를 따라 Kafka 기능을 사용해보자. 1. 빠르게 zookeeper, kafka server 실행 # yj_park@yjpark MINGW64 /c/dev/kafka_2.13-2.6.0 # zookeeper 실행 $ bin/windows/zookeeper-server-start.bat config/zookeeper.properties # kafka server 실행 $ bin/windows/kafka-server-start.bat c..

실습 환경 - 💡 Java10 (Java 8이상 필수) - 💡 Windows 10 - 💡 Git Bash - 💡 Kafka 2.6.0 Kafka의 개념과 도입 이유는 지난 포스팅 에서 다루었고, 바로 이전 포스팅에서 zookeeper-server를 실행하기 위해 zookeeper.properties를 작성하는 방법을 알아보았다. 이번 포스팅에서는 kafka-server를 실행하기 위한 server.properties 코드를 분석해보자. 1. server.properties 코드 분석 이전에 살펴본 것 처럼 kafka를 실행하려면 kafka-server-start.bat 파일에 인자 값으로 server.properties 속성을 주어야했다. kafka-server-start.bat 윈도우 OS에서 kafk..

실습 환경 - 💡 Java10 (Java 8이상 필수) - 💡 Windows 10 - 💡 Git Bash - 💡 Kafka 2.6.0 이전 포스팅에서 Kafka를 설치하고 Zookeeper를 실행했는데 Zookeeper가 왜 필요한지, 어떻게 설정하면 되는지 알아보자. 1. Zookeeper란 1-1. zookeeper는 Apache의 오픈 소스 프로젝트 중 하나이며, 공개 분산형 구성 서비스, 동기 서비스 및 대용량 분산 시스템을 위한 NameSpace 레지스트리를 제공함. 1-2. znode(주키퍼 노드)는 NameSpace 안에 데이터를 저장하며, 클라이언트는 znode를 통해 데이터를 읽거나 씀. 1-3. Leader 노드가 존재하며, Leader를 제외한 노드들은 Leader로부터 데이터를 동기..

실습 환경 - 💡 Java10 (Java 8이상 필수) - 💡 Windows 10 - 💡 Git Bash - 💡 Kafka 2.6.0 1. Kafka 다운로드 Kafka 공식 홈페이지에서 Kafka를 다운로드 글 쓰는 시점(2020년11월)에 최신버전은 2020년 18월 Release된 2.6.0 이다. Binary downloads의 Scala 2.13 버전의 Kafka 압축파일을 다운로드 Scala를 사용 중이 아니라면 공식홈페이지에서 추천하는 2.13버전을 다운로드하자. 설명을 읽어보면 내가 현재 Scala를 사용할 경우 Kafka와 Scala 버전을 일치시키려면 해당 버전을 다운로드 받으면 된다고 한다. Kafka는 Scala로 개발되었기 때문에 Java8+ 버전이 설치되어있어야 구동할 수 있다...

Kafka 도입 이유 기존의 엔터프라이즈 메시징 시스템들의 한계 배달 보장(delivery guarantee)을 위한 기능들은 로그 처리를 위한 시스템 입장에서는 불필요 처리 속도(throughput)를 디자인 제약으로 고혀하지 않음. 분산에 대한 고려가 부족 메시지가 즉시 소비되는 것을 전제로 하기 때문에 메시지가 쌓일 경우 성능이 하락 로그 데이터를 오프라인으로 처리하는 것을 위해 만들어진 시스템 대부분은 push 모델 기존 메시징 시스템과의 차이점 (기존 메시징 시스템 : ActiveMQ, RabbitMQ 등) 1️⃣ 분산 시스템 & 실시간 로그 처리 대용량의 실시간 로그 처리에 특화 되어 설계된 메시징 시스템으로써 기존 범용 메시징 시스템 대비 TPS가 매우 우수하다. → 단, 특화된 시스템이기 ..