BigData

먼저 docker가 설치되어있어야 합니다. 로컬 환경에 Docker를 통해 Kafka 서버를 구축해보자! Kafka docker image는 wurstmeister/kafka 가 가장 많이 사용되고 있다. Github에서 Release 버전 및 튜토리얼도 확인이 가능하다. 1. docker-compose.yml 작성 및 실행 Kafka를 통한 pub/sub 기능만 테스트해볼 것이기 때문에 싱글 브로커만 구성한다. 또한, topic의 Partition과 Replica 개수도 각각 하나씩만 설정하였다. version: '2' services: zookeeper: container_name: local-zookeeper image: wurstmeister/zookeeper:3.4.6 ports: - "2181..

실습 환경 - 💡 Java10 (Java 8이상 필수) - 💡 Windows 10 - 💡 Git Bash - 💡 Kafka 2.6.0 앞서 간단한 properties 설정도 모두 살펴보았고 실행하는 방법도 알아보았다. 이제 APACHE KAFKA QUICKSTART 공식문서를 따라 Kafka 기능을 사용해보자. 1. 빠르게 zookeeper, kafka server 실행 # yj_park@yjpark MINGW64 /c/dev/kafka_2.13-2.6.0 # zookeeper 실행 $ bin/windows/zookeeper-server-start.bat config/zookeeper.properties # kafka server 실행 $ bin/windows/kafka-server-start.bat c..

실습 환경 - 💡 Java10 (Java 8이상 필수) - 💡 Windows 10 - 💡 Git Bash - 💡 Kafka 2.6.0 Kafka의 개념과 도입 이유는 지난 포스팅 에서 다루었고, 바로 이전 포스팅에서 zookeeper-server를 실행하기 위해 zookeeper.properties를 작성하는 방법을 알아보았다. 이번 포스팅에서는 kafka-server를 실행하기 위한 server.properties 코드를 분석해보자. 1. server.properties 코드 분석 이전에 살펴본 것 처럼 kafka를 실행하려면 kafka-server-start.bat 파일에 인자 값으로 server.properties 속성을 주어야했다. kafka-server-start.bat 윈도우 OS에서 kafk..

실습 환경 - 💡 Java10 (Java 8이상 필수) - 💡 Windows 10 - 💡 Git Bash - 💡 Kafka 2.6.0 이전 포스팅에서 Kafka를 설치하고 Zookeeper를 실행했는데 Zookeeper가 왜 필요한지, 어떻게 설정하면 되는지 알아보자. 1. Zookeeper란 1-1. zookeeper는 Apache의 오픈 소스 프로젝트 중 하나이며, 공개 분산형 구성 서비스, 동기 서비스 및 대용량 분산 시스템을 위한 NameSpace 레지스트리를 제공함. 1-2. znode(주키퍼 노드)는 NameSpace 안에 데이터를 저장하며, 클라이언트는 znode를 통해 데이터를 읽거나 씀. 1-3. Leader 노드가 존재하며, Leader를 제외한 노드들은 Leader로부터 데이터를 동기..

실습 환경 - 💡 Java10 (Java 8이상 필수) - 💡 Windows 10 - 💡 Git Bash - 💡 Kafka 2.6.0 1. Kafka 다운로드 Kafka 공식 홈페이지에서 Kafka를 다운로드 글 쓰는 시점(2020년11월)에 최신버전은 2020년 18월 Release된 2.6.0 이다. Binary downloads의 Scala 2.13 버전의 Kafka 압축파일을 다운로드 Scala를 사용 중이 아니라면 공식홈페이지에서 추천하는 2.13버전을 다운로드하자. 설명을 읽어보면 내가 현재 Scala를 사용할 경우 Kafka와 Scala 버전을 일치시키려면 해당 버전을 다운로드 받으면 된다고 한다. Kafka는 Scala로 개발되었기 때문에 Java8+ 버전이 설치되어있어야 구동할 수 있다...

Kafka 도입 이유 기존의 엔터프라이즈 메시징 시스템들의 한계 배달 보장(delivery guarantee)을 위한 기능들은 로그 처리를 위한 시스템 입장에서는 불필요 처리 속도(throughput)를 디자인 제약으로 고혀하지 않음. 분산에 대한 고려가 부족 메시지가 즉시 소비되는 것을 전제로 하기 때문에 메시지가 쌓일 경우 성능이 하락 로그 데이터를 오프라인으로 처리하는 것을 위해 만들어진 시스템 대부분은 push 모델 기존 메시징 시스템과의 차이점 (기존 메시징 시스템 : ActiveMQ, RabbitMQ 등) 1️⃣ 분산 시스템 & 실시간 로그 처리 대용량의 실시간 로그 처리에 특화 되어 설계된 메시징 시스템으로써 기존 범용 메시징 시스템 대비 TPS가 매우 우수하다. → 단, 특화된 시스템이기 ..

Elasticsearch7 Java REST Client 시작하기 실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 IntelliJ IDEA 2020.2.1 💡Logstash7.9 💡MySQL8.0 💡Java11.0.8 LTS 💡Git Bash2.27.0 🗓 20.09.05 공식문서를 통해 공부하고 있다. https://www.elastic.co/guide/en/elasticsearch/client/java-rest/current/java-rest-high-getting-started-maven.html 공식문서에서 Gradle configuration 설정을 compile로 한다. implementation 차이점? 정리한 블로그 참고 ⏹ Javadoc 공식문서 (REST h..

🗓 20.09.05 자바 언어를 위해 제공되는 클라이언트에는 두 가지 종류가 있다. 내부적으로 HTTP REST API를 사용해 통신하는 방식과 네티(Netty)모듈을 이용해 네이티브 클라이언트를 통해 통신하는 방식이다. 1. REST Client VS Transport Client ⏹ REST Client Java High Level REST Client라고 불린다. HTTP방식을 이용해 엘라스틱서치와 통신한다. 내부적으로는 HttpClient 모듈을 사용한다. HTTPS 사용이 가능하다. ⏹ Transport Client(Netty) Java Client라고도 불린다. 초기부터 제공되던 클라이언트 방식으로, 상대적으로 빠른 속도를 보장한다. 소켓을 이용해 엘라스틱서치와 통신한다. 내부적으로는 Nett..

Elasticsearch 7.9 버전을 사용하면서 발생한 Error를 정리하였다. 실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash header not supported Error 문제점 2020.08.21 ES에서 index를 생성하고 확인하고 삭제할 때는 아무 Error가 나지 않았는데 Document를 만들 때 다음과 같은 Error가 발생한다. { "error" : "Content-Type header [application/x-www-form-urlencoded] is not supported", "status" : 406 } 원인 Elasticsearch 6.0 이후 버전에 도입된 업격한 content-type 확인으로 인해 발생하는 Error이다. ..

실습 환경 💡 Elasticsearch 7.9.0 💡 Logstash 7.9 💡 MySQL 8.0 💡 Java 11.0.8 LTS 💡 Git Bash 2.27.0 💡 Windows 10 1. Logstash란? Logstash는 Input을 담당한다. Input으로 들어온 data가 logstash Filter를 통과해 ElasticSearch로 Output을 출력한다. ▲ 데이터 흐름 파이프라인 DB에 존재하는 파일들을 Logstash를 통해 전처리하여 ElasticSearch에 전달하는 과정의 파이프라인을 진행하고, 최종적으로 DB의 데이터를 Kibana를 통해 시각화할 수 있다. 2. Logstash 설치하기 Elastic 홈페이지에 Logstash 다운로드 페이지에서 다운로드 할 수 있다. 현재(..