Dev

1. Maven 이란? Java 프로젝트의 빌드를 자동화 해주는 Build Tool 💡 Build 란? - 소스코드 파일을 컴퓨터에서 실행할 수 있는 독립 소프트웨어 가공물로 변환하는 과정 또는 그에 대한 결과물 이다. - 이를 좀더 쉽게 풀어 말하자면 우리가 작성한 소스코드(java), 프로젝트에서 쓰인 각각의 파일 및 자원 등(.xml, .jpg, .jar, .properties)을 JVM이나 톰캣같은 WAS가 인식할 수 있는 구조로 패키징 하는 과정 및 결과물이라고 할 수 있다. 💡 Build Tool(빌드 도구) - 빌드 도구란 프로젝트 생성, 테스트 빌드, 배포 등의 작업을 위한 전용 프로그램. - 빠른기간동안 계속해서 늘어나는 라이브러리 추가, 프로젝트를 진행하며 라이브러리의 버전 동기화의 어..

Kafka 도입 이유 기존의 엔터프라이즈 메시징 시스템들의 한계 배달 보장(delivery guarantee)을 위한 기능들은 로그 처리를 위한 시스템 입장에서는 불필요 처리 속도(throughput)를 디자인 제약으로 고혀하지 않음. 분산에 대한 고려가 부족 메시지가 즉시 소비되는 것을 전제로 하기 때문에 메시지가 쌓일 경우 성능이 하락 로그 데이터를 오프라인으로 처리하는 것을 위해 만들어진 시스템 대부분은 push 모델 기존 메시징 시스템과의 차이점 (기존 메시징 시스템 : ActiveMQ, RabbitMQ 등) 1️⃣ 분산 시스템 & 실시간 로그 처리 대용량의 실시간 로그 처리에 특화 되어 설계된 메시징 시스템으로써 기존 범용 메시징 시스템 대비 TPS가 매우 우수하다. → 단, 특화된 시스템이기 ..

HAProxy HAProxy를 공부하기 앞서 로드밸런싱(Load Balancing)을 알아야한다. 로드밸런싱이란? 하나의 서비스에 대한 부하를 여러 서버로 분산하는 것 왜 로드밸런서가 필요할까 위 사진처럼 클라이언트가 한두명 일경우 서버는 여유롭게 응답할 수 있지만, 클라이언트가 많아지면 요청에 대한 응답을 할 수 없게 될 수 있다. 서버 측은, 이러한 문제를 해결하기 위한 두가지 방법을 고려할 수 있다. Scale-up Scale-out Scale-up 서버의 사양을 높이는 경우 하나의 서버가 한번에 더 많은 응답을 처리할 수 있음 Scale-out 부하를 여러 서버에게 분산하는 경우 HAProxy는 Scale-out을 위해 로드밸런싱을 해주는 SW 로드밸런서이다. 기존의 로드밸런서(Load Balan..

Elasticsearch7 Java REST Client 시작하기 실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 IntelliJ IDEA 2020.2.1 💡Logstash7.9 💡MySQL8.0 💡Java11.0.8 LTS 💡Git Bash2.27.0 🗓 20.09.05 공식문서를 통해 공부하고 있다. https://www.elastic.co/guide/en/elasticsearch/client/java-rest/current/java-rest-high-getting-started-maven.html 공식문서에서 Gradle configuration 설정을 compile로 한다. implementation 차이점? 정리한 블로그 참고 ⏹ Javadoc 공식문서 (REST h..

🗓 20.09.05 자바 언어를 위해 제공되는 클라이언트에는 두 가지 종류가 있다. 내부적으로 HTTP REST API를 사용해 통신하는 방식과 네티(Netty)모듈을 이용해 네이티브 클라이언트를 통해 통신하는 방식이다. 1. REST Client VS Transport Client ⏹ REST Client Java High Level REST Client라고 불린다. HTTP방식을 이용해 엘라스틱서치와 통신한다. 내부적으로는 HttpClient 모듈을 사용한다. HTTPS 사용이 가능하다. ⏹ Transport Client(Netty) Java Client라고도 불린다. 초기부터 제공되던 클라이언트 방식으로, 상대적으로 빠른 속도를 보장한다. 소켓을 이용해 엘라스틱서치와 통신한다. 내부적으로는 Nett..

Elasticsearch 7.9 버전을 사용하면서 발생한 Error를 정리하였다. 실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash header not supported Error 문제점 2020.08.21 ES에서 index를 생성하고 확인하고 삭제할 때는 아무 Error가 나지 않았는데 Document를 만들 때 다음과 같은 Error가 발생한다. { "error" : "Content-Type header [application/x-www-form-urlencoded] is not supported", "status" : 406 } 원인 Elasticsearch 6.0 이후 버전에 도입된 업격한 content-type 확인으로 인해 발생하는 Error이다. ..

실습 환경 💡 Elasticsearch 7.9.0 💡 Logstash 7.9 💡 MySQL 8.0 💡 Java 11.0.8 LTS 💡 Git Bash 2.27.0 💡 Windows 10 1. Logstash란? Logstash는 Input을 담당한다. Input으로 들어온 data가 logstash Filter를 통과해 ElasticSearch로 Output을 출력한다. ▲ 데이터 흐름 파이프라인 DB에 존재하는 파일들을 Logstash를 통해 전처리하여 ElasticSearch에 전달하는 과정의 파이프라인을 진행하고, 최종적으로 DB의 데이터를 Kibana를 통해 시각화할 수 있다. 2. Logstash 설치하기 Elastic 홈페이지에 Logstash 다운로드 페이지에서 다운로드 할 수 있다. 현재(..

실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash Aggregation이란? 간단히 설명하면 ElasticSearch안 Document의 조합을 통해 값을 도출할 때 쓰이는 방법이다. 그 중 Bucket Aggregation은 group by로 이해하면 된다. 그룹으로 특정 지을 때 사용하면 유용하다. 이전 실습에서 만들었던 basketball index를 삭제하고 다시 생성해서 Mapping 부터 시켜보자. index 삭제하기 curl -XDELETE http://localhost:9200/basketball index 생성하기 curl -XPUT localhost:9200/basketball Type Mapping 이제 새로운 index에 데이터를 Mappi..

실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash Aggregation이란? 간단히 설명하면 ElasticSearch안 Document의 조합을 통해 값을 도출할 때 쓰이는 방법이다. 그 중 Metric Aggregation은 산술에 사용된다. 평균, 최대, 최소값 등을 구할 때 유용하다! 먼저 sample 데이터를 bulk해보자. sample 데이터 소스 { "index" : { "_index" : "basketball", "_type" : "record", "_id" : "1" } } {"team" : "Chicago Bulls","name" : "Michael Jordan", "points" : 30,"rebounds" : 3,"assists" : 4, "..

실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash ElasticSearch에 메인 기능이라고 볼 수 있는 Search를 실습해보자. 먼저 sample 데이터를 bulk해보자. sample 데이터 소스 { "index" : { "_index" : "basketball", "_type" : "record", "_id" : "1" } } {"team" : "Chicago Bulls","name" : "Michael Jordan", "points" : 30,"rebounds" : 3,"assists" : 4, "submit_date" : "1996-10-11"} { "index" : { "_index" : "basketball", "_type" : "record", "..