BigData/ElasticSearch

Elasticsearch7 Java REST Client 시작하기 실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 IntelliJ IDEA 2020.2.1 💡Logstash7.9 💡MySQL8.0 💡Java11.0.8 LTS 💡Git Bash2.27.0 🗓 20.09.05 공식문서를 통해 공부하고 있다. https://www.elastic.co/guide/en/elasticsearch/client/java-rest/current/java-rest-high-getting-started-maven.html 공식문서에서 Gradle configuration 설정을 compile로 한다. implementation 차이점? 정리한 블로그 참고 ⏹ Javadoc 공식문서 (REST h..

🗓 20.09.05 자바 언어를 위해 제공되는 클라이언트에는 두 가지 종류가 있다. 내부적으로 HTTP REST API를 사용해 통신하는 방식과 네티(Netty)모듈을 이용해 네이티브 클라이언트를 통해 통신하는 방식이다. 1. REST Client VS Transport Client ⏹ REST Client Java High Level REST Client라고 불린다. HTTP방식을 이용해 엘라스틱서치와 통신한다. 내부적으로는 HttpClient 모듈을 사용한다. HTTPS 사용이 가능하다. ⏹ Transport Client(Netty) Java Client라고도 불린다. 초기부터 제공되던 클라이언트 방식으로, 상대적으로 빠른 속도를 보장한다. 소켓을 이용해 엘라스틱서치와 통신한다. 내부적으로는 Nett..

Elasticsearch 7.9 버전을 사용하면서 발생한 Error를 정리하였다. 실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash header not supported Error 문제점 2020.08.21 ES에서 index를 생성하고 확인하고 삭제할 때는 아무 Error가 나지 않았는데 Document를 만들 때 다음과 같은 Error가 발생한다. { "error" : "Content-Type header [application/x-www-form-urlencoded] is not supported", "status" : 406 } 원인 Elasticsearch 6.0 이후 버전에 도입된 업격한 content-type 확인으로 인해 발생하는 Error이다. ..

실습 환경 💡 Elasticsearch 7.9.0 💡 Logstash 7.9 💡 MySQL 8.0 💡 Java 11.0.8 LTS 💡 Git Bash 2.27.0 💡 Windows 10 1. Logstash란? Logstash는 Input을 담당한다. Input으로 들어온 data가 logstash Filter를 통과해 ElasticSearch로 Output을 출력한다. ▲ 데이터 흐름 파이프라인 DB에 존재하는 파일들을 Logstash를 통해 전처리하여 ElasticSearch에 전달하는 과정의 파이프라인을 진행하고, 최종적으로 DB의 데이터를 Kibana를 통해 시각화할 수 있다. 2. Logstash 설치하기 Elastic 홈페이지에 Logstash 다운로드 페이지에서 다운로드 할 수 있다. 현재(..

실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash Aggregation이란? 간단히 설명하면 ElasticSearch안 Document의 조합을 통해 값을 도출할 때 쓰이는 방법이다. 그 중 Bucket Aggregation은 group by로 이해하면 된다. 그룹으로 특정 지을 때 사용하면 유용하다. 이전 실습에서 만들었던 basketball index를 삭제하고 다시 생성해서 Mapping 부터 시켜보자. index 삭제하기 curl -XDELETE http://localhost:9200/basketball index 생성하기 curl -XPUT localhost:9200/basketball Type Mapping 이제 새로운 index에 데이터를 Mappi..

실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash Aggregation이란? 간단히 설명하면 ElasticSearch안 Document의 조합을 통해 값을 도출할 때 쓰이는 방법이다. 그 중 Metric Aggregation은 산술에 사용된다. 평균, 최대, 최소값 등을 구할 때 유용하다! 먼저 sample 데이터를 bulk해보자. sample 데이터 소스 { "index" : { "_index" : "basketball", "_type" : "record", "_id" : "1" } } {"team" : "Chicago Bulls","name" : "Michael Jordan", "points" : 30,"rebounds" : 3,"assists" : 4, "..

실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash ElasticSearch에 메인 기능이라고 볼 수 있는 Search를 실습해보자. 먼저 sample 데이터를 bulk해보자. sample 데이터 소스 { "index" : { "_index" : "basketball", "_type" : "record", "_id" : "1" } } {"team" : "Chicago Bulls","name" : "Michael Jordan", "points" : 30,"rebounds" : 3,"assists" : 4, "submit_date" : "1996-10-11"} { "index" : { "_index" : "basketball", "_type" : "record", "..

실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash Mapping은 RDB에서 스키마와 같은 개념이다. 이전 포스팅에서 살펴본 것처럼 Mapping 없이도 데이터를 넣고 읽을 수 있었다. 하지만 실제로 서비스를 할 때 Mapping을 하지 않을 경우 여러 문제가 발생할 수 있다. Document에 날짜를 넣고 싶은데 단순히 텍스트로 들어간다. 와 같은 상황에 Kibana 등의 가시화 도구와 분석을 할 때 타입이 맞지 않는 문제가 대표적이다. 실습에서 사용할 데이터는 다음과 같다. Mapping 실습을 하기위해 Index를 먼저 삭제한 이후에 다시 생성하겠다. 1. Index 삭제하고 다시 만들기 ✔ 삭제하기 $ curl -XDELETE http://localhos..

실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash Bulk는 간단히 설명하면 여러개의 Document(데이터)를 한번에 ES에 삽입하는 방법이다. 1. BULK POST 명령어 구조는 다음과 같다. curl -XPOST "/ES주소/"_bulk --data-binary @"file명".json 실제로 사용해보자. 삽입하고자 하는 Document 내용을 JSON file에서 확인해보면 첫 번째 Line : Meta information 두 번째 Line : 실제 들어갈 값 { "index" : { "_index" : "classes", "_type" : "class", "_id" : "1" } } {"title" : "Machine Learning","Profes..

실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash 1. (Create) Document 생성하기 업데이트 하려면 Document가 먼저 생성되어 있어야한다. 생성하는 명령어는 다음과 같다. $ curl -XPOST http://localhost:9200/classes/class/1/?pretty -H 'Content-Type: application/json' -d '{"title" : "Algorithm", "professor" : "yj_park"}' 확인하기 $ curl -XGET http://localhost:9200/classes/class/1/?pretty 결과 { "_index" : "classes", "_type" : "class", "_id" : ..