BigData

실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash Aggregation이란? 간단히 설명하면 ElasticSearch안 Document의 조합을 통해 값을 도출할 때 쓰이는 방법이다. 그 중 Bucket Aggregation은 group by로 이해하면 된다. 그룹으로 특정 지을 때 사용하면 유용하다. 이전 실습에서 만들었던 basketball index를 삭제하고 다시 생성해서 Mapping 부터 시켜보자. index 삭제하기 curl -XDELETE http://localhost:9200/basketball index 생성하기 curl -XPUT localhost:9200/basketball Type Mapping 이제 새로운 index에 데이터를 Mappi..

실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash Aggregation이란? 간단히 설명하면 ElasticSearch안 Document의 조합을 통해 값을 도출할 때 쓰이는 방법이다. 그 중 Metric Aggregation은 산술에 사용된다. 평균, 최대, 최소값 등을 구할 때 유용하다! 먼저 sample 데이터를 bulk해보자. sample 데이터 소스 { "index" : { "_index" : "basketball", "_type" : "record", "_id" : "1" } } {"team" : "Chicago Bulls","name" : "Michael Jordan", "points" : 30,"rebounds" : 3,"assists" : 4, "..

실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash ElasticSearch에 메인 기능이라고 볼 수 있는 Search를 실습해보자. 먼저 sample 데이터를 bulk해보자. sample 데이터 소스 { "index" : { "_index" : "basketball", "_type" : "record", "_id" : "1" } } {"team" : "Chicago Bulls","name" : "Michael Jordan", "points" : 30,"rebounds" : 3,"assists" : 4, "submit_date" : "1996-10-11"} { "index" : { "_index" : "basketball", "_type" : "record", "..

실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash Mapping은 RDB에서 스키마와 같은 개념이다. 이전 포스팅에서 살펴본 것처럼 Mapping 없이도 데이터를 넣고 읽을 수 있었다. 하지만 실제로 서비스를 할 때 Mapping을 하지 않을 경우 여러 문제가 발생할 수 있다. Document에 날짜를 넣고 싶은데 단순히 텍스트로 들어간다. 와 같은 상황에 Kibana 등의 가시화 도구와 분석을 할 때 타입이 맞지 않는 문제가 대표적이다. 실습에서 사용할 데이터는 다음과 같다. Mapping 실습을 하기위해 Index를 먼저 삭제한 이후에 다시 생성하겠다. 1. Index 삭제하고 다시 만들기 ✔ 삭제하기 $ curl -XDELETE http://localhos..

실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash Bulk는 간단히 설명하면 여러개의 Document(데이터)를 한번에 ES에 삽입하는 방법이다. 1. BULK POST 명령어 구조는 다음과 같다. curl -XPOST "/ES주소/"_bulk --data-binary @"file명".json 실제로 사용해보자. 삽입하고자 하는 Document 내용을 JSON file에서 확인해보면 첫 번째 Line : Meta information 두 번째 Line : 실제 들어갈 값 { "index" : { "_index" : "classes", "_type" : "class", "_id" : "1" } } {"title" : "Machine Learning","Profes..

실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash 1. (Create) Document 생성하기 업데이트 하려면 Document가 먼저 생성되어 있어야한다. 생성하는 명령어는 다음과 같다. $ curl -XPOST http://localhost:9200/classes/class/1/?pretty -H 'Content-Type: application/json' -d '{"title" : "Algorithm", "professor" : "yj_park"}' 확인하기 $ curl -XGET http://localhost:9200/classes/class/1/?pretty 결과 { "_index" : "classes", "_type" : "class", "_id" : ..

실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash 시작하기 전 지난 포스팅에 정리한 표를 참고하고자 아래에 넣어두겠다. GET, POST, PUT, DELETE 를 먼저 실습해보고자 한다. ElasticSearch RDB Index Database Type Table Document Row Field Column Mapping Schema ▲ 저장 구조 ElasticSearch RDB CRUD GET Select Read POST Insert Create PUT Update Update DELETE Delete Delete ▲ Query 1. (Create) Index 만들기 아래 명령어를 입력하면 index가 생성된다. $ curl -XPUT http://lo..

실습 환경 💡 Elasticsearch 7.9.0 💡 Windows 10 💡 Git Bash ElasticSearch는 오픈 소스이고 RESTful 기반의 실시간 검색 및 분석 엔진이다. Java로 작성되어졌으며 아파치 루신(Lucene)을 기반으로 검색 기능 및 REST-Based API (JSON Over HTTP Protocol)를 지원한다. RESTful RDB GET 조회 POST 저장 PUT 수정 DELETE 삭제 시간이 갈수록 증가하는 문제를 처리하는 분산형 RESTful 검색 및 분석 엔진 데이터를 중앙에 저장해 빠른 검색, 정확도, 분석이 쉽고 확장성이 보장 출처 : 공식홈페이지 설명 1. ElasticSearch 다운로드 다운로드 링크 windows10 zip 파일 다운로드 압출 풀기 ..