type 엘라스틱 서치에서 제공하는 타입 Index analyzed 인덱싱 함 not_analyzed 인덱싱 하지만 분석 안함 no 인덱싱 안함 store yes 원본 값을 저장함 no 원본 값을 저장안함 boot 필드의 가중값 10이면 이 필드는 검색할 때 다른 필드보다 10배 중요하다. (랭킹시) analyzer 분석에 사용할 분석기 정의 copy_to 모든 값을 복사할 필드 정의 앨라스틱 서치의 검색 방법1. URI 요청 검색 : 간단한 테스트용 검색만 주로 사용2. QueryDSL 검색 : 복잡한 검색에 주로 사용 q 쿼리 스트링 default_operator 검색 조건에 사용하는 기본 연산자 field 검색 결과로 가져올 필드 sort 정렬 방법 ex) fieldName:asc 또는 fieldN..

강의 : https://www.youtube.com/watch?v=MQpHYcocKiY&list=PL7GFP9ynPAiQUPzheLp_f-NgAN1XUsus4&index=3검색엔진 만들어라 != 네이버나 다음을 만들어라 아님, 네이버나 다음은 검색 서비스검색엔진 = 데이터를 수집하고 검색 색인을 만든 과정검색엔진의 원리 : 인덱스, 목차검색엔진 평가방법Precision : 가져온 문서중 실제 관련있는 문서의 비율Recall : 전체 문서셋에 있는 관련있는 문서셋중 건져올린 문서의 비율 역인덱스0. 문서가 들어오면 필요있는 단어만 남긴다. 텍스트가 들어온다. 대학생선교회 형태소 분석한다. ["대학", "생선", "교회"] or ["대학생", "선교회"] Token이 생성된다. "대학생", "선교회" Tok..

Logstash=> 여러 데이터베이스로부터 데이터를 필터링하고 수집하여 엘라스틱 서치에 저장하는 역할=> ex. mySQL, mongoDB, CSV file, ... mySQL -> Logstash -> Elastic search -> kibana 어떤 데이터들이 mySQL에 저장되어 있다고 가정하자 그리고 우리는 이 데이터 베이스안의 데이터를 가공해서 엘라스틱 서치에 넣고 싶고 이를 바탕으로 Kibana를 통해 차트 형태로 보고싶다. 이 때 logstash는 위와 같은 형태로 사용된다.ELK stack = Logstash -> Elastic search -> kibana 이러한 흐름이 스택처럼 쌓였다하여 ELK stack이라 부른다.ELK stack 에서는 filebeat을 같이 쓰기도한다.로그를 수집..

Kibana를 잘 쓰면 데이터 확인을 위해 GET을 해줄 필요가 없다.Kibana를 통해 Elastic search 인덱스(DB) 안에 있는 데이터를 Aggregation하여 차트 형태로 열람이 가능하다.Kibana를 위한 예제 데이터 생성 curl -XPUT localhost:9200/basketballcurl -XPUT localhost:9200/basketball/record/_mapping -d @ch05/basketball_mapping.json -H 'Content-Type:application/json'curl -XPOST localhost:9200/basketball/_bulk --data-binary @ch05/bulk_basketball.json -H 'Content-Type:appli..

Mapping = Scheme = 어떤 데이터가 있는지 그 데이터는 어떤 타입이어야 하는지 알리는 것 = Mapping은 테이블(문서)에 지정하는 과정참조 : https://github.com/minsuk-heo/BigData/tree/master/ch01 curl -XPUT http://localhost:9200/classes?prettycurl -XGET http://localhost:9200/classes?prettymapping { } 으로 되있음classes 인덱스는 있지만 매핑이 안된상태 curl -XPUT http://localhost:9200/classes/class/_mapping?pretty -H 'Content-Type: application/json' -d @ch01/classesR..

다음 강의를 정리중입니다.https://www.youtube.com/watch?v=69OoC7haeeA&list=PLVNY1HnUlO25m5tT06HaiHPs2nV3cLhUD&index=1 Elastic search 는 JVM에서 동작한다. 설치 경로 : /usr/share/elasticsearch 설정 경로 : /etc/elasticsearch init 스크립트 : /etc/init.d/elasticsearch 실행 커맨드: service elasticsearch start Elastic Search Index Type document (JSON 파일) JSON field Realation DB Database Table Row Column CRUD (Create, Read, Update, Delete..