[2019.03.07] Elastic search (logstash)

Logstash

=> 여러 데이터베이스로부터 데이터를 필터링하고 수집하여 엘라스틱 서치에 저장하는 역할

=> ex. mySQL, mongoDB, CSV file, ...

mySQL -> Logstash -> Elastic search -> kibana

어떤 데이터들이 mySQL에 저장되어 있다고 가정하자 그리고 우리는 이 데이터 베이스안의 데이터를 가공해서 엘라스틱 서치에 넣고 싶고 이를 바탕으로 Kibana를 통해 차트 형태로 보고싶다. 이 때 logstash는 위와 같은 형태로 사용된다.

ELK stack = Logstash -> Elastic search -> kibana 이러한 흐름이 스택처럼 쌓였다하여 ELK stack이라 부른다.

ELK stack 에서는 filebeat을 같이 쓰기도한다.

로그를 수집하고 싶은 서버에 filebeat 을 설치하고 로그를 수집하여 Logstash에 넣는다.

foo.conf 파일의 구조

input{ ...  }  filter{ ...  }  output{ ...  }

logstash 실행

logstash -f foo.conf

실제 데이터를 바탕으로 수집하고 출력하는 내용은 강의 참조

깃허브에 있는 예제 파일 logstash.conf 의 input path가 다르므로 참고

https://www.youtube.com/watch?v=VzSYtVXOZ5k&index=18&list=PLVNY1HnUlO25m5tT06HaiHPs2nV3cLhUD