Elasticsearch
- 오픈 소스 분산 검색 및 분석 엔진
- Java로 개발된 오픈 소스 검색 엔진
- HTTP 대시보드 웹 인터페이스 (Kibana)와 함께 분석되어 있는 다중 테넌트(분산 저장)에 저장된 전체 텍스트 검색 엔진을 제공
- JSON 문서 체계를 사용하여 데이터 요청, 검색, 저장을 수행하고, 로그 파일뿐만 아니라 각종 다양한 형태의 텍스트를 검색하는 데 사용
- 대용량 데이터 처리하는데 있어서 매우 강력하고 유연한 검색 및 분석 엔진, 검색 기반 애플리케이션, 로그 분석, 모니터링 등 다양하게 사용
- 데이터가 많아질 때 속도가 기하급수적으로 느려지는데, 그런 것들을 저장하고 빠르게 검색해서 찾으려고 할 때 매우 유용
- 데이터가 한 필드를 보는게 아닌 여러 가지 필드(문장 / 작성자) 식 여러 개의 조건을 걸어 검색할 때도 검색엔진의 성능이 두드러짐
Logstach
- 오픈 소스 데이터 수집 엔진
- 이벤트 및 로그 관리를 위한 오픈 소스 도구
- 데이터 수집을 위한 실시간 감시 가능을 제공
- Logstash는 로그 데이터를 수집하고 데이터를 JSON 문서로 변환 후 Elasticsearch에 저장하는 역할을 수행
- 대용량 로그 및 데이터를 실시간으로 수집, 분석하고 시각화하여 중요한 인사이트를 도출하는데 유용
Kibana
- Elasticsearch와 함께 사용되는 오픈 소스 데이터 시각화 및 대시보드 툴
- 직관적이고, 깔끔한 형태의 대시 보드 웹 인터페이스를 제공
- Elasticsearch에서 데이터를 관리하고, Kibana에서 데이터를 시각화
Beats
- Client에 설치하여 Client에서 발색하는 대량의 데이터를 Logstash & Elasticsearch 서버로 보낼 수 있는 경량 에이전트 데이터 전송 서비스
- Log File 전속에 사용되는 "Filebeat" 외의 다양한 Beat를 제공 ( "Metricbeat". "Packetbeat", "Winlogbeat" )
- 수집 에이전트 역할
작동 방식
- Logstash에서 로그 및 데이터를 수집하고 가공 및 변환한다.
- Elasticsearch에 로그 및 데이터를 저장하고 검색이 가능하다.
- Kibana에서 Elasticsearch에 저장된 로그 및 데이터를 가져와 시각화하여 대시보드를 생성한다.