0-1. 기술 조사 - ELK

기술 조사 - ELK

1. Elastic Search

개요

• JSON 기반의 분산형 검색 엔진

Apache Lucene라는 Java 검색 엔진 라이브러리.

하지만 Apache Lucene는 너무 저수준 도구들이라 직접 활용하기 힘듦.

따라서 Lucene을 내부 엔진으로 사용하면서 REST API, 분산 처리, 클러스터링, JSON데이터 처리, 대시보드 연동 등의 기능을 추가한 고수준 플랫폼

작동 원리(간단히)

1. 데이터 저장
   1. Json형식의 문서를 elasticsearch에 전송
   2. 내부적으로 단어(토큰)로 쪼갬 → 역색인 구조로 저장
2. 검색할 때
   1. 사용자의 검색 키워드 또한 같은 방식으로 쪼갬
   2. 역색인을 조회해 해당 키워드를 포함한 문서 ID를 찾아냄

역색인 구조

단어 → 문서를 연결해 저장하는 구조

ex)

문서 1 : 삼성전자 주가 상승

문서 2 : 애플 주가 하락

"삼성전자" -> [문서 1]
"주가" -> [문서 1, 문서 2]
"상승" -> [문서 1]
"하락" -> [문서 2]

• (간단한 예시였지만, 당연히 제목만을 역색인하는 것이 아니다.)
• 한글은 영어가 아니다. 띄워쓰기 단위로 자르는 것 보다 훨씬 고수준의 “형태소 분석기”가 필요하다.
  • https://esbook.kimjmin.net/06-text-analysis/6.7-stemming/6.7.2-nori

용어

개념	설명
문서 document	검색할 데이터 한 건
인덱스 index	문서들이 모인 공간 DB의 테이블 느낌
필드 field	문서 내 데이터 속성 title, content, …
매핑	각 필드의 데이터 타입 정의 text, keyword, data
역색인 inverted index	텍스트 → 단어 → 문서 ID 연결, 빠른 검색의 핵심

2. Kibana

개요

• Elasticsearch 데이터를 시각화하고 분석할 수 있게 해주는 대시보드 도구.
• 사용자는 브라우저에서 Kibana를 통해 데이터를 보고, 검색하고, 그래프로 표현할 수 있다.

역할

• 📊 대시보드 생성
• 🔍 데이터 검색/필터링
• 🧾 로그 탐색
• ⚙️ 인덱스 관리 (패턴으로 설정 가능)

3. Logstash

개요

• 데이터 수집 및 가공 도구
• 로그, 이벤트, 메트릭 데이터를 수집하고 처리하고 다른 시스템으로 전송

역할

1. 데이터 수집 (Input) 다양한 소스에서 데이터를 수집 (파일, HTTP, 데이터베이스, 메시지 큐 등)

2. 데이터 처리 (Filter)
   수집한 데이터를 필터링하고, 형식을 바꾸거나, 새로운 필드를 추가하는 등 가공을 함.

3. 데이터 전송 (Output) 가공된 데이터를 Elasticsearch나 다른 저장소로 전송함.

4. 기타 기술

4-1. Fluentd

• Fluentd는 다양한 소스로부터 데이터를 수집하고, 원하는 포맷으로 변환하여 목적지로 전달하는 오픈소스 데이터 수집기
• Logstash와 비슷한 역할을 할 수 있다.

[뉴스 API] → [Fluentd] → [Elasticsearch]
                           ↘ [파일 저장]
                           ↘ [MongoDB]

구성 요소

구성 요소	설명
Input	데이터를 어디서 수집할지 (예: HTTP, 파일, Kafka 등)
Filter	데이터 가공/정제 (필드 제거, 형식 변경 등)
Output	데이터를 어디로 보낼지 (예: Elasticsearch, DB, 파일 등)

vs. Logstash

항목	Logstash	Fluentd
소속	Elastic Stack	CNCF (Cloud Native Computing Foundation)
목적	Elasticsearch와 연동 최적화	다양한 목적(ES, DB, Kafka 등) 지원
성능	강력하지만 무겁고 리소스 사용 큼	가볍고 효율적 (특히 Fluent Bit)
확장성	고급 파싱/필터링(grok 등) 강점	다양한 플러그인 생태계
설정 방식	.conf (중첩 X, 간단한 구조)	.conf 또는 .yaml (중첩 구조 지원)
UI	Kibana 등으로 연동 가능	UI 없음 (외부 툴 필요)
학습 난이도	비교적 쉬움	구조 이해 필요, 조금 더 복잡할 수 있음
용도 추천	Elastic Stack 중심 시스템	클라우드/멀티 로그 소스 통합 관리