[LV 1] Elasticsearch 개요

Elasticsearch란 무엇인가?

📌 Elasticsearch는 오픈소스 분산 검색 및 분석 엔진으로, JSON 기반의 RESTful API를 통해 데이터를 저장, 검색, 분석할 수 있는 시스템입니다.
기본적으로 Apache Lucene을 기반으로 구축되었으며, 빠른 검색 속도와 대량 데이터 처리가 가능하여 다양한 분야에서 활용됩니다.

✅ Elasticsearch의 주요 기능

• 전문 검색(Full-Text Search): 텍스트 기반의 고급 검색 가능 (형태소 분석, 동의어 처리 등).
• 실시간 데이터 분석: 로그 및 스트리밍 데이터를 분석.
• 분산형 아키텍처: 여러 개의 노드가 클러스터를 이루어 데이터를 저장하고 처리.
• 확장성(Scalability): 샤드(Shard) 단위로 데이터를 분산 저장하여 대량 데이터 처리 가능.
• JSON 기반 REST API 제공: 다양한 애플리케이션과 쉽게 연동 가능.

---

ELK Stack 개요

ELK Stack은 Elasticsearch, Logstash, Kibana로 구성된 데이터 수집, 저장, 분석 및 시각화 솔루션입니다.
최근에는 Beats가 추가되어 Elastic Stack이라고도 불립니다.

구성 요소	설명
Elasticsearch	데이터를 저장, 검색, 분석하는 핵심 엔진
Logstash	다양한 소스에서 데이터를 수집하고 변환 후 Elasticsearch로 전송
Kibana	Elasticsearch 데이터를 시각화하고 대시보드를 제공
Beats	경량 데이터 수집기(Filebeat, Metricbeat 등)로, 다양한 데이터 원본에서 데이터를 수집하여 Logstash 또는 Elasticsearch로 전송

✅ ELK Stack은 실시간 로그 분석, 모니터링, 보안 분석 등의 목적으로 널리 사용됨.

---

Elasticsearch의 특징 및 활용 사례

✅ (1) Elasticsearch의 주요 특징

1. 고속 검색 및 분석
   • 데이터가 색인(Indexing)되어 있어 빠른 검색 가능.
   • 전문 검색(Full-Text Search) 및 유사도 검색 지원.
2. JSON 기반 REST API 제공
   • HTTP 요청을 통해 쉽게 데이터를 저장하고 조회할 수 있음.
   • 다양한 프로그래밍 언어에서 활용 가능 (Python, Java, JavaScript 등).
3. 분산 저장 및 확장성
   • 여러 개의 노드로 구성된 클러스터를 통해 대량 데이터를 저장 및 처리.
   • 데이터가 샤드(Shard) 단위로 분산 저장되어 부하 분산 가능.
4. 다양한 데이터 유형 지원
   • 구조화된 데이터(SQL, NoSQL)뿐만 아니라 비정형 데이터(텍스트, 로그, JSON)도 지원.

---

✅ (2) Elasticsearch의 활용 사례

분야	사례
검색 엔진	전자상거래(쇼핑몰 상품 검색), 포털 사이트(문서 검색)
로그 및 모니터링	서버 및 애플리케이션 로그 분석 (Elastic Stack 활용)
보안 및 SIEM	보안 이벤트 탐지, 침입 감지 시스템 (IDS)
데이터 분석 및 BI	실시간 데이터 분석, 대시보드 제공 (Kibana 연동)
추천 시스템	사용자 행동 기반 추천 서비스 (예: 넷플릭스, 유튜브)

✅ Elasticsearch는 검색 및 데이터 분석이 필요한 다양한 산업에서 활용됨.

---

결론

• Elasticsearch는 빠른 검색, 대량 데이터 처리, 확장성이 뛰어난 검색 및 분석 엔진.
• ELK Stack(Logstash, Kibana)과 함께 사용하면 실시간 데이터 분석 및 시각화가 가능.
• 로그 분석, 검색 시스템, 보안 분석, 추천 시스템 등 다양한 산업에서 활용됨.