elk 썸네일형 리스트형 [ELK] SpringBoot Logback 과 ELK Stack 연동 Logstash 설치 및 실행 테스트 (mac 기준) logstash 설치 brew install elastic/tap/logstash-full * 기존에 설치된 logstash 가 있으면 brew unlink logstash 명령어를 통해 Unlink 후 재시도 brew 를 통해 mac 에서 설치하면 logstash 의 설정 파일의 경로는 /usr/local/etc/logstash 에 생성된다. logstash 기본 설정 및 실행 실행 전 /usr/local/etc/logstash/pipelines.yml 파일을 수정해 준다. 기존 내용의 9번, 15번 라인의 주석을 풀어주고 15번 라인에 설치된 logstash 환경설정 파일들의 경로와 와일드카드 및 확장자로 지정 *추가로 앞으로 환경설정의 변동이 있.. 더보기 [Curator] Curator를 이용하여 elasticsearch index 관리 curator elasticsearch의 인덱스 삭제/생성, 스냅샷 삭제/생성 shard routing allocation 변경 등의 작업을 반복적인 작업을 yaml파일 형태로 정의하여 관리할 수 있다. (참고) curator 설치 (linux ubuntu 기준) 먼저 pip가 설치되어야 한다. sudo apt update sudo apt install python3-pip 위 명령어를 통해 pip가 설치 되면 다음 명령어를 통해 설치가 되었는지 확인 pip --version 설치가 되었다면 다음 명령어를 통해 curator를 설치할 수 있다. pip install elasticsearch-curator curator 설정 먼저 curator의 환경 설정을 하는 파일을 만든다. # curator.yml .. 더보기 [Docker] Elasticsearch, Kibana를 docker-compose로 구동 Elasticsearch 정리 Elasticsearch 설치 Elasticsearch 설치는 docker cli를 통해 쉽게 할 수 있다. (생략 가능) $ docker pull docker.elastic.co/elasticsearch/elasticsearch:7.15.2 Elasticsearch 단일 노드 클러스터 실행 docker run --name elasticsearch\ -p 127.0.0.1:9200:9200\ -p 127.0.0.1:9300:9300\ -e "discovery.type=single-node"\ docker.elastic.co/elasticsearch/elasticsearch:7.15.2 9200번 포트는 elasticsearch가 클라이언트와 통신하기 위한 포트이다. 포트 .. 더보기 [ELK] Elasitcsearch 란, Elasticsearch 를 사용하는 이유 Elasticsearch ELK Stack의 핵심 구성요소인 Elasticsearch는 텍스트, 숫자, 위치기반 정보, 정형 및 비정형 데이터 등 모든 유형의 데이터의 검색 및 분석 엔진이다. Apache Lucene을 기반으로 구축되었으며, 간단한 REST API, 거의 실시간(NRT, Near Real Time), 확장성의 이점이 있다. * Apache Lucene - 자아 언어로 이루어진 정보 검색 라이브러리 오픈소스 소프트웨어 Elasticsearch에 사용되는 용어 문서(도큐먼트) - Elasticsearch에서 단일 데이터 단위 색인(인덱스) - 문서들을 모아놓은 집합 샤드 - 인덱스를 분산하여 저장하는 단위 복제본(리플리카) - 복구용으로 사용될 샤드의 복제본 노드 - Elasticsearc.. 더보기 [ELK] Filebeat 설치 및 시작 for Mac (Elasticsearch, Kibana 연동) 환경 Filebeat - 7.15.2 Elasticsearch - 7.10.2 kibana - 7.10.2 mac - monterey 12.0.1 구조 filebeat -> elasticsearch -> kibana 위의 구조로 logstash 없이 간단한 로그 데이터를 Elasticsearch와 kibana를 통해 시각화 Elasticsearch 로 전달되는 로그 데이터는 Spring Boot Logback을 통해 json 포맷으로 변환되어 로그 데이터가 저장됨. Filebeat 설치 brew install filebeat mac에서는 brew 명령어를 통해 filebeat를 간단하게 설치할 수 있다. * xcode의 버전이 낮은경우 설치가 안 되는 경우가 있음. 설치가 다 되면 /usr/local/e.. 더보기 [ELK] Logstash 와 Filebeat의 차이 Logstash 데이터 집계, 변환, 저장 실시간 파이프라인 기능을 가진 오픈소스 데이터 수집 엔진이다. 서로 다른 소스의 데이터를 탄력적으로 통합하고 사용자가 선택한 목적지로 데이터를 정규화할 수 있다. Elasticsearch의 데이터 파이프라인으로 주로 사용된다. 장점 Filebeat에 비해 Logstash는 다양한 Input, Output을 가지고 있다. grok 등 여러가지 Filter 기능 제공을 통해 Input된 데이터를 필요한 형태로 가공이 가능하다. 단점 Filebeat에 비해 많은 Resource가 소모된다. Filebeat 여러 종류의(주로 로그파일) 데이터들을 서버에서 다른 곳으로 전송하기위한 open source 프로그램 로그 데이터를 전달하고 중앙화하기 위한 경량의 Produce.. 더보기 이전 1 다음
