본문 바로가기

filebeat

[Docker] Docker Filebeat를 이용하여 spring boot 로그 시각화 선행으로 보면 도움 되는 글 spring boot 로그 - Logback, slf4j filebeat elasticsearch kibana 연동 Docker Filebeat 설치 docker pull docker.elastic.co/beats/filebeat:7.15.2 docker 를 통해 pull 받는다. (생략 가능) 위와 같은 로그들이 출력되면 설치가 정상적으로 진행된 것이다. Docker Filebeat 환경 설정 파일 작성(yml) curl -L -O https://raw.githubusercontent.com/elastic/beats/7.15/deploy/docker/filebeat.docker.yml 위 명령어를 통해 환경 설정 파일을 다운로드한다. filebeat.config: modul.. 더보기
[ELK] Filebeat 설치 및 시작 for Mac (Elasticsearch, Kibana 연동) 환경 Filebeat - 7.15.2 Elasticsearch - 7.10.2 kibana - 7.10.2 mac - monterey 12.0.1 구조 filebeat -> elasticsearch -> kibana 위의 구조로 logstash 없이 간단한 로그 데이터를 Elasticsearch와 kibana를 통해 시각화 Elasticsearch 로 전달되는 로그 데이터는 Spring Boot Logback을 통해 json 포맷으로 변환되어 로그 데이터가 저장됨. Filebeat 설치 brew install filebeat mac에서는 brew 명령어를 통해 filebeat를 간단하게 설치할 수 있다. * xcode의 버전이 낮은경우 설치가 안 되는 경우가 있음. 설치가 다 되면 /usr/local/e.. 더보기
[ELK] Logstash 와 Filebeat의 차이 Logstash 데이터 집계, 변환, 저장 실시간 파이프라인 기능을 가진 오픈소스 데이터 수집 엔진이다. 서로 다른 소스의 데이터를 탄력적으로 통합하고 사용자가 선택한 목적지로 데이터를 정규화할 수 있다. Elasticsearch의 데이터 파이프라인으로 주로 사용된다. 장점 Filebeat에 비해 Logstash는 다양한 Input, Output을 가지고 있다. grok 등 여러가지 Filter 기능 제공을 통해 Input된 데이터를 필요한 형태로 가공이 가능하다. 단점 Filebeat에 비해 많은 Resource가 소모된다. Filebeat 여러 종류의(주로 로그파일) 데이터들을 서버에서 다른 곳으로 전송하기위한 open source 프로그램 로그 데이터를 전달하고 중앙화하기 위한 경량의 Produce.. 더보기