Log,Monitorings (20) 썸네일형 리스트형 [Datadog] AWS Events 기반으로 Datadog 알람 설정하기 1. 개요 Datadog은 SaaS 모니터링 솔루션으로 정말 많은 기능들이 포함되어 있다. Dashboards를 만들 수도 있고, Monitoring 설정을 할 수도 있고 APM을 사용하여 Application 분석을 수행할 수도 있다. 그 중 Events 기능이 있는데, 일련의 Messages 들을 모아놓은 Record라고 생각하면 된다. Kubernetes에서 발생하는 Events들은 물론 그 외에 RDS Events 등이 포함될 수 있다. 아래는 Datadog Events 예시이다. Kubernetes에서 발생하는 이벤트들, Amazon Lambda 혹은 SNS, MongoDB 등 여러가지가 Source가 될 수 있다. 만약 이러한 Events들 중 특정 Content가 포함이 될 경우 알람을 받고.. [Elasticsearch] Nginx 로그 Fluentd를 통해 Elasticsearch로 보내기 Nginx의 로그를 Fluentd를 통해 취합하고, 이를 ElasticSearch로 보낸 다음 Kibana에서 Nginx의 Access Logs를 Dashboard로 시각화하여 확인할 수 있다. 실습 환경 - OS : CentOS7 - Container Runtime : Docker - Tool : docker compose [도구 소개] - Nginx 웹 서비스이며 리버스 프록시로써 많이 사용된다. - FluentD Log(데이터) 수집기(Collector)라고 생각하면 된다. Fluentd로 전달된 데이터는 ‘tag, time, record(JSON)으로 구성된 이벤트로 처리되며, 원하는 형태로 가공되어 다양한 목적지 (S3, ElasticSearch, ..)로 전달될 수 있다. 만약 더 적은 메모리.. [Fluentd] 로그 수집 패턴, Fluentd 개념 정리 (조대협님 블로그글 참고하여 작성) 데이터 및 로그 수집 플랫폼으로 EFK, ELK 스택이 많이 사용되고 있다. EFK는 Elasticsearch, Fluentd, Kibana를 의미하며 ELK는 Elasticsearch, Logstash, Kibana를 의미한다. Logstash는 아키텍처 적응에 대한 유연성와 연동 솔루션에 대한 호환성을 강조하고 있기 때문에 타 솔루션과 연동이 강하고, Fluentd는 아키텍처의 단순성과 이를 기반으로 하는 안정성을 초점에 두고 있다. Fluentd를 이용한 로그 수집 아키텍처 [1] 기동되고 있는 서버에서 로그를 수집하고 중앙 로그 저장소로 전송 [2] 각 서버에서 Fluentd가 수집한 로그를 다른 Fluentd로 보내서 이 Fluentd가 최종적으로 로그 저장소.. [ElasticSearch] ElasticSearch 개념 알아보기 ElasticSearch는 Java 기반의 오픈소스이며 뛰어난 검색 능력과 대규모 분산 시스템을 구축 가능하며 모든 데이터를 색인하여 저장하고 검색, 집계 등 결과를 클라이언트에게 응답 또는 다른 프로그램으로 전달하여 동작할 수 있게 한다. 또한 Kibana와 연동하여 로그를 시각화할 수 있다. 용어 클러스터 : 하나 이상의 노드로 구성되며, 고가용성을 유지하기 위함. 각 노드들은 홀수개로 구성이 되어야 한다. 마스터 노드 : 인덱스의 메타 데이터, 샤드의 위치 등 클러스터의 상태 정보를 관리하는 노드 데이터 노드 : 실질적으로 데이터가 저장되는 노드 인제스트 노드 : 데이터를 변환하는 등 사전 처리 파이프라인을 실행하는 역할 도큐먼트 : 단일 데이터 단위 인덱스 : 도큐먼트들을 모아놓은 집합 (Indi.. 이전 1 2 3 다음
