DevOps (13) 썸네일형 리스트형 [Grafana Loki] 청크 중복성 제거하기 (ingester에만 chunk cache 적용) 1. 개요Grafana Loki에서는 기본적으로 RF(Replication Factor, 복제 요소)의 값을 3으로 설정할 것을 권장한다. 이는 Ingester 인스턴스의 Rolling Update 중 일부 로그의 유실을 방지하기 위해서이다. 관련 내용은 아래 글에 정리되었으니 참고하면 된다. https://nyyang.tistory.com/195 [Log] Grafana Loki 성능 최적화 방법 정리Loki 3.0에서는 Bloom Filter가 도입될 예정이라고 한다. (이미 Loki 3.0은 release 되었다. Loki를 갓 도입하는 분들는 3.x 버전으로 도입하는게 좋아보인다.) 아마 이게 도입되면 필터링 검색 시 굉장히 빨nyyang.tistory.com 이 때 별도의 설정을 하지 않는다면 .. [Strimzi Kafka Connect] 손쉽게 커넥터 Config에 시크릿 적용하기 아래 공식문서를 참고하여 시크릿을 적용 https://strimzi.io/blog/2021/07/22/using-kubernetes-config-provider-to-load-data-from-secrets-and-config-maps/ Using Kubernetes Configuration Provider to load data from Secrets and Config MapsUsing Kubernetes Configuration Provider to load data from Secrets and Config Maps When running Apache Kafka on Kubernetes, you will sooner or later probably need to use Config Maps or .. [Ansible] 사용자 계정 생성 및 apache http 설치 실습 가시다님 주관 A101 스터디에 대한 정리 - 3주차 입니다. 1, 2 주차에는 Ansible 개념에 대해 전반적으로 알아보았습니다. 이번 주차에는 간단한 실습을 진행해봅니다. 추가로 valut 암호화 시 aws secrets manager를 활용해보겠습니다. 실습 환경에 대한 설명은 따로 하지 않음 1. 사용자 계정 생성 실습 원격 서버에 사용자 계정을 Playbook, 암호화를 활용하여 생성해보자. # 아이디어 - ansible.builtin.user 모듈을 사용하면 될 것 같다. - ansible은 ansible-vault를 통해 암호화를 수행할 수 있다. >> playbook 안에 username, password를 직접 넣어 만들수도 있지만 이는 보안에 취약하다. >> 따라서 별도 file에 u.. [Ansible] 반복문, 조건문, 핸들러, 블록, Recsue 등 개념 정리 가시다님 주관 A101 스터디에 대한 정리 - 2주차 입니다. 이번 주차에는 반복문, 조건문, 핸들러 개념에 대해 정리합니다. # 반복문 Ansible은 loop, with_, until 키워드를 통해 반복문을 사용할 수 있도록 제공한다. ( with_ 구문은 Ansible 2.5 버전부터 권장되지 않으며 loop을 사용할 것을 권장함 ) 예를 들어 여러개의 file을 만든다던지 여러 user를 생성한다던지 등이 그 예이다. https://docs.ansible.com/ansible/latest/playbook_guide/playbooks_loops.html Loops — Ansible Documentation As of Ansible 2.8, you can get extended loop informa.. [Ansible] 기본 개념 정리 가시다님 주관 A101 스터디에 대한 정리 - 1주차 입니다. 이번 주차에는 Ansible 기본 개념에 대해 정리합니다. Ansible이란? Ansible은 Python module 및 ssh를 사용하여 원격 호스트에 명령을 수행할 수 있도록 도와주는 CM(Configuration Management) 도구이다. 별도의 Agent를 설치하지 않아도 되며 단순히 SSH 접속이 가능하면 편리하게 사용할 수 있다. (내부적으로 Python을 사용하게 되는데 대부분의 Linux에는 Python이 기본적으로 설치되어 있다.) 필자는 Ansible을 사용할 때 일반적으로 다음의 과정들을 거친다. [1] ansible.cfg 파일 작성 및 확인 [2] inventory 파일 생성, 그룹 변수 생성, 호스트 변수 생성.. [AWS] 클라우드 와치 로그에서 특정 패턴일 경우 Slack 알람 보내는 방법 1. 구성 구성은 정말 간단하다. CloudWatch 로그 그룹에 애플리케이션 로그들이 쌓이고 있다. → 구독 필터로 특정 패턴을 감지하여 AWS Lambda로 보내준다. → AWS Lambda에서는 메시지를 전달받은 뒤 가공하여 Slack으로 메시지를 보내준다. serverless 프레임워크를 활용한다. serverless.yml service: SLACK-NOTIFICATION frameworkVersion: "3" plugins: - serverless-dotenv-plugin provider: name: aws profile: XXXXXXX timeout: 30 memorySize: 256 runtime: nodejs18.x stage: prod region: ap-northeast-2 iam: .. [Github Action] Self hosted runner에서 Gradle, Docker image cache #2 - EFS 활용 #1 편에서는 아주 간단하게 EBS, PVC를 활용하여 캐싱을 수행하였다. https://nyyang.tistory.com/163 [Github Action] Self hosted runner에서 Gradle, Docker image cache #1 - EBS, PVC로 캐시하기 Github hosted runner에서는 다양한 actions에서 caching 전략을 제공하기 때문에 단순 actions를 사용하는 것만으로 손쉽게 캐싱을 수행할 수 있다. 캐싱은 docker image caching도 아주 쉽게 수행할 수 있다. 이 nyyang.tistory.com 1. 개요 #1 편에서는 아주 간단하게 EBS, PVC를 활용하여 캐싱을 수행하였다. 하지만 프로젝트가 많아질 경우 PVC가 Available.. [Github Action] Self hosted runner에서 Gradle, Docker image cache #1 - EBS, PVC로 캐시하기 Github hosted runner에서는 다양한 actions에서 caching 전략을 제공하기 때문에 단순 actions를 사용하는 것만으로 손쉽게 캐싱을 수행할 수 있다. 캐싱은 docker image caching도 아주 쉽게 수행할 수 있다. 이는 buildx에서 --cache-from과 --cache-to의 type 중 gha(github action)란 type을 제공하는데, 아주쉽게 구현 가능하다. gradle cache 또한 제공하는 actions를 쓰면 된다. 하지만 github hosted runner를 쓰면 다양한 단점이 존재한다. 1. 개발한 코드가 클라우드 상에 배포된다. 2. runner가 argocd 등의 명령어를 수행하기 위해 argocd가 public 망에 존재해야 한다... 이전 1 2 다음
