Database (8) 썸네일형 리스트형 [Database] Vector DB Milvus 공식 문서 정리 공식 문서를 보면서 공부한 내용을 정리합니다. 용어 정리 PChannel : Topic에 저장 VChannel : Collection의 Shard와 동일 Collection : RDB의 Table과 유사하며 Entity를 저장하고 관리하는 역할을 수행 Entity : 현실 세계에서의 객체를 나타내는 필드 그룹으로 구성된다. 각 Entity는 고유한 Primary key로 표시된다. Field : Entity를 구성하는 단위 Log Broker : Playback(재생?)을 지원하는 Pub-Sub 시스템이다. 스트리밍 데이터 지속성, 안정적인 비동기 쿼리 실행, 이벤트 알림 Log Sequence : Milvus에서 수집 상태를 변경하는 모든 작업을 기록 Log Snapshot : Vector DB 데이터.. [DOIK 스터디 2기] JMX를 통한 Kafka Connect 모니터링 DOIK 스터디 2기 - 6번째 글로 JMX를 통해 Kafka 모니터링하는 방법에 대해서 소개한다. 공부하는 내용을 정리하는 글이라 부정확할 수 있음 주의 Kafka를 모니터링하기 위해서는 JMX(Java Management Extentions)를 사용하여 모니터링할 수 있다. Kafka는 JMX를 지원하여 여러 가지 관리 및 모니터링 작업을 수행할 수 있다. JMX Exporter는 Java 기반의 Application을 모니터링하기 위해 Prometheus 재단에서 만든 공식 Exporter이다. JMX Exporter는 Agent 형태로 실행되며 JMX Exporter가 JAVA Application의 Metric을 수집하기 위해서는 Java Application에 JMX가 필히 활성화되어있어야 한.. [DOIK 스터디 2기] Kafka 개념 및 Kafka 생태계 개념 정리 DOIK 스터디 2기 - 5번째 글로 Kafka 개념 및 생태계에 대해 정리해본다. 공부하는 내용을 정리하는 글이라 부정확할 수 있음 주의 Apache Kafka는 실시간 이벤트 기반 애플리케이션 개발을 지원하는 오픈소스 분산형 스트리밍 플랫폼이다. Kafka는 크게 3가지 기능을 통해 작업을 수행한다. 1. Application에서 Data 또는 Event stream을 Kafka로 Produce(발행)하거나 Subscription(구독)할 수 있다. 2. 서버는 항상 장애에 대비해야 한다. Kafka는 장애가 발생하더라도 처리하고 있는 데이터들을 안전하고 안정적인 방식으로 처리할 수 있도록 설계되어 있다. 3. 레코드들은 순서대로, FIFO 방식으로 Queue에 넣어서 실시간 처리된다. Kafka 용.. [DOIK 스터디 2기] Percona Operator for MongoDB 개념 및 실습 DOIK 스터디 2기 - 4번째 글로 Percona Operator for MongoDB 오퍼레이터에 대해서 정리해본다. 공부하는 내용을 정리하는 글이라 부정확할 수 있음 주의 MongoDB 개념에 대해서 간단히 정리해보기 Document : MongoDB에서 데이터를 저장하는 단위이며 JSON 형태로 표현되며 저장될 때는 Binary JSON(BSON) 경량 형태로 저장되기 떄문에 더 빠르고 효율적으로 데이터를 저장할 수 있다. >> 모든 Document에는 “_id” 필드가 있고 없게 생성할 경우 ObjectId 타입의 고유 값을 저장한다. Collection : MongoDB Document(문서)의 모음이며 RDB의 Table과 유사함 > 컬렉션은 서브컬렉션을 가질 수 있지만 종속성은 없다. (e.. [DOIK 스터디 2기] CloudNativePG (PostgreSQL 오퍼레이터) 알아보기 및 간단한 실습 DOIK 스터디 2기 - 3번째 글로 PostgreSQL 오퍼레이터에 대해서 정리해본다. 공부하는 내용을 정리하는 글이라 부정확할 수 있음 주의 Kubernetes 상에서 Database를 운영하기 위해서는 Operator의 힘을 빌리면 많은 도움이 된다. CloudNativePG는 Kubernetes 환경에서 PostgreSQL을 손쉽게 관리할 수 있도록 도와주는 Operator이다. Operator 성숙도 레벨 모델에서 볼 수 있듯이, CloudNativePG는 Level 5이며 이는 제일 높은 성숙도를 자랑한다. CloudNativePG 주요 특징으로는 다음과 같다. - 고가용성을 위해 외부 툴 없이 Kubernetes AP와 직접 통합 - Primary 인스턴스가 장애 발생 시 자동 페일오버 지원.. [DOIK 스터디 2기] MySQL Operator on Kubernetes를 이해하기 위한 MySQL, InnoDB Cluster 개념과 MySQL Operator 구조 DOIK 스터디 2기 - 2번째 글 공부하는 내용을 정리하는 글이라 부정확할 수 있음 주의 Kubernetes에서 MySQL을 운영하기 위해서는 보통 MySQL Operator를 활용하게 된다. 이를 제대로 활용하기 위해서는 MySQL과 InnoDB Cluster에 대한 기본적인 개념과 이를 Kubernetes 상에서 관리하기 위한 MySQL Operator for Kubernetes 기본 개념, 그리고 Kubernetes에서의 StatefulSet, Headless Service 등을 이해하고 있어야 한다. 이러한 개념들을 이해하고 나면 MySQL Operator, InnoDB Cluster를 Kubernetes 상에서 배포하기 한층 더 쉬워지게 된다. 1. MySQL 8.0을 운영하기 위해 필요한 기.. [DOIK 스터디 2기] Kubernetes Operator 개념과 Database 관련 Operator 얕게 알아보기 가시다님 주관 DOIK(Database Operator In Kubernetes) 스터디를 참여하게 되었다. 이번 기회를 통해 Operator 패턴과 Database 및 DB 운영에 대한 지식을 많이 늘렸으면 좋겠다.. 1주차 과제로 Kubernetes Operator 개념과 Database 관련 Operator들을 간단하게 알아보고자 한다. 1. Kubernetes Operator? Operator란 무엇일까? 관리자란 뜻이다. 쿠버네티스 관리자라는 뜻인데 무엇을 관리한다는 걸까? Operator는 특정 대상(ex. DB, ..) 소프트웨어 운영 및 관리를 자동화하기 위한 방법론이다. DB 운영을 생각해보자. DB 운영을 하기 위해서는 다음의 운영들이 필요할 수 있다. - Master가 죽으면 Slav.. [ElasticSearch] 정리 #1 - 기본 개념 ElasticSearch : 검색 , 분석 엔진으로 대량의 데이터를 실시간으로 색인(Indexing)하고 검색(Searching)하고 분석(Ananyzing)하며 시각화(Visualizing)할 수 있다. ES는 다양한 언어에 대해 Restful API를 제공하므로 프로그래밍 기반으로 ES를 사용할 수도 있다. ES 기본 개념 Index : Document를 저장하는 논리적 구분자 ( ~= RDB의 Table ) Document : ES에서 실제 데이터를 저장하는 단위 ( ~= RDS의 Table 내 Row ) Document CRUD - Create(인덱싱) : Document를 특정 Index에 포함시킴 - Read : DSL(Domain Specific Language) 사용하여 Index 내 모든.. 이전 1 다음
