AI ML (3) 썸네일형 리스트형 [LLM] Prompt 엔지니어링 관련 기초 개념 정리 참고 블로그 (아래 블로그를 참고하며 공부한 내용을 정리하였습니다.) https://medium.com/@minji.sql/prompt-기초편-프롬프트-정의-llm-하이퍼파라미터-구성요소-a62f2d9d2ecfhttps://medium.com/@minji.sql/prompt-활용편-프롬프트-엔지니어링-작성가이드-팁과-주의사항-예시-0357f81bc969 1. 프롬프트란?생성형 모델에게 어떤 행동을 해야 하는지 자연어로 설명하고 사람이 원하는 결과물을 출력할 수 있도록 하는 방식LLM은 결과를 얼마나 랜덤하게 응답할지와 같이, 모델의 다양한 부분을 조종하는 설정 하이퍼파라미터의 영향을 받는다. 2. 하이퍼파라미터설정 하이퍼파라미터들은 모델이 어떻게 작동할지를 정하는 중요한 요인이다. 2.1. Tem.. [MLOps] Kubernetes에서 CUDA MPS 손쉽게 활용하기 1. 개요CUDA MPS(Multi-Process Service)를 활용하여 GPU 리소스를 컨테이너간 Sharing 하여 활용하는 방법에 대해 알아본다. GPU 노드의 GPU 자원을 나눠 사용하는 방법에는 크게 3가지가 존재한다. - Time-Slicing- MIG- MPS 이 중 MIG는 비싼 GPU 노드에서만 사용 가능하니 패스하고 Time-Slicing, MPS만 필자는 알아보았다. Time Slicing은 별도의 노력 없이 Nvidia-Device-Plugin의 단순한 설정만으로 쉽게 설정 및 적용이 가능하다. 하지만 GPU Memory의 격리가 없고 지속적인 Context Switching이 발생하여 Overhead가 높다는 단점이 있다. 그렇다면 이를 해결하기 위해 MPS(Multi Proc.. Kubernetes GPU Operator와 Time Slicing 간단히 알아보기 EKS에서 MLOps를 할 수 있도록 공부중인데 그 과정들을 하나씩 정리해보려 한다. 그 첫 번째로 GPU Operator와 Time Slicing에 대해서 정리해본다. GPU Operator란? NVIDIA GPU Operator는 k8s 클러스터 내에서 NVIDIA 계열의 GPU 노드로 파드를 편하게 관리할 수 있도록 도와주는 툴이다. Operator 패턴이란? Operator 패턴이란 CR(Custom Resource) 파일을 우리가 k8s에게 제공하면 k8s에 파드 형태로 떠있는 Operator가 이를 지속적으로 확인하면서 Custom Resource에 정의된 spec 대로 원하는 리소스들(ex. NVIDIA Device Plugin과 관련된 파드 및 Service Account, Role, .... 이전 1 다음
