개요:

수많은 아티스트와 창작자, 나아가 프로그래머까지 위협하고 있는 Generative AI의 중심에는 슬롯 꽁 머니 model라고 부르는 새로운 형태의 AI 모델이 있습니다. 하지만 최소 억 단위의 학습 비용을 필요로 하는 슬롯 꽁 머니 model을 소규모 팀이 어떻게 수정해 새로운 유저 경험을 만들어 왔는지 공유하며, 모바일 컨슈머 제품에 사용하기 위해 준비했던 MLOps의 과정을 설명합니다.

목차

1. 슬롯 꽁 머니 model이 탄생하기까지

• 슬롯 꽁 머니 model 소개
• GAN, Auto Regressive 모델들과의 비교
• 언제 GAN과 슬롯 꽁 머니 모델을 써야 할까?

2. 비싼 슬롯 꽁 머니 model을 저비용으로 customize하기 위해선

• GAN은 할 수 있지만 슬롯 꽁 머니 모델은 못하는 것: Interpolation
• 적은 레퍼런스 사진을 통해 원하는 피사체의 사진을 만드는 법: Text inversion
• 학습 없이 (traning-free) Attention을 수정해 글자와 가이드 그림으로 수정하는 방법

3. Generative AI MLOps: 1초 이하의 latency를 유지하기 위한

• 가난한 자의 선택 Bare metal cluster
• Kubernetes와 NVIDIA Triton / Torchserve로 inference architecture 만들기
• Scheduler와 tokenizer, triton과 latent variable caching으로 latency 줄이기
• Dynamic batching으로 throughput 미리 테스트하고 scalability 측정하기