개요:

국내외적으로 Large-scale Language Model에 이어서 이제는 다양한 Large-scale Multimodal Model들이 나오고 있습니다. 이 세션에서는 Multimodal 관련 태스크를 위한 대규모 데이터셋 구축과정 및 Vision-Language foundation 모델링을 하면서 최종적으로 서비스에 반영되기 까지의 노하우와 팁을 공유합니다. 최대 규모의 한국어 멀티모달 데이터셋을 소개하고, 현재 구축중인 다양한 Vision-Language foundation 모델도 소개합니다.

목차

1. Why Large-scale Multimodal?

• Vision-Language Foundation Models
• English Image-Text Dataset

2. Billion-scale Image-Text Korean 데이터 구축

• 수집 데이터의 종류와 특징
• 정제 및 전처리 과정

3. Multimodal (Vision-Language) Foundation Modeling

• 패션 상품 Attribute 검색 Model
• CoCa (contrastive captioners are image-text foundation models)
• Modality-agnostic Model

4. Korean Text-to-Image Generation

• Korean Stable Diffusion

5. Multimodal Docuemt Search (MDS) 서비스 & Future Works

• 패션 상품 검색
• 멀티모달 분류기 for MDS
• 스마트 썸네일