멀티모달 추천 시스템이란?

📦 멀티모달 추천 시스템이란?

클릭률을 넘어선 진짜 취향 예측, AI가 “눈치”까지 보는 시대

---

🧠 추천 시스템, 왜 멀티모달이 필요할까?

기존의 추천 시스템은 보통 사용자의 클릭 이력이나 구매 로그만을 기반으로 예측합니다.
하지만 사용자가 어떤 제품을 왜 클릭했는지는 로그만으로 알기 어렵습니다.

• 상품의 썸네일 이미지 때문일까요?
• 아니면 리뷰 텍스트, 할인 배너, 브랜드명 때문일까요?

이처럼 추천 정확도를 높이기 위해서는 **여러 종류의 데이터(=모달)**를 함께 고려해야 합니다.
이때 사용하는 것이 바로 **멀티모달 추천 시스템(Multimodal Recommendation System)**입니다.

 

---

📐 멀티모달 추천 시스템 아키텍처 이해하기

멀티모달 추천 시스템은 아래 그림처럼 다양한 입력 정보를 각각 인코딩 → 융합 → 예측하는 구조를 가집니다.

[User Info]     [Text Info]     [Image Info]     [Behavior]
   ↓               ↓                ↓                ↓
 User Embedding   Text Embedding  Image Embedding  History Embedding
             ↘       ↘        ↘       ↘
               ▶ Fusion Layer (멀티모달 융합)
                           ↓
                  Scoring Layer (예측)

---

📐 멀티모달 추천 시스템 아키텍처

✅ 전체 흐름 요약

[User Modality]       [Item Modality]
   (나이, 성별, 위치)     (이미지, 텍스트, 태그 등)
         │                      │
   User Embedding         Item Embedding
         └────┬────────────┬────┘
              │     Fusion (멀티모달 융합)
              └────────────▶
               Scoring Layer (예측)

---

🔧 구성 요소별 설명

1. Input Modalities (입력 모달들)

입력 종류	예시	처리 기술
텍스트	상품 설명, 리뷰, 키워드	BERT, FastText, LSTM
이미지	썸네일, 제품 사진	CNN (ResNet, ViT)
오디오	음성, 음악	Spectrogram → CNN
동영상	쇼츠, 클립	3D CNN, ViViT
사용자 프로필	나이, 성별, 위치	Embedding 또는 One-hot
행동 로그	클릭, 구매, 스크롤 등	Collaborative Filtering 기반 인코딩

---

2. Embedding Layer (모달별 인코딩)

• 각 modality별로 고정된 크기의 벡터로 임베딩
• 예:
  • 텍스트 → 768차원 (BERT)
  • 이미지 → 512차원 (ResNet50)
  • 위치 → 2차원 or geohash 임베딩

---

3. Fusion Layer (멀티모달 융합 방식)

방식	설명
Concat	모든 modality를 그냥 이어붙임
Attention	각 modality의 중요도를 학습하여 가중합
Gated Mechanism	modality마다 gate를 두어 중요한 것만 통과
Cross-modal Transformer	modality 간 상호작용까지 학습 (ex. CLIP, MMRec)

---

4. Scoring/Prediction Layer

• 사용자 벡터와 아이템 벡터 사이의 관계를 평가
• 예측 대상: 구매 확률, 클릭률, 좋아요 확률 등

score = Dot(User_Embedding, Item_Embedding)  
# 또는 FFN(User || Item)

---

🧠 사용되는 주요 기술

기술	설명	실무 활용
CLIP (OpenAI)	이미지 + 텍스트 임베딩 공동 학습	시각 정보 기반 추천
BERT4Rec	텍스트 + 시퀀스 행동 모델링	리뷰/설명 + 행동 예측
MMRec	멀티모달 추천 특화 구조	네이버, 쇼피, 아마존 등 사용
Cross-modal Attention	다양한 모달리티의 연관도 학습	이미지 보고 상품 추천 등
Knowledge Distillation	Modal 간 지식 이전	텍스트→이미지 성능 전이 등

---

🏢 실제 적용 사례

기업	적용 예
쿠팡	썸네일 이미지 + 상품명 + 행동로그 기반 추천
넷플릭스	예고편(비디오), 시놉시스, 시청 이력 통합 추천
틱톡	영상 + 해시태그 + 사용자 행동 동시 분석
아마존	리뷰 텍스트 + 이미지 기반 하이브리드 추천

---

🧩 멀티모달이 추천 정확도에 기여하는 방식

1. Cold Start 문제 해결
   • 신규 아이템도 설명, 이미지만으로 추천 가능
2. 상황 이해력 향상
   • "비 오는 날", "영상이 밝은 톤" 등 맥락 반영 가능
3. 정확도 + 다양성 균형
   • 단순 유사도 대신 다양한 기준에서 유의미한 추천 가능

---