[딥러닝 이전의] 추천 시스템 완벽 가이드 - 협업 필터링

추천 시스템 완벽 가이드: 협업 필터링 (CF) vs 콘텐츠 기반 필터링 (CBF)

핵심 질문: "이 유저(User)에게 어떤 아이템(Item)을 추천해줘야 할까?"

1. 필터링 (Filtering)이란?

세상에는 너무나 많은 정보와 아이템이 있습니다. 추천 시스템의 역할은 이 방대한 정보 중에서 특정 사용자에게 가장 관련성이 높고 유용할 것 같은 정보(아이템)만을 '걸러내어(Filtering)' 보여주는 것입니다.

2. 추천 시스템의 두 가지 주요 접근 방식:

• 협업 필터링 (Collaborative Filtering, CF): "다른 사람들은 뭘 좋아했지?" 🤔
• 콘텐츠 기반 필터링 (Content-based Filtering, CBF): "네가 전에 좋아했던 거랑 비슷한 거네!" 😎

I. 협업 필터링 (Collaborative Filtering, CF) - "다른 사람들은 뭘 좋아했지?" 🤔

A. 핵심 아이디어:

나와 비슷한 취향을 가진 다른 사람들이 좋아했던 아이템을 나에게 추천하거나, 내가 좋아했던 아이템과 비슷한 아이템 (다른 사람들도 비슷하게 좋아했던)을 추천하는 방식입니다. 유저들의 행동 기록 (클릭, 구매, 평점 등) 자체를 이용하는 거죠.

쉽게 말하면:

• "네 친구들이 재밌다고 한 영화, 너도 한번 볼래?" (User-based CF)
• "이 과자(A)를 산 사람들이 저 과자(B)도 많이 샀더라. 너도 B 과자 한번 먹어볼래?" (Item-based CF)

B. 협업 (Collaboration)의 의미

이 방식은 혼자서는 추천을 만들어내지 못합니다. 추천을 받는 사용자(A) 외에도 다른 많은 사용자들(B, C, D...)의 데이터가 필요합니다.

사용자들이 아이템에 대해 평가하거나, 구매하거나, 클릭하는 등의 행동을 하면, 이 정보들이 모여 집단적인 지성(Collective Intelligence) 또는 집단적인 선호도 패턴을 형성합니다.

시스템은 이렇게 모인 여러 사용자들의 데이터를 '함께', '협력적으로' 활용하여 특정 사용자를 위한 추천을 생성합니다. 마치 여러 사람들이 힘을 합쳐(협업하여) 특정 사용자에게 가장 적합할 것 같은 정보를 찾아주는 것과 같습니다.

사용자들이 의도적으로 "협업하자!"라고 한 것은 아니지만, 각자의 활동 데이터가 모여 시스템이 활용할 수 있는 '협업적인' 정보 자원이 되는 셈입니다.

협업 필터링은 바로 위에서 설명한 '협업적인' 정보(다른 사용자들의 선호도 패턴)를 기준으로 삼아, 사용자에게 맞지 않을 것 같은 아이템은 걸러내고, 좋아할 만한 아이템을 선택(Filtering)합니다.

C. 동작 방식 (간단 버전):

1. 데이터 수집: 유저들이 어떤 아이템에 대해 어떻게 행동했는지 데이터를 모아요. (예: 유저 A는 영화 1, 2에 별점 5점, 영화 3에 별점 1점 / 유저 B는 영화 1, 2에 별점 4점, 영화 4에 별점 5점 ...)
2. 유사도 측정:
   • User-based CF: 나(타겟 유저)와 다른 유저들 간의 유사도를 계산해요. (나와 유저 B가 영화 1, 2를 둘 다 좋아했으니 비슷하네!)
   • Item-based CF: 내가 좋아했던 아이템과 다른 아이템들 간의 유사도를 계산해요. (영화 1을 좋아한 사람들은 영화 2도 많이 좋아했으니, 영화 1과 2는 비슷하네!)
3. 추천 생성:
   • User-based CF: 나와 비슷한 유저들이 좋아했지만, 나는 아직 보지 않은 아이템을 추천해요.
   • Item-based CF: 내가 좋아했던 아이템과 유사도가 높은 아이템을 추천해요. (아마존의 "이 상품을 구매한 고객이 함께 구매한 상품"이 대표적이죠!)

D. 장점:

• 아이템 자체의 정보가 없어도 돼요: 영화 줄거리, 상품 설명 같은 정보 없이 유저들의 '평가'나 '선택' 기록만 있어도 추천이 가능해요.
• 생각지 못한 추천 (Serendipity): 내가 전혀 몰랐던 분야의 아이템도 추천받을 수 있어요. (나랑 취향 비슷한 사람이 갑자기 다큐멘터리를 좋아하기 시작하면 나에게도 추천될 수 있음)

E. 단점:

• 콜드 스타트 (Cold Start) 문제:
  • New User: 새로 가입한 유저는 활동 기록이 없어서 누구와 비슷한지, 뭘 좋아하는지 알 수 없어요. 😭
  • New Item: 새로 추가된 아이템은 아무도 선택하거나 평가하지 않았기 때문에 추천되기가 어려워요. 😥
• 데이터 부족 (Sparsity): 유저가 평가하거나 본 아이템보다 그렇지 않은 아이템이 훨씬 많아서, 유사도 계산이 부정확해질 수 있어요.
• 인기 편향 (Popularity Bias): 인기 많은 아이템이 계속 더 추천될 가능성이 높아요.

F. 언제 사용하면 좋을까?

• 유저들의 상호작용 데이터(클릭, 구매, 평점 등)가 풍부할 때
• 아이템의 특징을 분석하기 어렵거나, 특징 정보가 별로 없을 때
• 예: 영화 평점 사이트, 이커머스 플랫폼 등

G. 협업 필터링의 종류

1. 메모리 기반 / 이웃 기반 (Memory-based / Neighborhood-based) CF

이름 그대로 사용자-아이템 상호작용 데이터(메모리)를 직접 사용하여 유사한 이웃(Neighborhood)을 찾는 방식입니다. 별도의 모델을 학습시키기보다는, 저장된 데이터를 기반으로 유사도를 계산하여 추천합니다.

a) 사용자 기반 협업 필터링 (User-based CF):

• 핵심 아이디어: "나와 비슷한 취향을 가진 다른 사용자들이 좋아했던 아이템을 추천하자!"
• 동작 방식:
  • 유사 사용자 찾기: 타겟 사용자와 다른 모든 사용자 간의 유사도(예: 코사인 유사도, 피어슨 상관계수)를 계산합니다. (주로 사용자들이 공통으로 평가한 아이템들의 평점 패턴을 비교)
  • 아이템 점수 예측: 타겟 사용자와 유사도가 높은 사용자들이 높게 평가했지만, 타겟 사용자는 아직 상호작용하지 않은 아이템들의 예상 평점/선호도를 계산합니다. (유사 사용자들의 평점에 유사도 가중치를 적용하여 평균 내는 방식 등)
  • 추천: 예상 점수가 높은 아이템들을 추천합니다.
• 장점: 구현이 비교적 직관적이고, 추천 이유 설명이 쉬움 ("당신과 비슷한 취향의 사용자들이 좋아했어요").
• 단점: 사용자 수가 많아지면 유사도 계산 비용이 매우 커짐 (Scalability 문제), 데이터 부족(Sparsity) 문제에 취약.

b) 아이템 기반 협업 필터링 (Item-based CF):

• 핵심 아이디어: "내가 과거에 좋아했던 아이템과 비슷한 아이템 (다른 사용자들도 비슷하게 평가한)을 추천하자!"
• 동작 방식:
  • 아이템 간 유사도 계산: 모든 아이템 쌍 간의 유사도(예: 코사인 유사도, 피어슨 상관계수)를 계산합니다. (주로 해당 아이템들을 공통으로 평가/소비한 사용자들의 평점 패턴을 비교) 이 계산은 사용자 기반보다 덜 자주 수행해도 됩니다 (아이템 간 관계는 사용자 취향보다 덜 변함).
  • 아이템 점수 예측: 타겟 사용자가 과거에 좋아했던(높게 평가한) 아이템들과 유사도가 높은 다른 아이템들의 예상 평점/선호도를 계산합니다. (사용자가 평가한 아이템 점수에 아이템 간 유사도 가중치를 적용하여 합산하는 방식 등)
  • 추천: 예상 점수가 높은 아이템들을 추천합니다. (아마존의 "이 상품을 구매한 고객이 함께 구매한 상품"이 대표적인 예시)
• 장점: 사용자 기반보다 확장성이 좋고, 데이터 부족 문제에 좀 더 강하며, 종종 더 좋은 성능을 보임.
• 단점: 새로운 사용자에 대한 추천이 어려움 (Cold Start).

2. 모델 기반 (Model-based) CF

사용자-아이템 상호작용 데이터 속에 숨어있는 잠재적인 패턴(Latent Pattern)을 학습하는 모델을 구축하는 방식입니다.

행렬 분해 (Matrix Factorization, MF):

• 가장 대표적이고 성공적인 모델 기반 CF 기법 (Two-Tower 이전 시대의 왕!)
• 핵심 아이디어: 거대한 사용자-아이템 평점 행렬 (매우 희소함)을 두 개의 작은 저차원 '잠재 요인(Latent Factor)' 행렬 (사용자-잠재요인 행렬, 아이템-잠재요인 행렬)의 곱으로 근사(분해)할 수 있다고 가정합니다.
• 동작 방식:
  1. 잠재 요인 학습: 주어진 평점 데이터를 가장 잘 설명하는 사용자 잠재 요인 벡터와 아이템 잠재 요인 벡터를 학습합니다. (주로 SGD, ALS 등의 최적화 알고리즘 사용) 이 잠재 요인은 명시적이진 않지만 '장르 선호도', '배우 선호도' 같은 숨겨진 특징을 나타낼 수 있습니다.
  2. 점수 예측: 특정 사용자의 잠재 요인 벡터와 특정 아이템의 잠재 요인 벡터를 내적(Dot Product)하여 해당 사용자가 해당 아이템에 대해 매길 평점(또는 선호도)을 예측합니다.
  3. 추천: 예측 점수가 높은 아이템들을 추천합니다.
• 장점: 데이터 부족(Sparsity) 문제를 잘 처리함, 숨겨진 패턴을 발견하여 정확도가 높은 경향, 확장성이 좋음 (잠재 요인 벡터만 저장하면 됨).
• 단점: 추천 이유 설명이 이웃 기반보다 어려움, 학습 과정이 필요함.

행렬 분해 (Matrix Factorization, MF) 자세히 알아보기 🚀

Matrix Factorization (MF)은 협업 필터링(CF)을 구현하는 모델 기반(Model-based) 기법 중 가장 대표적이고 성공적인 방법 중 하나입니다. 특히 딥러닝 기반 추천 시스템이 대중화되기 전까지 추천 시스템 분야에서 왕좌를 차지했을 정도로 강력하고 널리 사용되었죠. Two-Tower 모델 같은 최신 딥러닝 모델들도 MF의 핵심 아이디어인 '잠재 요인(Latent Factor)' 개념을 계승하고 발전시킨 경우가 많습니다. MF를 이해하면 현대 추천 시스템의 근간을 이해하는 데 큰 도움이 됩니다.

1. 문제 정의: 왜 MF가 필요할까?

협업 필터링의 기본 데이터는 사용자-아이템 상호작용 행렬 (User-Item Interaction Matrix) 입니다. 보통 행(Row)은 사용자를, 열(Column)은 아이템을 나타내고, 행렬의 각 값은 사용자가 아이템에 대해 매긴 평점, 클릭 여부, 구매 횟수 등을 나타냅니다.

[표 예시: 사용자-아이템 상호작용 행렬]

 

Item 1  Item 2  Item 3  Item 4  ... Item M

User 1    5       ?       3       ?           1

User 2    ?       4       ?       5           ?

User 3    2       ?       ?       ?           ?

...

User N    ?       1       4       ?           ?

 

여기서 가장 큰 문제는 이 행렬이 매우 희소(Sparse)하다는 것입니다. 대부분의 사용자는 전체 아이템 중 극히 일부하고만 상호작용하기 때문에, 행렬의 대부분 값은 비어있거나('?') 알 수 없는 상태입니다.

MF의 목표는 이 희소한 행렬의 빈칸을 채워서, 사용자가 아직 상호작용하지 않은 아이템에 대해 얼마나 선호할지를 예측하는 것입니다.

2. 핵심 아이디어: 잠재 요인 (Latent Factors)을 찾아라!

MF는 사용자-아이템 상호작용 행렬 R (크기 N x M) 이 두 개의 저차원(Low-rank) 행렬 P와 Q의 곱으로 근사될 수 있다고 가정합니다.

• P (User-Factor Matrix): 사용자를 나타내는 행렬 (크기 N x K). 각 행은 특정 사용자를 나타내는 잠재 요인 벡터 (User Latent Factor Vector) 입니다. 이 벡터는 사용자의 숨겨진(Latent) 취향이나 특성을 나타냅니다. (예: 특정 장르 선호도, 가격 민감도 등 - 명시적이진 않음)
• Q (Item-Factor Matrix): 아이템을 나타내는 행렬 (크기 M x K). 각 행은 특정 아이템을 나타내는 잠재 요인 벡터 (Item Latent Factor Vector) 입니다. 이 벡터는 아이템의 숨겨진 특성이나 속성을 나타냅니다. (예: 특정 장르의 포함 정도, 배우/감독의 특성 등 - 명시적이진 않음)
• K: 잠재 요인의 차원 수 (하이퍼파라미터). 보통 원래 행렬의 차원 N, M보다 훨씬 작습니다 (K << N, K << M). 이 K가 작기 때문에 '저차원'이라고 부릅니다.

수식으로 표현하면:

R ≈ P × Qᵀ

특정 사용자 u가 특정 아이템 i에 대해 예측하는 평점(r̂_ui)은 어떻게 계산될까요?

r̂ui = p_u ⋅ q_i = Σ{k=1}^{K} (p_uk * q_ik)

직관적인 의미: 사용자의 잠재 요인 벡터와 아이템의 잠재 요인 벡터를 내적한다는 것은, "사용자의 취향(p_u)과 아이템의 특성(q_i)이 얼마나 잘 맞는지를 계산"하는 것과 같습니다. 두 벡터가 비슷한 방향을 가리키고 값이 클수록 내적 값이 커지고, 이는 높은 예측 평점으로 이어집니다.

3. 어떻게 P와 Q를 찾을까? - 학습 과정

이제 가장 중요한 질문은 "어떻게 최적의 P와 Q 행렬을 찾을 것인가?" 입니다. 즉, 원래 행렬 R의 알려진 값들을 가장 잘 설명하는 P와 Q를 찾아야 합니다.

• 목표 함수 (Objective Function) 정의: 예측값(p_u ⋅ q_i)과 실제값(r_ui)의 차이(오차)를 최소화하는 P와 Q를 찾습니다. 가장 일반적인 손실 함수(Loss Function)는 제곱 오차합(Sum of Squared Errors) 입니다.
• 과적합 방지 (Regularization): 위 손실 함수만 사용하면 모델이 학습 데이터에만 너무 최적화되어 새로운 데이터에 대한 예측 성능이 떨어지는 과적합(Overfitting)이 발생할 수 있습니다. 이를 방지하기 위해 정규화 항을 추가합니다. 가장 많이 사용하는 것은 L2 정규화입니다.
• 최적화 알고리즘: 이 Regularized Loss를 최소화하는 P와 Q를 찾기 위해 주로 다음 두 가지 알고리즘을 사용합니다.
  • 확률적 경사 하강법 (Stochastic Gradient Descent, SGD): 알려진 평점 데이터 (u, i, r_ui) 하나를 무작위로 선택합니다. 해당 데이터에 대한 예측 오차 (r_ui - p_u ⋅ q_i)를 계산합니다. 오차를 줄이는 방향으로 p_u 와 q_i 벡터를 조금씩 업데이트합니다. (정규화 항도 고려) 모든 알려진 평점 데이터에 대해 이 과정을 여러 번 반복합니다(Epochs). 구현이 비교적 간단하고 대규모 데이터에도 잘 작동합니다.
  • 교대 최소 제곱법 (Alternating Least Squares, ALS): 아이템 잠재 요인 행렬 Q를 고정시킨 상태에서, 손실 함수를 최소화하는 사용자 잠재 요인 행렬 P를 계산합니다. (이는 수학적으로 한 번에 풀 수 있는 형태가 됩니다) 사용자 잠재 요인 행렬 P를 고정시킨 상태에서, 손실 함수를 최소화하는 아이템 잠재 요인 행렬 Q를 계산합니다. P와 Q가 수렴할 때까지 1, 2 단계를 번갈아(Alternating) 반복합니다. 병렬 처리에 용이하고, 암시적 피드백(Implicit Feedback) 데이터에 효과적이라고 알려져 있습니다. (Spark MLlib 등에 구현되어 있음)

4. 추천 생성

학습이 완료되어 최적의 P와 Q 행렬을 얻었다면, 사용자 u에게 아이템을 추천하는 방법은 간단합니다.

1. 사용자 u가 아직 상호작용하지 않은 모든 아이템 i에 대해 예측 평점 r̂_ui = p_u ⋅ q_i 를 계산합니다.
2. 계산된 예측 평점들을 내림차순으로 정렬합니다.
3. 상위 N개의 아이템을 사용자 u에게 추천합니다.

5. 장점

• 희소성 문제 해결: 알려지지 않은 평점을 예측하여 희소한 데이터를 효과적으로 다룹니다.
• 확장성: 이웃 기반 모델보다 일반적으로 더 적은 메모리를 사용하고 예측 속도가 빠릅니다 (사용자/아이템 벡터만 저장).
• 잠재 패턴 발견: 데이터에 숨겨진 사용자 취향과 아이템 특성을 발견하여 예측 정확도를 높일 수 있습니다.

6. 단점

• 콜드 스타트 문제: 새로운 사용자나 아이템에 대해서는 잠재 요인 벡터를 학습할 데이터가 없으므로 추천이 어렵습니다. (다른 기법과 혼합 필요)
• 해석의 어려움: 학습된 잠재 요인이 정확히 무엇을 의미하는지 직관적으로 해석하기 어려울 수 있습니다.
• 상호작용 데이터 중심: 주로 사용자-아이템 상호작용 데이터에 의존하며, 사용자/아이템의 부가적인 정보(메타데이터)를 직접적으로 활용하기는 상대적으로 어렵습니다 (확장된 모델에서는 가능).

정리
P와 Q의 컬럼은 DB 컬럼이 아니라, 모델이 학습을 통해 발견하는 '잠재 요인(Latent Factor)'입니다. 각 컬럼의 의미는 미리 정하는 것이 아니라, 학습 과정에서 형성됩니다. (그래서 해석하기 어려울 수도 있습니다.) 개발자는 잠재 요인의 개수(K)를 정하고, 모델은 랜덤 초기값에서 시작하여 최적의 잠재 요인 값을 찾아갑니다.

현업에서 많이 사용되는 Matrix Factorization 라이브러리:

• Apache Spark MLlib (ALS): 대규모 데이터 + 분산 처리 필수
• Surprise: 빠른 프로토타이핑, 연구, 중소규모
• Implicit: 암시적 피드백 데이터 중심
• LightFM: 사용자/아이템 정보 함께 활용 (하이브리드)
• TensorFlow / PyTorch / Keras (직접 구현): 최고의 유연성, 최신 기술, 딥러닝 확장

결론:

Matrix Factorization은 사용자-아이템 상호작용 데이터의 희소성을 극복하고 숨겨진 패턴을 찾아 추천 정확도를 높이는 강력한 협업 필터링 기법입니다. 비록 최신 딥러닝 모델들이 등장했지만, MF의 핵심 아이디어는 여전히 유효하며 많은 추천 시스템의 기반이 되고 있습니다. MF를 이해하는 것은 추천 시스템 개발자에게 매우 중요한 기본 소양이라고 할 수 있습니다!

II. 콘텐츠 기반 필터링 (Content-based Filtering, CBF) - "네가 전에 좋아했던 거랑 비슷한 거네!" 😎

A. 핵심 아이디어:

내가 과거에 좋아했던 아이템의 내용(Content) 또는 특징(Feature)을 분석해서, 그것과 비슷한 내용/특징을 가진 다른 아이템을 추천하는 방식이에요. 아이템 자체의 '정보'를 활용하는 거죠.

쉽게 말하면:

• "네가 '아이언맨'(SF 액션 히어로물) 재밌게 봤으니까, 비슷한 장르랑 특징을 가진 '캡틴 아메리카'(SF 액션 히어로물)도 좋아할 것 같아!"
• "네가 '머신러닝' 관련 기사를 자주 읽으니까, '딥러닝' 관련 새 기사도 관심 있을 거야!"

B. 동작 방식 (간단 버전):

1. 아이템 특징 분석 (Item Profiling): 각 아이템의 특징(콘텐츠)을 분석해서 벡터(숫자 리스트) 등으로 표현해요. (예: 영화 - 장르, 감독, 배우, 키워드 / 뉴스 기사 - 카테고리, 키워드 추출(TF-IDF 등))
2. 유저 프로필 생성 (User Profiling): 유저가 과거에 좋아했던(긍정적으로 평가/소비한) 아이템들의 특징을 종합해서, 유저의 선호도를 나타내는 프로필을 만들어요. (예: 이 유저는 SF(0.8), 액션(0.7), 로맨스(0.1) 장르를 선호하는군!)
3. 유사도 계산 및 추천: 유저 프로필과 아이템 프로필 간의 유사도를 계산해서, 가장 유사도가 높은 아이템들을 추천해요. (내 프로필과 '캡틴 아메리카' 아이템 프로필이 얼마나 비슷한지 계산)

C. 장점:

• 콜드 스타트 문제 완화 (New Item): 새로운 아이템이라도 내용/특징 정보만 있으면, 그 특징을 좋아하는 유저에게 바로 추천해줄 수 있어요. 🎉
• 다른 유저 데이터 불필요: 내 활동 기록과 아이템 정보만 있으면 추천이 가능해요.
• 추천 이유 설명 용이: "네가 OOO 장르를 좋아해서 추천했어"라고 설명하기 쉬워요.
• 틈새 아이템 추천: 비인기 아이템이라도 내 취향과 맞으면 추천될 수 있어요.

D. 단점:

• 특징 추출의 어려움 (Feature Engineering): 아이템의 특징을 잘 뽑아내는 것이 중요하고, 때로는 어려울 수 있어요. (예: 음악의 분위기, 그림의 스타일을 어떻게 벡터로 표현할까?)
• 제한된 추천 (Limited Serendipity / Over-specialization): 내가 과거에 좋아했던 것과 '비슷한' 것만 계속 추천하게 될 수 있어요. 새로운 분야의 아이템을 발견하기 어려울 수 있어요. (SF 영화만 봤으면 계속 SF만 추천...)
• 콜드 스타트 문제 (New User): 새로 가입한 유저는 어떤 특징을 좋아하는지 알 수 없어서 추천이 어려워요. (CF와 동일)

E. 언제 사용하면 좋을까?

• 아이템의 내용이나 특징을 명확하게 분석하고 추출할 수 있을 때
• 유저 수가 적거나, 유저 상호작용 데이터가 부족할 때 (초기 서비스)
• 추천의 이유를 설명하는 것이 중요할 때
• 예: 뉴스 추천, 영화/음악 정보 기반 추천, 블로그 글 추천 등

III. 간단 비교

구분	협업 필터링 (CF)	콘텐츠 기반 필터링 (CBF)
핵심 원리	유저 행동 패턴 (다른 사람과의 유사성)	아이템 내용/특징 (내가 좋아한 것과의 유사성)
필요 데이터	유저-아이템 상호작용 데이터 (평점, 클릭 등)	아이템 특징 데이터 (장르, 키워드 등)
장점	새로운 발견 가능 (Serendipity)	새로운 아이템 추천 가능, 설명 용이
단점	콜드 스타트 (New User/Item), 데이터 부족	특징 추출 어려움, 제한된 추천 (Overspecialization)
콜드 스타트 (New User)	어려움	어려움
콜드 스타트 (New Item)	어려움	가능 (특징 정보 있다면)

IV. 결론 & 현업에서는?

실제 현업 서비스에서는 CF와 CBF 중 하나만 사용하는 경우는 드물어요. 대부분 하이브리드(Hybrid) 방식을 사용합니다. 즉, CF와 CBF의 장점을 결합하고 단점을 보완하는 방식으로 추천 시스템을 만들죠.

예를 들어, 처음에는 CBF로 추천을 시작하고, 유저 데이터가 쌓이면 CF를 더 많이 활용하는 식이에요. 또는 두 방식의 점수를 합치거나, 머신러닝 모델의 피처로 사용하는 등 다양한 방법으로 결합합니다.