GHOST 2.0: generative high-fidelity one shot transfer of heads

GHOST 2.0: 한 번의 시도로 정밀한 머리 교체 (Generative High-fidelity One Shot Transfer of Heads)

 

 

개요

최근 얼굴 교체(face swap)에 대한 연구가 활발하게 진행되고 있지만, 머리 전체를 교체하는(head swap) 연구는 아직 미흡합니다. 얼굴 교체는 피부색 변환만 필요하지만, 머리 교체는 머리 전체의 형태를 유지하고 배경과 자연스럽게 합성하는 것이 중요합니다.

GHOST 2.0은 이러한 문제를 해결하기 위해 개발된 모델로, 두 가지 핵심 모듈을 포함합니다:

1. Aligner: 원본(head source)의 머리를 목표(target)의 움직임에 맞춰 재현
2. Blender: 생성된 머리를 대상 이미지와 자연스럽게 합성하여 피부색을 맞추고 불일치 영역을 채움

연구 배경

머리 교체 기술은 영화, 광고, 가상 인물 제작, 딥페이크 탐지, 인물 편집 등에 활용될 수 있습니다. 하지만 기존의 얼굴 교체(face swap)와 비교하여 머리 교체는 몇 가지 추가적인 도전 과제를 가지고 있습니다:

• 머리 전체의 구조를 유지하면서 자연스러운 표현 생성
• 피부색 및 머리카락 질감을 자연스럽게 변환
• 머리와 배경을 이질감 없이 결합

기존 연구에서는 주로 얼굴 부위만을 대상으로 하여 이러한 문제를 해결하는 데 한계가 있었습니다.

 

 

GHOST 2.0의 구성

GHOST 2.0은 두 가지 주요 모듈로 구성됩니다.

1. Aligner (헤드 재현 모듈)

Aligner는 원본(head source)과 대상(target)의 정보를 분석하여 머리를 자연스럽게 정렬합니다.

• 다중 스케일에서 원본(head source)의 특징을 추출하여 신원 유지
• 다양한 자세 변화에도 강한 재현 능력을 가짐
• StyleGAN 기반 생성기를 활용하여 최적의 머리 형태 생성

2. Blender (자연스러운 합성 모듈)

Blender는 생성된 머리를 대상 이미지와 자연스럽게 결합하는 역할을 합니다.

• 피부색 및 머리 색상 전환을 위한 색상 참조(reference) 생성
• 불일치 영역을 자연스럽게 보정하기 위한 배경 복원 기법 사용
• UNet 네트워크를 이용한 정밀한 합성 수행

 

 

주요 성과

GHOST 2.0은 기존의 방법보다 뛰어난 성능을 보이며, 특히 아래와 같은 강점을 가집니다:

• 기존 얼굴 교체(face swap) 모델보다 신원(identity) 보존력이 뛰어남
• 머리카락 스타일 차이가 큰 경우에도 자연스러운 변환 가능
• 배경과의 이질감 없이 매끄러운 합성 결과 제공
• 다양한 표정과 자세 변화에도 높은 품질 유지

실험 결과

GHOST 2.0은 다양한 벤치마크 실험에서 기존 모델보다 우수한 성능을 기록했습니다.

• 얼굴 인식 정확도 (CSIM): GHOST 2.0이 가장 높은 점수 기록
• 구조적 유사도(SSIM) 및 PSNR 평가에서 기존 모델보다 향상된 품질 확인
• 사용자가 평가한 신원 보존(Identity Preservation) 및 표현 전달(Motion Transfer) 항목에서 가장 높은 만족도 기록

향후 연구에서는 보다 정교한 머리카락 및 피부 질감 표현, 추가적인 색상 조정 기법, 그리고 더욱 빠르고 효율적인 모델 개선이 이루어질 것으로 기대됩니다.