[CVPR 22'] Dressing in the Wild by Watching Dance Video - 1

https://arxiv.org/abs/2203.15320

Dressing in the Wild by Watching Dance Videos

Dressing in the Wild by Watching Dance Video는 틱톡을 서비스하고 있는 ByteDance, 중국의 중산 대학교에서 공동 연구한 논문이다.

이 논문은 source image I의 shirts, pants, formal dresses, skirts, down jackets과 같은 의류를 영상의 특정 pose에 synthesize하는 garment transfer 연구이다.

 

기존 garment transfer 연구에서 부족했던 점은

1. in-the-wild imagery에 적용할 시, 문제가 발생한다는 것이다.

예를 들어, 1) garment-person mis-alignment 또는 2) noticable degradation in fine texture details와 같은 문제들이다.

 

이 논문이 해결하고자 하는 in-the-wild imagery의 예시는 다음과 같다.

1. loose garment: 스커트, 드레스와 같이 몸과 떨어진 옷의 종류

2. challenging poses: 팔짱을 끼거나, 무릎을 구부리는 등 옷의 형태에 많은 영향을 주는 포즈들

3. cluttered backgrounds: 어수선한 배경

 

저자들은 특이한 현상들을 발견했다. loose garments에서는 pixel flow가, hard poses에는 vertex flow가 더 탁월한 성능을 보여주었던 것이다.

여기서 pixel flow는 RGB 값을 가진 점들의 산란을 통해, vertex flow는 정점들의 연결을 통해 물체를 시각화하는 방법이다. → 부정확한 정보일 수 있다.

pixel flow와 vertex flow의 장점을 합쳐 wFlow라고 하는 garments를 in-the-wild context로 변환하는 generative network를 만들어내었다.

 

이 논문의 또 다른 Aha moment는 일반적으로 모델의 training을 위해 paried images를 사용해야하지만, 데이터셋을 만들기 위한 laboriousness를 줄이는 방법으로, large-scale video dataset (Dance50k)를 활용하였다. Dance50k의 대규모 데이터셋을 1) self-supervised cross-frame training 와 2) online cycle optimizaion 로 학습 데이터셋으로 재가공하였으며, 다음의 두 가지 방법은 뒤에서 더 다루도록 하겠다.

위의 두 가지 핵심 방법론을 통해 in-the-wild images를 비싼 paired datasets 없이 존재하는 large scale 데이터로 학습이 가능하다는 점이 논문의 중요한 성과이다.

 

기존 garment transfer 사례 분석

기존의 연구들은 in-shop garment를 target person에 대해 1) pixel flow 또는 2) TPS transformation 방식으로 fitting 시켰다.

또한 주로, paired dataset을 학습 데이터로 사용하였는데, 학습 데이터로 가공하기 위해 많은 노동이 필요하고, 따라서 scalable하지 못했다. (paired dataset 예시: 옷을 입은 사람과, 해당 옷의 이미지들)

transformation: Linear transformation이 선형 변환이듯, 특정한 경향으로 수식적 관계성을 가지고 변형되는 것이다. 경향성이 있다기보다 일그러지는 것은 deformation이라고 칭한다. 

 

독특한 approach를 수행한 연구 중 하나는 2D pixel flow를 3D SMPL의 vertex flow로 전환하였다. 이는 person-to-person garment에서 복잡한 포즈를 가지거나 self-occlusion (객체가 자신의 일부분을 가린 상태)에서도 좋은 성능을 낸다.

하지만, loose garment와 같이 3D SMPL의 일부로 모델링될 수 없는 옷들에 취약한 경향이 있었다.

 

1. VITON, CP-VTON: 두 논문 모두, TPS-based deformation module을 사용하여 이미지를 변형한 후, texture fusion module를 사용한다. TPS란 Thin Plate Spline으로, 여기서 Spline은 작은 곡선을 연결한 형태의 곡선으로, OCR에서 곡선으로 적혀있는 글씨의 인식을 가능하게 하기 위해 직선으로 변환하는 것처럼 2D 이미지의 형태 변화에 사용된다.

2. VTNFP, ACGPN: 위의 방법론처럼 warping, source를 뒤트는 방법을 사용하지만, 거기에 나아가 옷 + 사람 합성의 가이드로써 human parsing을 수행한다. 이를 통해 옷-피부 범위에서 더 정밀한 묘사가 가능하였다.

3. PF-AFN: 사람의 parsing 작업 없이 student model 방식으로 appearance flow를 분리한다.

student model: 크기가 크고 성능이 좋은 모델을 teacher model라고 한다면, GAN과 같이 teacher model이 새로운 모델에 학습시키고 검증하여 자신의 지식을 학습시키고, 이를 통해 상대적으로 경량화된 student model을 만드는 방법이다.

 

논문의 핵심 아이디어

논문은 flow-based model이 같은 사람의 multi-pose images 학습한다면, 이를 다른 사람 간의 garment transfer 시에 protected body parts region의 network를 적용할 수 있어 효과적일 것이라는 것이다.

 

여기서 flow란 Flow based Generative Models에서 나온 말로, 생성 GAN, VAE와 같은 gernerative AI의 한 종류이다.

GAN: 가짜 데이터를 생성하는 생성자와, 진짜와 가짜를 구분하는 구분자를 경쟁해 학습시켜 더 사실적인 데이터를 만드는 generative AI 제작 방법

VAE: AE는 고차원 데이터를 저차원으로 압축하고(Encoder) 이를 다시 고차원으로 복원하는(Decoder) 모델이다. VAE는 압축된 벡터 z를 Gaussian Distribution과 같은 확률 분포에 근사시킨 다음, 이를 Decoder로 새로운 데이터를 만들고자 한다. 이러한 방식으로 해당 확률 분포를 기준으로 평균과 표준편차가 잘 제어된 파라미터를 입력하면 그럴듯한 데이터가 생성된다. 

 

 

Model Pipeline

1. source를 person segmentation network에 query를 보내 segmented data를 얻는다. 이 data에는 source의 garment 부분과 pose가 담겨있다.

2. pixel-wise, 각 pixel 별로 source image와 query images를 대응한다.

3. 3D SMPL vertex에 pixel flow를 계산하여 image plane에 주입하고, 제안하였던 wFlow를 만든다. 이를 통해 뒤틀린 옷이 source 옷으로부터 얻을 수 있다.

4. skip-conneted 가 일부 소실된 이미지를 복원하여 protected person regions에 leverage한다. 사람 부분의 garment systhesis가 완성되었다.

5. 마지막으로 background image와 fuse, 융화한다.

6. 추가적으로 training data에 옷이 일부만 보이거나, 잘 보이지 않았을 때 이를 cylcic online optimization을 실시하여 결과물의 품질을 향상시켰다.

 

→ Procedure of Model Implementation: 모델의 자세한 구현 과정은 다음 포스팅에서... 🤔