deep face fake vfx에 대한 주의사항

deep face fake vfx에 대한 주의사항

 

 

 

 

<다큐멘터리 최초로 오스카 vfx 후보에 올랐던 작품>

영화 역사상 oscar에서 vfx 부문에 후보에 오른 최초의 다큐멘터리 영화 (Welcome to Chechnya) 2012년 오스카상 후보에 올랐고, 감독은 러시아 체첸 공화국의 인구에 대한 폭력을 연대순으로 기록한 다큐영화였다.

동성애자로 노출되면 처벌받기 때문에 영화에 등장한 23명의 개인 또는 목격자들을 VFX 작업을 통해 다른 얼굴로 바꿔야 했다.  총 480컷 정도가 되며, 영화 곳곳에 얼굴 교체 vfx 작업을 진행 했다.

 

딥 페이크 기술은 (다른 인물 교체 , 인물 나이 변경 ) 뿐만 아니라, 이런 도덕적 다양하고 복잡한 문제를 해결하는 하나의 솔루션이 되기도 한다.

배우들의 신변을 보호하기 위해 다큐에서 deep fake를 활용했다는 점은 매우 흥미롭다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

<얼굴 교체의 핵심 공정>

얼굴을 다른 사람의 얼굴로 교체하는 방법은 크게 2가지 핵심 기술이 필요하다.

별도의 이미지로 각각 분리 하는것

정확한 영역만 추출하는 roto 스코핑

 

이미지 교체의 가장 첫 단계는 새로운 얼굴로 랜더링 하는 게 아니다.

이미지의 특징을 분석해 약간씩 변형시키는 작업이다.

하지만, 그것으로 원하는 더 높은 수준의 작업이 될 순 없다.

 

 

만약 두 사람의 인물을 교체하려면 상관관계를 이해시키는 작업이 필요하다.

일단, 두 얼굴의 데이터 세트가 필요하다.

많은 초기의 딥 페이크 프로젝트는 온전하지 못하다.

그들 기술의 한계는 얼굴의 통제 조건이 까다롭다는 것이다.

얼굴의 형태는 많이 바뀌지 않아야 하며, 블러도 심하게 들어가지 않아야 한다.

이것은 온전한 vfx 기술에 사용하기 힘들다.

 

영화 Welcome to Chechnya는 기본적으로 특수한 조명으로 제약된 환경에서 찍지 않았다.

다큐멘터리 스타일이고, 온전한 샘플링 이미지를 구하기 힘들었다.

이런 환경에서도 제대로 딥페이크 기술이 실행되어야 했다.

 

일반적인 AI & 신경 렌더링 딥페이크 기술은 3가지 프로세서를 갖는다.

데이터 준비 및 정리

모델 평가와 조정 기능

모델을 생산에 투입

 

 

올바른 결과를 만들기 위해서 올바른 데이터가 있어야 한다.

사전에 통제된 여러 조건에서 촬영을 해보고, 프로그램에 돌려 봄으로 어느 게 더 올바르고 좋은 결과나 나오는지 알아내는 과정은 매우 중요하다.

 

 

많은 사람들은 카메라에 정면에 똑바로 쳐다보지 않는다.

그리고, (속 눈썹 / 머리카락) 같은 부분을 에러로 보고. 컴퓨터가 제대로 분석하지 못할 때가 있다. 또한 여러 각도로 촬영할 때 이미지들의 밝기 차이가 극심하다면, 얼굴의 그러데이션이 뒤바뀌어 이미지를 거꾸로 인식할 수 있다.

 

정확한 인물 소스를 찍기 위해 평균적인 조명을 고민해야 한다.

자주 테스트하여 올바른 영상들을 찍도록 공부해야 한다.

 

 

 

 

 

 

 

 

 

 

 

 

 

 

<많은 소스보다 정확한 소스가 더 중요>

신경망을 이용한 vfx 작업에서 중요한 점은 여러 이미지 소스를 제공하는 게 아니다.

정확한 이미지만 제한적으로 제공해야 컴퓨터의 에러가 적어진다.

 

무조건 많다고 좋은 게 아니다. 적절한 소스를 제공하는 것이 중요하다.

 

 

인물의 얼굴 소스를 촬영할 때 가만히 고정되어 있으면 좋을 것이라 생각하지만, 오히려 인물이 조금씩 움직이는 게 더 좋다. 너무 빨리 움직여 모션 블러가 생기면 에러로 볼 것이지만, 적당한 움직임은 다양한 조명의 미세한 변화를 가져와 컴퓨터가 더 풍부한 데이터를 수집하게 만든다.

 

인공지능을 이용한 이미지 소스는 배우의 연기가 중요하지 않다.

소스 데이터는 연기보단 다양한 동작이 더 중요하다.

다양한 동작을 통해 여러 각도의 조명 상태를 레퍼런스로 제공해야 좋다.

 

이미지의 색온도가 일치할 때 프로세서가 가장 잘 작동한다.

인물의 피부톤을 최대함 매칭 시키는 것이 ’ 딥 페이크‘에 유리하다.

 

 

 

 

 

 

 

 

 

 

 

<턱보단 볼살이 더 중요>

턱보단 볼살이 더욱 중요하다.

턱은 앵글에 따라 변형되기 쉽기 때문에 턱선보단 뺨 위주로 매칭 하는 것이 중요하다.

배우들의 관자놀이와 볼이 비슷할수록 더 자연스럽게 합성이 된다.

 

얼굴을 촬영할 때 렌즈는 얼굴의 상대적 비율에 대해 영향을 미친다.

예를 들어 광각 렌즈는 다른 렌즈보다 코가 훨씬 커 보이게 촬영한다.

 

주요 섞이는 부분은 헤어라인과 관자놀이이다.

사람들은 매우 다른 헤어를 가지고 있습니다.

특히 단발처럼 짧은 머리의 경우 얼굴 합성에 유의해야 합니다.

 

 

 

 

 

 

 

 

 

 

 

== 대표적인 딥 페이크 에러 문제==

 

- 콘트라스트가 너무 달라, 인물의 형체를 알 수 없거나 특정 부분이 뭉개져 있는 경우.

- 한 장면에 여러 인물을 바꿔야 하는 경우 작업 공정이 매우 복잡한 경우.

- 더 높은 해상도의 결과를 원하는 경우.

- 연기나 스모크 같은 다양한 환경 요소가 겹치는 경우.

- 다양한 그레인과 노이즈가 끼는 경우.

- 윤리적 또는 도덕적 문제.

 

 

 

**

딥페이크를 이용해, 다큐멘터리를 만들었다는 작품이 있어 신기해서 찾아보고 정리한다.

딥페이크는 세계 유명의 VFX 스튜디오에서 많이 쓰고 있는 기술이라고 생각한다.

원리와 주의사항, 다양한 관점을 알아가는 것도 좋은 공부가 아닌가 싶다.

내 마음대로 정리를 해서, 정보의 오류가 많음을 공지한다.