LED와 UE를 활용한 뮤직비디오 [ Vaundy ]

 

LED와 UE를 활용한 뮤직비디오 [ Vaundy ]

내용 참조 : https://cgworld.jp/regular/202112-vfxanatomy-cgw280.html

 

 

 

 

 

 

===

＜0＞"미술"로서의 CG·VFX 워크를 실천

 

Vaundy의 신곡 '울음 지장' MV에는 고화질 LED 벽을 이용한 인 카메라 VFX의 가상 프로덕션(이하 VP)이 사용되고 있다. 인카메라 VFX의 VP는 LED 벽에 포토 리얼한 CG 배경을 투영하여 촬영하는 방법이며 '현실 카메라로 촬영한 것만으로 합성이 끝난 완전한 컷을 얻을 수 있다'는 것을 목표로 한 촬영 기법이다 .

 

크로마 촬영과는 달리 CG 배경이 투영되기 때문에 연기도 촬영 스태프도 최종적인 이미지를 공유하면서 촬영할 수 있다. 현실 카메라와 CG 카메라, 그리고 조명이 실시간으로 동기화함으로써 고품질의 합성 결과를 얻을 수 있는 것이 큰 강점이다. 계절이나 시간대와 같은 제약을 넘은 촬영이 가능하며, 로케이션 이동도 불필요하기 때문에 새로운 솔루션으로 큰 기대가 전해지고 있다.

 

 

 

2021년 4월에 기획이 스타트한 후, Hibino VFX Studio에서 3번의 테스트 촬영과 검증을 실시하는 등, 인카메라 VFX의 특성을 이해한 뒤 촬영을 진행하는 것이 목표였다.

 

 

LUDENS와 REALIZE도 기획 단계부터 참가해 감독을 맡은 MIZUNO CABBAGE씨와 촬영부, 조명부, 미술부 등 각부와 밀접한 커뮤니케이션을 유의했다고 한다. "인카메라 VFX라고 하는, 새로운 영상 제작 기법을 도입하는 것으로"CG가 미술을 만드는"곳에서 넣은 것이 신선했습니다.

 

우리 제작측 뿐만이 아니라 클라이언트의 분들에게도 큰 메리트가 있는 기법이라고 생각하기 때문에, 앞으로도 도전해 나가고 싶습니다」라고 CG 프로듀서의 이시가야 기쇼씨(REALIZE)는 말했다.

 

 

 

 

 

 

 

 

 

 

 

 

＜1＞인카메라 VFX에 의한 가상 프로덕션

최근 들어 카메라 VFX에 의한 VFX 도입 사례가 나온 여명기라고 할 수 있다. 그 때문에, 기획의 진행방식을 잘못하면 인카메라 VFX라고 하는 기법에 휘둘릴 리스크가 있다. 실제로 본 프로젝트에서도 처음에는 인카메라 VFX 아키텍처의 비주얼안(미술에서는 제작이 곤란, 현실에서는 불가능한 카메라 워크 등)도 올랐다고 한다.

 

 

VP를 이용해 본작의 독창적인 비주얼이 탄생. 실제로 완성된 MV를 보면, 사전 정보가 없으면 인카메라 VFX의 VP가 이용되고 있는 것을 눈치채는 사람은 한정되는 것은 아닐까 생각한다.

 

 

VP는 통상의 VFX와는 워크 플로우가 크게 달라, 3DCG에 대해서는 프로덕션 촬영까지 최종 이미지에 가능한 한 가까이 두는 것이 요구된다. 올해 4월에 프로젝트가 시작되면 3번에 걸쳐 Hibino VFX Studio에서 테스트 촬영을 실시해 촬영, 조명, 미술, CG 등 주요 컷들을 계속 테스트 해야 했다.

 

 

충분한 검증을 거듭해, 본작의 만들기에 적합한 워크 플로우를 확립한 것으로, 올해 7월 초순에 행해진 프로덕션 촬영에서는 170컷 이상(※중 VP 사용 컷은 약 70%)이라고 하는 MV로서 는 컷수가 많은 촬영을 불과 2일간에 찍어 끝낼 수 있었다고 한다.

 

초반에 시간을 굉장히 많이 두고, 여러 테스트를 한 뒤, 짧은 시간에 바로 촬영을 맞췄다는 이야기 같다. 문제는, 영화같이 긴 호흡으로 진행되거나, 연출 때문에 나중에 편집이 바뀐다면 앞뒤 연결성 문제가 발생하고, 결국 재촬영하거나, 촬영된 영상을 억지로 지우고 써야 하지 않을까 생각이 든다.

 

 

 

촬영 현장에 있어서의 인카메라 VFX의 제어에는, 라이브 이벤트 등 스테이지용의 미디어 서버를 제어하는 하는 disguise가 이용되었다(VP 시스템의 오퍼레이션은 히비노가 담당). CG 배경은 언리얼 엔진 4 (이하 UE4)로 만들었습니다.

 

장면을 만들 때는 NVIDIA GeForce RTX 2080을 사용하여 기본적으로 60fps를 유지하고 무거운 장면에서도 30fps를 밑돌지 않도록 조정했습니다. 프로덕션 촬영 시에는 히비노 씨가 준비해준 Quadro RTX 6000 탑재 머신으로 제어하고 있었습니다.

 

 

 

가상 프로덕션 기본 세팅 모습

▲ LED의 출력 테스트를 하고, (좌,우,상단)에 LED를 설치했다.

 

 

▲ 촬영 현장에서 UE4 장면의 룩이나 오브젝트의 위치를 ​​조정한다.

▲ 화면의 구상 아이콘은 장면에 배치된 게임 오브젝트를 표시한 것. 이번에 전철 안에 그려진 그래피티는 데칼로 배치하고 있어 움직일 수 있게 되어 있기 때문에 대량의 아이콘이 배치되어 있는 것처럼 보인다. 마찬가지로 그래피티 소재도, 앵글에 의해 위치 조정이 요구되는 것을 상정해, 그림과 같은 배치가 되어 있다.

 

복잡해 보이는 요소들은 그라비티 요소들이다.

언제든지 조절과 변형이 가능하다.

 

 

 

 

 

 

 

 

 

트래커 및 조명 장비

 

＜2＞회전 특수 효과와의 제휴~지하철역 장면~

LED 벽의 구성은, 우선 메인의 배경 촬영용으로서 정면에 고화질의 LED가 1장. 조명용 LED 벽이 메인 측면에 2장, 천장에도 조명용이 1장이다. 조명용 LED 벽은 해상도보다 고휘도임을 중시한 것을 선정, 또한 측면의 2장은 어느 정도의 각도 변경에도 대응할 수 있는 가동 사양이 사용되었다.

*LED는 모두 같은 사양이 아닌거 같다. 메인 조명으로 쓰는 천장 녀석들은 고밝기로 세팅되고, 좌우 측면은 기동성이 좋은 녀석들로 세팅 한거 같다.

 

 

조명은 길쭉한 형상으로 조립할 수 있는 LED를 채용. 천장에는 링 모양으로 짜진 조명이 매달려 있었다. 게다가 인카메라 VFX에 표시된 CG 배경의 밝기나 키 칼라에 맞추어 동적으로 변화시킬 수 있기 때문에, 빠른 PAN 등 CG 배경의 룩이 크게 변화하는 카메라 워크에도 제대로 대응할 수 있었다고 한다 .

 

 

CG 배경의 색감은 당초 중립적인 색으로 해 두고 인물과 함께 촬영한 후 포스프로의 컬러 그레이딩으로 조정할 계획이었다. 그러나 사전 검증 결과, 라이팅으로 색감을 연출한다면 촬영시의 라이팅도 대응할 수 있음을 알 수 있었기 때문에 촬영 한방으로 모든 것을 끝내려 한다.

 

그러기 위해서는 감독이 요구한 CG 배경을 완벽하게 준비해야 했다.

촬영전에 최종 이미지를 공유하면서 촬영할 수 있었기 때문에 효율적으로 제작을 진행할 수 있었다고 한다.

 

 

인카메라 VFX의 우위성을 살린 컷으로서는,

크로마 촬영에서는 키잉이 어려운 철망의 미술을 이용한 컷이나, LED 월에 비추는 CG 씬의 전환을 굳이 원컷으로 파악한 것을 들 수 있다.

CG배경이 급박하고, 극적으로 바뀜으로 트랜지션이 더욱 흥미롭고 재미있게 표현이 가능했다.

 

VP에 있어서의 포스프로 작업은, 기본적으로 세트 확장만으로, 촬영과 동시에 작업 완성에 가까운 상태가 된다. 통상의 VFX에서는, 실사 플레이트에 CG를 합성해 합성으로 사실을 높여 가지만, VP의 경우는, 기본적으로 프로덕션 촬영전까지 CG를 완성시켜 둘 필요가 있다.

 

“그 때문에 통상의 제작과는 셋업도 바뀌기 때문에 당황도 있었습니다.그런 의미에서도, 사전 검증이 많아야 한다. 또, 사전에 사무실이나 화장실의 CG 배경도 작성했지만 사무실은 취소되고, 화장실은 미술로 제작하게 되었다. 실제로 미술세팅을 사용하지 않았지만, 건설적인 작업을 수행할수 있었음으로 결코 낭비는 아니였다.

 

화장실은 카메라의 움직임에 따라, 어색함이 생겨 버렸다. 결국 CG배경만으로 촬영했다.

 

 

 

 

 

 

지하철 구내의 UE4 모델의 변천

 

 

 

▲벤치는 미술 세트의 실물과 치수를 맞추어 모델링

▲ 그래피티는 조정하기 쉽도록 UE의 Decal 기능을 사용했다

 

 

 

 

 

 

 

 

역 내부 모델

▲역 구내 모델은 라이트나 소품 등을 포함해 Actor Blueprint로 모듈화했다

 

 

 

 

 

 

 

<3> 바이플레이어에 철저히 ~ 전철 내 장면 ~

초기 단계부터 참여해야만 실패하지 않는다.

 

지하철 차내 장면에 이용된 전철의 모델은 MIZUNO 감독이 제공한 프리렌더용 모델을 실시간 CG용으로 최적화하여 사용했다. 「프리렌더로 작성된 모델 데이터의 외형의 퀄리티를 유지하면서, 가능한 한 경량화해 갔습니다.

 

질감에 대해서는, UE4의 Material Instance를 활용했습니다」

전철 안의 장면에서 눈길을 끄는 것이, 손잡이가 자연스럽게 흔들리고 있는 점이다. 미술로 차내 세트를 만들었다고 해도, 이러한 자연스러운 움직임을 만들려면, 정교한 세팅이 요구될 것이다. 그런 자연스러운 매달려 손잡이의 흔들림은 Sin 커브를 사용하여 개별 진폭을 무작위로 추가하여 만들어졌다.

 

이 애니메이션을 비롯해 일련의 프로그래밍을 담당한 것이 UE 엔지니어를 맡은 네기시 마사토(REALIZE)다. 그는 교통계의 매출 시스템 등을 다루고 있던 이업종의 SE였지만, 「재미있는 일을 하고 싶다」라고, 문을 두드렸다는 이색의 캐리어의 소유자이다 .

 

전직을 계기로 UE나 Unity를 습득했다고 하지만, CG 제작에 있어서도 프로그래밍의 활용이 가능하며 현재는, REALIZE 팀에 있어서 빠뜨릴 수 없는 인재라고 한다.

 

「현장에서 대응하기 쉬운, 현장을 알고 나서의 프로그램이나 구조 만들기를 해 나가고 싶습니다. 

사용하는 사람이 기뻐해 주는 것이 최대의 동기입니다」

 

VP를 도입하는데 있어서, LED월에 투영하는 CG 배경과 미술의 조합의 밸런스가 각 스튜디오의 개성이 된다. 본작에서는 미술을 적극적으로 사용하고 있기 때문에 리얼감이 늘어나, VP가 나쁜 눈에 띄지 않는 배려가 이루어지고 있다.

 

이것은 철저히 준비를 하고 VP와 미술의 각각의 강점을 검토한 후 세트를 짜 결과이지만, 촬영부터 포스프로까지 토탈로 제작할 수 있는 TREE의 강점이기도 하다.

 

“CG·VFX는 더 이상 후공정이 아닙니다. 처음부터 끝까지 종사하는 유일한 부서라고 자부하고 있습니다. CG·VFX에 대해서도 기본적으로는 가능한 한 기획의 초기 단계로부터 참가하는 것이 바람직합니다.

 

 

 

 

 

 

 

 

프리비즈

 

 

 

 

▲ 모델링한 UE4용 로우폴리 모델

▲ 모듈화하여 UE측에서 각 파트 머티리얼을 할당했다

 

 

 

 

 

 

 

 

머티리얼 설정

▲UE4상에서 유리 등의 반사·굴절 설정. 실시간 게임 엔진에서 투명 오브젝트의 반사·굴절 표현은 난이도가 높기 때문에, 외형의 드라마틱한 인상과 가벼움을 확보하기 위해, 여기에서는 주로 퍼포먼스 비용이 낮은 정적인 Reflection Capture를 사용.

 

 

 

 

 

▲ LED 디스플레이의 문자 표시도 UE4의 머티리얼로 제어함으로써 조정하기 쉬워지고 있다

▲ 손잡이의 「자연하고 랜덤감이 있는 흔들림」은 Blueprint 프로그램으로 컨트롤

 

 

 

 

 

 

 

 

 

 

터널을 달리는 빛

▲ 차량 밖, 터널을 달리는 동적인 라이트 컨트롤에도 Blueprint를 활용. 동적 조명으로 인해 좀더 높은 성능의 장비가 필요했다.

 

 

 

 

 

 

 

 

 

 

 

<뮤직 비디오 장면 캡쳐>