일본 대하드라마 ‘청천을 찔러라’ vfx

일본 대하드라마 ‘청천을 찔러라’ vfx

내용 참조 : https://cgworld.jp/regular/202109-vfxanatomy-cgw277.html

 

‘청천을찔러라‘는 2021년에 NHK에서 총41회 방영된 시대극이다.

'일본 자본주의의 아버지'라고도 불리는 시부자와 에이이치의 생애를 그린다.

특히 22화~24화에 걸친 파리방문 이야기는 해당 드라마의 가장 큰 VFX 작업이다.

 

 

 

 

 

코로나 때문에 태어난 파리와의 원격 작업

제22회부터 제24회까지의 파리편은, 주인공이 세계를 여행해, 영향을 받는 에피소드로서도 중요한 파트이기 때문에, 제작에는 꼼꼼한 준비가 필요했다.

당초는 파리에서의 촬영을 계획하고 있어, 2020년 3월에 현지 스태프에 의한 현지 섭외작업을 시작하고 있었지만, 코로나 출현으로 일본인 스탭들이 현지에 방문할수 없었다.

파리 촬영 분량은 현지의 촬영팀에 위탁해 촬영하고, 일본에서 크로마 촬영으로 배우를 합성하는 방향으로 진행 되었다.

 

 

 

 

파리편에서는 1867년 파리 박람회를 비롯해 고도의 CG·VFX 표현이 필수가 되는 장면을 상정했지만, 한층 더 복잡한 이야기와 서사를 더해졌기 때문에, 보다 많은 작업이 요구되었다.

 

거기서, 파리에서의 생활 경험이 있는 카쿠다 하루나씨가 파리편의 VFX 슈퍼바이저가 되어, 본편 VFX와 병행해 준비가 진행되었다(파리편의 VFX 샷 총수는 약 200에 달했다고 한다). 본작의 워크플로우는 코로나 시국의 특수한 상황 속에서 크게 변화했다.

 

파리의 촬영에 일본의 스태프가 아무도 가지 않고 현지 스태프에게 맡기게 되었기 때문에 현지와 온라인에서의 협의를 많이 거듭해 협심 의지의 통일이 도모되었다. 국내에서의 촬영도, 지금까지와 같이 실사 플레이트와 CG 카메라의 정렬을 할 뿐만 아니라, 파리에서 실사 촬영한 플레이트와의 일관성을 고려할 필요도 있었기 때문에, 통상의 VFX와는 반대로, 사전에 최종적인 그림을 VFX가 주도 구성해야만 했다.

 

 

VFX가 사전에 전면으로 주도해서 제작하는 작품은 많이 없다.

그리고, 코로나 시국에서만 가능한 도전적이고 특별한 작업 스타일과 경험을 쌓을수 있었다.

 

 

 

 

 

 

 

 

 

<1> 프리프로 단계에서 VFX 팀이 샷 설계 리드

현장 답사와 현장진행을 할수 없다는 역경속에서 가장 중요한 것은 현지스탭과의 긴밀한 커뮤니케이션 능력이였다.

 

앞서 언급했듯이 일본 제작팀에 의한 파리 촬영이 중단된 것으로 현지 직원이 촬영한 실사판에 대해 일본에서 그린백 촬영한 배우들을 합성한다는 VFX 워크가 필요하게 되었다. 감독이나 프로듀서는 물론, VFX 스탭도 누구도 현지(파리)에 갈 수 없다고 하는 특수한 상황이며, 파리의 촬영 스탭은 VFX 전문이 아니었기 때문에, 현지에 있으면서 VFX에 경험이 있는 사람을 섭외하여 코디네이터를 선임하고, 각종 레퍼런스와 측량 스캔 데이터를 수집해 본국에 전달 되었다.

 

워크 플로우는 보통과 다른 부분이 많이 있습니다.

우선 일본 측이 원하는 배경의 실사판을 찍을 준비를 위한 온라인 미팅에는 많은 시간이 걸렸다. 또한 파리의 큰 건축물과 국내 스튜디오의 축척을 맞추는 데는 우선 3D상에서 프리비즈를 만들고 국내 스튜디오에서 촬영할 때 카메라의 위치를 ​​지정하는 등의 궁리를 집중시킴으로써 일체감 있는 비주얼 추구했다.

 

촬영 현지에 직접 가지 않고 제작할수 있다는 새로운 도전이 성공했다.

문제는 VFX작업에 로케이션이 불필요하다는 오해를 낳을것이 우려 되었다.

현장에 가서 실제로 카메라로 찍어 보는 것으로, 어느 쪽이 더 좋은지 깨닫는 경우가 많고, 현장감이나 즉흥적인 컷들도 추가로 만들기도 할 수 있기 때문에 가능하면 현지에서의 촬영이 가장 올바른 방향이라 생각한다.

 

==

파리편용의 어셋 제작은, 작년 9월에 파리 박람회에 가까운 시대인 100년 이상 전에 만들어진 증기 기관의 실물을 도요타 산업 기술 기념관(아이치현 나고야시)에 취재에 갔을 무렵부터 시작해, 올해 2월부터 파리편 CG 치프로서 아사야마 후미아키씨가 합류해, 각종 어셋이 마무리되어 갔다.

 

파리 박람회에서의 큰 어셋은 증기기관과 엘리베이터의 2개이지만, 그 밖에도 여러종에 걸친 어셋이 작성되었다. 도시나 대회장에서의 군중은 일본에서 외국인을 포토스캔을 베이스로 작성한 16개의 모델에 바리에이션을 더해, Golaem 으로 군중 애니메이션을 붙이고 있다.

 

 

 

 

 

 

사진 포토스캔 촬영

 

파리편에서는, 서양의 의상을 입은 인물을 포토스캔 촬영. 16명의 CG 모델에서 80명의 변형을 만들고, 골렘에서 군중을 만들었다

▲Golaem에서의 작업. 스커트의 일부에 Golaem의 Apex Cloth 크로스 시뮬레이션을 추가. 근거리의 컷에도 문제 없는 퀄리티로 제작했다.

▲ 군중의 바리에이션 모델은 색 변화나 머리 장식이나 모자 등의 프랍을 변경하여 개수를 늘렸다. 또한 당시 파리의 거리를 걷는 사람들의 자료를 참고로 남녀로 팔을 걸고 걷는 사람 등을 배치하여 군집의 균형을 조정했다

 

 

 

 

 

 

 

차량 모델

탈것 모델의 하나, 2층짜리 마차. 거리를 다수의 차량이 오가는 장면이 많았기 때문에 멀리서 본 움직임의 인상을 중시. 우선, 고객·객·차량 각각의 세세한 흔들림의 움직임을 표현할 수 있도록 셋업을 짜, 루프 애니메이션을 작성. 거기에서 각 컷마다의 배치나 궤도의 조정에 유연성을 가져왔다

그림 콘티

 

▲ 파리의 실사 팀에 대한 설명용으로 만든 번역 첨부 화보 콘티의 일부(나폴레옹의 현관 장면). 이 그림 콘티를 바탕으로 파리 촬영 팀과 일본 팀이 온라인으로 이미지 공유와 촬영 설계를 거듭했다

 

 

 

 

 

 

 

 

 

 

 

국내 스튜디오 촬영용 프리비즈

 

파리에 실재하는 건물과의 일관성을 잡기 위해 필요한 국내에서의 스튜디오 촬영용 프리비즈

▲ 파리 촬영에서는 모든 컷의 촬영 정보를 기록해 놓은 것 외에 현지의 상세 측량, HDRI와 그레이볼, 컬러 차트도 찍고 있다

 

 

▲프리비즈 전체. 스튜디오 도면에 맞추어 파리 촬영 장소의 폰텐누블로 성의 한 사이를 일으킨 모델을 배치했다

▲ 파리에서 촬영 소스에 맞춰 3DCG상에서 카메라로 확인하고 있다.

 

▲ 국내 촬영 스튜디오에서의 카메라 위치를 컷마다 프리비즈

▲컷 당 카메라 위치, 카메라 정보 목록

 

 

 

 

 

 

 

 

 

 

 

 

3D 스캔을 활용한 정렬

개선문의 옥상 장면에서는 LiDAR에 의한 3D 스캔을 활용하여 정렬을 실시했다

▲미도리야마 스튜디오에 지어진 개선문 옥상 세트

▲ iPhone 용 LiDAR 스캔 앱 "3dScannerApp"로 세트를 스캔, 실제 크기의 CG 모델로 출력

 

실제 갈수 없기 때문에, 현지에서 촬영에 쓰여질 장소를 스캔해서 받고, 그걸 기준으로 세트장을 건설했다. 도면으로 만들기도 하지만, 실제 있는 구조물은 스캐너로 촬영해서 전달하는게 더 쉬운 작업 방법이 될꺼 같다.

 

▲ Maya에 LiDAR 스캔한 모델을 읽어 카메라의 위치 맞춤에 사용했다

 

 

 

본작은 4K HDR로 제작되고 있기 때문에, VFX도 기본적으로는 HDR로 진행되고 있다. NHK의 VFX팀에서는 SDR 제작시부터 중간 파일은 OpenEXR 형식을 채용하고 있어 HDR 제작의 경우에도 데이터 흐름에는 특별히 변경은 없다고 한다. 또, SDR 납품에 대해서는, HDR로 컴포지트한 데이터에 LUT를 적용해, 일괄 변환에 의해 SDR판을 작성하고 있다고 하는 것. LUT는 각 작품마다 다르며, 본작에서도 전용 LUT가 신규로 만들어지고 있다.

 

 

일련의 쇼트워크는 HDR에서 이루어지고 있지만, HDR에서는 플레이트 자체가 밝아지는 경향이 있기 때문에, 들쭉날쭉함 등을 할 때 노출을 짜서 확인하지 않으면 에러를 알기 힘들고, 색보정했을 때 처음으로 알아차린다 두려움도 있다고 한다.

 

이 과제는 키잉도 마찬가지이지만, 최종적인 SDR 변환을 예상해, 세세하게 감마를 조절해서 확인 작업을 하고 있다고 한다.

 

 

파리에서 촬영한 배경과 일본 스튜디오에서 촬영한 인물의 합성에 있어서 가장 어려웠던 것이 조명 조합이었다. 카메라 정보 등이 있으면 화각 맞춤이나 추적 작업은 망설이지 않고 실시할 수 있지만 조명을 맞추는 것은 매우 시간이 걸린다고 한다.

 

특히 옥외의 장면은 인물도 자연광으로 찍고 싶은 곳이지만, 날씨가 안정되지 않는 것이나 배우진의 스케줄 등과의 합쳐서, 실내의 스튜디오에서 촬영할 수밖에 없었기 때문에, 합성의 난이도가 스스로 높아져 버렸다 했다.

 

 

파리의 배경 촬영 시에는 하타이씨가 그레이볼이나 컬러 차트 등의 각종 레퍼런스를 찍어 주었기 때문에 시간만 있으면 조명도 맞출 수는 있지만 매주 방송되는 드라마 제작에서는 빠르게 작업 를 마무리할 필요가 있는 케이스도 많이 있기 때문에, 한정된 스케줄 아래, 보다 좋은 샷을 완성하기 위해서는 앞으로의 추가 개선이 필요하다고 한다.

 

합성팀의 나카무라 아키히로 씨는, 「조명이 모두로, 라이팅만 맞으면 기분 좋게 잘 갑니다. 반대로 라이팅이 맞지 않으면, 아무리 아이디어를 넣어도 리얼한 표현의 한계가 있습니다」 그리고 되돌아갔다.

 

또, 본작에 있어서의 새로운 시도의 하나로, 미술부가 세운 스튜디오 세트를 iPhone 12 Pro의 LiDAR로 3D 스캔해, CG의 카메라 맞추기에 사용한 것을 들 수 있다. 지금까지는 전용의 기재가 필수였던 3D스캐닝을, iPhone으로 대용할 수 있었던 것으로, 효율화에 연결되었다고 한다. 한층 더 촬영시는 GoPro를 사용해 항상 스튜디오 전체를 찍어 두는 것으로, 실사 플레이트가 그린 백만으로 환경을 알기 어려울 때는, 그 영상을 가이드에 배우나 카메라의 위치 맞춤을 행하고 있다고 한다.

 

*촬영 현장 전반을 찍어 두눈것도, 좋은 습관일꺼 같다.

 

 

 

 

 

 

 

 

개선문 설계 및 3DCG 제작

 

현실에 존재하고 있는 것 때문에, 형태나 질감의 이미지를 해치지 않게, 당시의 개선문의 사진이나 자료도 참고로 제작했다

 

 

 

 

 

 

합성

 

컴포지트에는 딥 컴포지팅도 활용. pgBokeh로 아름다운 피사계 심도 적용

▲pgBokeh를 사용한 노드 트리. Deep과 카메라 데이터가 있으면 정확한 bokeh를 시뮬레이션 할 수 있습니다.

▲Deep의 개선문 옥상에 범용 실사 소재를 Card로 배치했다

 

 

 

 

 

 

 

 

브레이크다운

▲ 시차를 리얼하게 표현하기 위해, 배경의 매트 페인트는 Nuke 상에서 3D 오브젝트에 퍼스 맵. 각 건물에서 떠오르는 굴뚝 연기 등도 3D 공간에서 배치했다.

 

 

 

 

 

 

 

딥 컴포지팅으로 샷 워크를 효율화

 

기획부터 VFX가 필수 장면이며 꼼꼼하게 준비되어 있었지만, 어쨌든 1867년 당시의 박람회 자료가 적다. 존재하는 자료도 사진보다 그림이나 일러스트가 메인. 레퍼런스 수집에 많은 어려움이 있었다. 주요 어셋인 증기기관의 리그는 기술에 정평 있는 신오약품이 담당하고, 증기 등의 효과는 옥외에서의 컷도 포함해 Houdini 가 사용되었다.

 

 

 

CG의 각종 소스들은는 기본적으로 수정의 용이성을 고려해 Deep Image로 렌더링을 하고, 딥 컴포지팅으로 완성되었다. 실제로, 박람회 장면의 샷에는 도중부터 깃발이나 간판 등의 장식품이 더해졌지만, 딥 컴포지팅을 이용하는 것으로, 추가 위치 포인트만을 다시 렌더링함으로써 전후 관계 을 의식하지 않고 효율적으로 작업을 할 수 있었다.

 

또, 엑스포의 파빌리온의 실내는 창으로부터 태양광이 들어가 있는 일도 있어, 다수의 라이트를 사용해 리치한 렌더링을 행하고 있지만, 노이즈를 없애기에는 상당한 렌더링 시간이 요구된다. 이러한 렌더링 부하가 높은 샷의 빈번한 수정에도 딥 컴포지팅이 유효했다고 한다.

*라이팅을 많이 세팅하는 경우, 딥 컴프도 좋은 방향이 아닐까 싶다.

 

 

도쿠가와 아키타케(이타가키 리 광인)의 나폴레옹 3세에의 접견 장면은, 현지에서 촬영한 배경에 일본에서 촬영한 인물을 합성했다. 인물의 보폭을 미리 산출하고 파리에 보내 적절한 길이로 소스를 촬영했다.

 

일반적인 크로마 촬영은 소스별 동일한 움직임에 세심한 주의와 면밀한 협의가 필요했다.. 파리의 촬영 스탭은 VFX 전문이 아니었기 때문에, VFX 코디네이터를 맡은 하타이 씨에 의해 카메라의 정보나 컬러 차트, 그레이볼 등, VFX에 필요한 정보를 기록해 주었던 것이 도움이 되었다고 한다.

 

또 파리의 촬영팀과 지속적인 화상회의를 거듭하면서 상호 이해가 진행되어 앞으로도 다양한 아이디어를 제시해 주었다고 한다.

 

 

 

 

 

 

 

별도 촬영 소재를 합성

나폴레옹 3세에 대한 현관 장면은 파리에서의 현지 촬영 소재와 일본에서의 배우의 촬영 소재를 합성하여 제작했다

▲현지에서의 촬영의 모습

 

 

 

 

 

 

합성샷 브레이크다운

▲그림 콘티

 

 

 

 

 

 

 

 

▲폰텐누블로성(파리 촬영)

▲【폰텐누블로성(파리 촬영)】에 CG로 작성한 그림자를 합성

 

 

▲ 빛이 꽂는 인상적인 건물로 그리기 위해 창문의 광선 소재를 다른 레이어로 만들고, Arnold의 Gobo 필터를 통해 렌더링했다. 또, 안쪽의 배경에 꽂는 레이와, 화면 앞에 걸리는 레이(전체의 친숙함의 밸런스를 취하기 위한 것)를 따로 출력하고 있다.

 

 

▲증기기관의 증기 효과. 바퀴에 얽힌 증기가 회장의 분위기를 현실로 만들었다.

 

 

 

 

 

 

레퍼런스

 

▲파리에서의 촬영에 앞서, 프로덕션과 같은 의상과 신발에 몸을 감싼 배우가 움직이는 거리와 속도, 시선의 기준을 확인할 수 있는 레퍼런스를 촬영. 이것을 파리 팀과 공유하고 촬영에 임한 것으로, 현지에서 찍은 것 같은 리얼한 연출을 할 수 있었다

 

 

 

브레이크다운

그린백 촬영한 사절단(중경)이라는 3가지 소재로 구성되어 있다.

모션 컨트롤로의 촬영이 아니기 때문에, 각각 소스를 스태빌라이즈 처리를 한 후, 각종 소스를 합성했다.

 

작업의 가장 오랜 시간은 역시, 마커를 지우는 작업과 스크린의 빛을 맞추는 작업이였다.

또한, 크로마 이미지의 엣지 처리를 세심하게 고민해서 디테일을 올렸다.

 

*딥컴프에 대한 활용이 은근 많은거 같다. 딥컴프는 필연적으로 굉장한 고용량 데이터가 필요한데, 이런 것을 무시하고도 딥컴프를 선호하는 이유가 무엇인지 제대로 이해하는게 중요할 것 같다.