소니, IBC 2026에서 XYN·OCELLUS로 구현한 버추얼 프로덕션 워크플로우 공개

소니는 IBC 2026에서 XYN을 활용한 3D 애셋 제작부터 OCELLUS V2.0의 캘리브레이션 기능 강화, VP Tool Set의 Unreal Engine 연동까지 버추얼 프로덕션 워크플로우를 통합적으로 선보였다. 이는 개별 기술에서 벗어나 제작 공정 전반을 연결하는 데 초점을 맞춘 것이다.

💡 핵심 요약

  • 소니, IBC 2026에서 XYN 기반 3D 애셋 제작부터 OCELLUS V2.0의 캘리브레이션 자동화, VP Tool Set의 UE 연동까지 버추얼 프로덕션 워크플로우 통합 제시
  • OCELLUS V2.0, Auto Sensor Offset Calibration 및 렌즈 캘리브레이션 자동화로 촬영 시스템과의 연동성 강화, 제작 준비 시간 단축
  • VP Tool Set UE 플러그인 V4.0, Unreal Engine 내에서 OCELLUS 상태 확인 및 Take Recorder 연동으로 실시간 CG와 촬영 시스템 통합 운용 지원
  • 영화, 드라마뿐 아니라 방송 및 라이브 영역까지 버추얼 프로덕션 적용 범위 확대, 제작 공정 전반의 효율성 증대 추구

IBC 2026 소니 부스에서 인상 깊었던 점은 버추얼 프로덕션 시연 방식이 ‘카메라’, ‘Crystal LED’, ‘트래킹’과 같은 개별 제품 소개에서 제작 공정 전체를 연결하는 워크플로우 중심으로 전환되었다는 것이다.

현장에서는 Broadcast Studio, Cinematic Live, Immersive Production Booth 등 여러 구역을 활용하여 OCELLUS 카메라 트래킹, Virtual Production Tool Set, 소니 카메라, Crystal LED, XYN 공간 캡처, SRD(Spatial Reality Display)를 결합한 모습을 보여주었다.

사전 제작 단계에서 3D 배경을 준비하고, 온셋에서 실사와 CG를 합성하며, 후반 작업 및 표시/확인까지 연결하는 방식이었다. 이번 소니 부스는 버추얼 프로덕션을 단순한 개별 기술이 아닌, 제작 현장에서 운용하기 위한 일련의 환경으로 보여주는 구성이었다.

소니 부스의 Immersive & Virtual Production 영역. 다수의 제작 솔루션을 결합하여 워크플로우 전체를 보여주는 구성이었다.

XYN으로 시작하는 3D 애셋 제작 및 사전 제작

Immersive Production Booth에서 입구 역할을 담당한 것은 XYN을 활용한 공간 캡처였다.

부스에서는 XYN Spatial Scan Navi, XYN Spatial Scan, XYN Spatial Renderer Plugin을 결합한 워크플로우를 소개했다. XYN Spatial Scan Navi는 미러리스 카메라로 공간 콘텐츠를 촬영하는 것을 지원하는 스마트폰 애플리케이션이다.

촬영된 현실 공간은 클라우드 애플리케이션인 XYN Spatial Scan을 통해 고품질 3D CG 애셋으로 변환된다. 이 데이터는 프리비주얼라이제이션 및 버추얼 프로덕션으로 연결되며, 온셋에서는 XYN Spatial Renderer Plugin 등을 사용하여 실시간 렌더링으로 구현되는 흐름이다.

흥미로웠던 점은 3D 공간을 만드는 과정과 이를 영상 제작에 활용하는 과정이 분리되지 않고 통합되었다는 것이다. 촬영 전에 현실 공간을 캡처하여 3D 애셋으로 정리하고, 프리비주얼라이제이션으로 구도와 연출을 확인한 후, 온셋에서는 Crystal LED 및 실시간 렌더링과 결합하여 촬영하는 방식이다.

On-set Production Solutions 전시. 카메라 영상, CG, 트래킹 등을 다수의 모니터로 확인할 수 있는 구성이었다.
XYN으로 생성한 3D CG 애셋을 확인하는 화면. 현실 공간 캡처를 후반 작업으로 연결하는 흐름을 보여주었다.

더 나아가 SRD를 활용한 표시 및 시청까지 이어졌다. 3D 애셋 제작, 촬영, 표시를 개별적으로 나열하는 것이 아니라 하나의 제작 흐름으로 보여준 것이다. 이번 Immersive Production Booth는 이러한 생각을 이해하기 쉬운 전시였다.

OCELLUS V2.0으로 캘리브레이션을 촬영 현장으로 가져오다

온셋에서 중요한 역할을 하는 것은 소니의 카메라 트래킹 시스템 ‘OCELLUS’이다. 이번 IBC에서는 소프트웨어 신버전 베타 버전으로 ‘OCELLUS Firmware V2.0’을 선보였다. 2027년 1월부터 웹사이트에서 무료 펌웨어 업데이트로 다운로드 가능할 예정이다.

OCELLUS V2.0 전시 장비. 카메라, OCELLUS, 캘리브레이션용 차트를 결합한 모습이었다.
카메라 리그에 장착된 OCELLUS 센서 유닛.

주요 업데이트 사항으로는 Auto Sensor Offset Calibration, 렌즈 캘리브레이션, OpenTrackIO 지원, 태블릿을 통한 Web UI 조작 등이 있다. 또한 맵 용량 확장, B4 렌즈 Virtual Port 지원, VP Tool Set과의 연동 기능도 추가된다.

OCELLUS Firmware V2.0의 주요 업데이트 내용. Auto Sensor Offset Calibration, Lens Calibration & OpenTrackIO, Web UI Control via Tablet이 표시되었다.

부스에서는 차트를 사용하여 렌즈 왜곡을 OCELLUS 측에서 캘리브레이션하는 과정을 시연했다. 렌즈 캘리브레이션은 CG 측의 표현을 실제 렌즈 왜곡에 맞추기 위한 기능이다.

V2.0에서는 6DoF 트래킹 정보에 렌즈 데이터와 메타데이터를 추가하여 SMPTE OpenTrackIO를 통해 외부 시스템으로 전송한다. 기존처럼 PC 측에서 개별적으로 렌즈 캘리브레이션을 수행하는 부담을 줄여, 실사 카메라와 CG 공간을 더욱 쉽게 맞출 수 있도록 하는 방식이다.

OCELLUS GUI와 카메라 VFX 데모 화면. 트래킹 정보, 카메라 영상, 3D 공간을 동시에 확인할 수 있었다.

카메라 VFX 데모에서는 배경 쪽에 3D 모델을 배치하고 카메라 움직임에 따라 가상 배경이 연동되는 모습을 보여주었다. 줌 조작 정보도 전송되므로 렌즈 조작에 따라 배경의 보이는 방식도 변화했다. 화면에서는 실제 카메라로 가상 공간을 촬영하는 듯한 영상이 만들어졌다.

가상 배경과 실사 카메라를 결합한 온셋 데모 모습.

또 다른 핵심은 Auto Sensor Offset Calibration이다. 이전에는 카메라 이미지 센서 위치와 OCELLUS 센서 유닛 위치 간의 관계를 수동으로 측정해야 했다. V2.0에서는 차트를 사용하여 이 센서 오프셋 조정을 자동화한다.

차트를 이용한 캘리브레이션 시연.

자료에서는 OCELLUS가 센서 유닛 위치를 추정하고, 시네마 카메라 위치 출력에 센서와 카메라 간의 오프셋을 더하는 흐름을 보여주었다. 여러 시점을 활용하여 시네마 카메라와 동일한 화각을 공유하면서 안정적인 트래킹을 유지하는 방식이다.

버추얼 프로덕션에서는 카메라의 위치와 방향만으로는 실사와 CG를 정확하게 합성할 수 없다. 렌즈 상태, 왜곡, 센서와 트래커의 위치 관계까지 모두 고려해야 한다. OCELLUS V2.0은 이러한 준비 과정을 촬영 시스템 쪽으로 가져오는 업데이트로 보인다.

대형 LED나 실시간 CG에 비해 캘리브레이션은 눈에 띄지 않는 과정이다. 하지만 현장에서 매번 필요한 작업이며, 이 과정이 단축된다면 촬영 전체의 운용 방식이 달라질 수 있다. 이번 전시에서는 버추얼 프로덕션을 지속적으로 사용하기 위한 실무적인 개선이 전면에 나섰다.

Unreal Engine 연동 및 방송·라이브 영역으로의 확장

OCELLUS와의 연동을 강화하는 요소로 전시된 것은 ‘Virtual Production Tool Set(VP Tool Set)’의 UE 플러그인 V4.0이다. 자료에 따르면 Unreal Engine 5.7/5.8 버전용으로 2027년 1월에 웹사이트에서 무료 다운로드 가능할 예정이다.

VP Tool Set UE 플러그인 V4.0 시연. Unreal Engine 내에서 촬영 시스템 상태를 확인하는 흐름을 소개했다.

V4.0에서는 Unreal Engine 창 내에서 OCELLUS의 트래킹, Genlock, 6DoF, 렌즈 정보 등의 상태를 확인할 수 있다. OCELLUS Web UI와 Unreal Engine을 오가는 작업을 줄여, 실시간 CG 측에서 촬영 시스템 상태를 파악하기 쉽게 만든다.

Virtual Production Tool Set의 GUI. Unreal Engine에서 카메라 설정 및 OCELLUS 상태를 확인할 수 있었다.

또한 OCELLUS 상태와 Unreal Engine의 Take Recorder를 연동하여 녹화 시작/중지를 동기화할 수 있다. VENICE, BURANO, FR7에 대해서도 카메라 설정 상태를 Unreal Engine 측에서 확인할 수 있으며, 카메라, 트래킹, 실시간 CG를 더욱 가깝게 운용하는 방향으로 나아가고 있다.

사전 제작 단계에서 사용하는 Virtual Lens도 확장된다. V4.0에는 SIGMA의 ‘FF High Speed Prime Line’이 추가되어, 실제 카메라와 렌즈를 가정한 화각 및 구도를 가상 공간에서 확인할 수 있게 된다.

이번 전시 전체를 살펴보면, 사전 제작 단계에서는 가상 카메라와 렌즈로 촬영을 검토하고, 본 촬영에서는 OCELLUS가 실제 카메라 위치와 렌즈 정보를 획득한다. 촬영 전과 온셋이 동일한 카메라 및 렌즈 정보를 축으로 연결되는 구도가 그려진다.

이러한 흐름은 영화 및 드라마를 위한 버추얼 프로덕션에만 국한되지 않는다. Broadcast Studio에서는 OCELLUS를 소니 시스템 카메라와 결합하고, OCELLUS V2.0의 렌즈 캘리브레이션 및 OpenTrackIO를 활용한 시연을 선보였다.

또한 V2.0에서는 B4 Lens Data Interface cable을 사용한 B4 렌즈 Virtual Port 지원도 추가된다. 소니 시스템 카메라와의 SDI 연결 외에도 B4 렌즈의 Virtual Port 커넥터에서 OCELLUS로 직접 연결하는 방식이 추가되어, 방송용 시스템 카메라와 B4 렌즈를 사용한 AR 및 버추얼 프로덕션에서도 연결 방식 선택의 폭이 넓어진다.

Cinematic Live에서는 FR7과 OpenTrackIO를 결합한 시연도 이루어졌다. 또한 Extension Kit Mini 2대를 사용한 라이브 3D 영상을 인접한 Immersive Production Booth로 전송하고 SRD로 표시 및 시청하는 흐름도 보여주었다.

소니 부스에서 확인할 수 있었던 것은 카메라, 렌즈, 트래킹, 3D 애셋, Unreal Engine, Crystal LED, 디스플레이를 제작 공정 내에서 어떻게 연결할 것인가에 대한 관점이다.

버추얼 프로덕션은 ‘무엇을 할 수 있는가’를 보여주는 단계에서, ‘현장에서 어떻게 준비하고, 어떻게 연결하며, 어떻게 운용할 것인가’를 구체화하는 단계로 나아가고 있다. IBC 2026 소니 부스는 이러한 변화를 구체적으로 보여주는 전시였다.



관련 글


원문: ソニー、XYNとOCELLUSで見せたバーチャルプロダクションの制作ワークフロー Vol.15 [IBC 2026]