소니, 공간 콘텐츠 제작 솔루션 ‘XYN’ 법인 대상 제공 시작

촬영·생성·표시 일관 지원하는 공간 캡처 솔루션 등장

소니는 공간 콘텐츠 제작을 지원하는 솔루션군 ‘XYN(진)’에서 법인 대상 공간 캡처 솔루션 제공을 시작한다. 일본 내에서는 4월 18일부터 시작하며, 미국 시장에도 순차적으로 전개할 방침이다.

본 솔루션은 현실 공간을 고품질 3DCG 애셋으로 생성하고, 제작부터 표시, 활용까지 일관되게 지원하는 것이다. 촬영 지원, 3DCG 애셋 생성, 버추얼 프로덕션용 표시 각 공정을 커버하는 3가지 소프트웨어 툴로 구성된다.

이러한 배경에는 버추얼 프로덕션 및 영상 제작뿐만 아니라 제조 및 게임 개발 등에서도 공간 콘텐츠 수요가 높아지고 있다는 점이 있다. 한편, 3D CG 제작에는 전문적인 지식과 기술이 요구되며, 제작에 시간과 노력이 많이 소요되는 과제가 있었다. 소니는 2025년 1월 발표 후, 같은 해 11월 시작한 ‘베타 버전’을 통한 선행 활용 경험을 바탕으로 개발된 선행 프로토타입을 이용한 검증을 거듭하고, 그 피드백을 바탕으로 이번 솔루션을 정비했다고 밝혔다.

본 솔루션은 복수의 사진으로부터 현실 공간을 3D CG 애셋으로 생성하여 실제 제작 현장에서 활용할 수 있도록 하는 것이다. 용도로는 게임 및 영화용 CG 오브젝트 제작, 디지털 아카이브, 전시 용도, 제조 분야 시뮬레이션 등이 예상되지만, 현재 주요 대상은 버추얼 프로덕션이다. 실제 공간을 CG화하여 배경으로 활용하며 영상 제작을 하는 용도를 첫 번째 중점 분야로 삼고 있다.

공간 촬영을 지원하는 ‘XYN Spatial Scan Navi’

구성하는 3가지 툴 중 촬영 공정을 지원하는 것이 ‘XYN Spatial Scan Navi(진 스페이셜 스캔 네비)’이다. 이 툴은 미러리스 카메라를 이용한 공간 촬영을 지원하는 스마트폰용 애플리케이션이며, 소니 디지털 일안 카메라 ‘α’ 시리즈의 특정 모델과 연결하여 사용한다. 스마트폰을 내비게이션 단말기로 활용하여 촬영해야 할 위치와 각도를 시각화하여 안내하는 기능을 갖추고 있다.

특징으로는 AR 내비게이션 기능, 촬영의 과부족을 확인하기 쉬운 프리뷰 기능, 그리고 촬영을 지원하는 스마트 어시스트 기능이 있다. 버추얼 프로덕션 용도로는 약 100장 정도의 사진 촬영이 필요한 경우가 있으며, 촬영 품질이 촬영자의 경험과 기술에 좌우되기 쉽다. 이러한 편차를 줄이기 위해 AR 가이드를 사용하여 촬영 위치를 제시하고, 누구나 일정한 품질로 촬영하기 쉬운 환경을 조성한다.

더불어 촬영 시에는 이미지 데이터뿐만 아니라 촬영 상황 및 환경에 관한 메타데이터도 취득한다. 이러한 정보를 후단의 생성 공정에 활용하여 생성 효율과 품질 향상을 도모한다. 촬영 지원뿐만 아니라 이후의 3D화까지 염두에 두고 설계된 애플리케이션이다.

고품질 3D 생성을 담당하는 ‘XYN Spatial Scan’

‘XYN Spatial Scan’은 현실 공간을 고품질 3D CG 애셋으로 변환하는 클라우드 애플리케이션으로, 소니 고유의 3D 알고리즘을 채택한다. 2D 이미지에서 3D로 변환하는 처리를 통해 버추얼 프로덕션에 대응하는 품질의 애셋 생성을 가능하게 한다.

소니는 이 품질을 거대한 LED 디스플레이 상에서의 표시에도 견딜 수 있고, 현실 공간과 착각할 정도의 묘사가 가능한 수준으로 평가한다. 요구 사항으로 고해상도, HDR 표현 대응, 영상 제작에 필요한 실시간 렌더링에 적합한 데이터를 든다(HDR 표시는 베타 버전). 이러한 조건을 충족하는 애셋을 고유 알고리즘으로 생성한다는 개념이다.

구체적으로는 원경의 건물이나 근경의 가는 난간과 같은 세부 사항, 혹은 투명한 유리와 같이 재현이 어려운 요소에 대해 기존 방식에서 발생하기 쉬웠던 결손이나 노이즈를 억제하면서 재현성을 높인다. 또한, 촬영 시간대나 노출 변화로 인해 발생하기 쉬운 밝기 흔들림이나 노이즈에 대해서도 안정적인 품질로 처리할 수 있도록 했다. 이를 통해 생성 후의 수정이나 보수에 필요한 공수를 줄이는 것을 목표로 한다.

이 솔루션은 공간 전체의 배경 애셋뿐만 아니라 소품이나 프롭과 같은 오브젝트 생성에도 대응한다. 예를 들어, 의자와 같이 가는 선재를 포함하는 형태나 광택·반사를 동반하는 소재에 대해서도 형태와 질감을 최대한 유지한 채 3D CG화할 수 있도록 했다. 기존에는 고성능 워크스테이션이 요구되기 쉬웠던 공정을 클라우드 환경에서 다룰 수 있도록 함으로써, 일반적인 오피스 PC에서도 작업하기 쉬운 운영을 목표로 하는 점도 특징이다.

실시간 표시를 담당하는 ‘XYN Spatial Renderer Plugin’

표시를 담당하는 것은 ‘XYN Spatial Renderer Plugin’이다. 이는 생성된 3D CG 애셋을 버추얼 프로덕션 환경에서 실시간으로 표시하기 위한 렌더링 플러그인으로, 고화질 VP 촬영에 대응하는 것을 주안점으로 한다. 게임 엔진 및 미디어 서버 환경에서의 운영을 전제로, 제작 의도를 반영하기 쉬운 사용성도 중시했다.

소니에 따르면, 기존의 버추얼 프로덕션에 최적화되지 않은 표시계에서는 카메라의 각도나 거리 변화에 따라 화면이 불안정해지기 쉬운 과제가 있었다. 이에 본 플러그인에서는 카메라가 자유롭게 움직이는 상황에서도 거리나 앵글 변화에 좌우되지 않는 안정적인 렌더링을 목표로 한다. 또한, HDR 표시를 통해 넓은 다이내믹 레인지를 활용한 영상 재현을 가능하게 한다.

피사계 심도 표현에도 대응하며, 원경까지 해상감을 유지한 애셋을 배경으로 사용함으로써 자연스러운 보케 표현을 동반한 촬영이 용이해진다고 한다. 더불어 Unreal Engine의 컬러 컬렉션 및 컬러 그레이딩, 라이팅 조정 등의 기능과 연계하여 촬영 단계에서 색상, 톤, 빛의 표현을 조정할 수 있도록 한다. 별도로 제작한 CG와 조합하여 현실에는 존재하지 않는 요소를 공간 내에 추가하고, 새로운 배경 공간으로 구축하는 것도 가능하다.

렌더링 해상도 및 성능 최적화에도 대응하여 촬영 환경별로 다른 요구 사항에 맞춘다. 지원 환경으로는 우선 Unreal Engine과 Disguise를 지원하며, 향후 다른 미디어 서버와의 연계 확대도 진행할 계획이다. 버추얼 프로덕션용 각종 툴셋과 조합하여 제작 전체의 워크플로우 효율화도 고려하고 있다.

제작 공정을 일관 지원하는 솔루션 전개

소니는 이러한 3가지 애플리케이션을 통해 촬영, 생성, 표시까지를 일련의 흐름으로 지원할 생각이다. 향후 사진 촬영 후 처리 및 생성 후 편집 등 제작 공정의 각 접점에서 활용할 수 있는 툴군으로 전개를 확대할 방침이다. 아울러 버추얼 프로덕션 외의 용도로도 적용 범위를 넓혀갈 생각이다.

NAB 현장에서는 이러한 3가지 소프트웨어에 대한 핸즈온 세션을 실시할 예정이며, 버추얼 프로덕션 관련 영역에서도 관련 세션을 전개한다. 이번 발표는 공간 콘텐츠 제작 공정을 분단된 개별 작업이 아닌, 촬영부터 활용까지를 아우르는 제작 기반으로 재정비하겠다는 제안으로 위치 지어진다.

---