소니, 3D CG로 스포츠 중계 혁신… 부다페스트서 ‘미래 스포츠 중계’ 공개

소니는 부다페스트 세계육상선수권대회에서 26대의 카메라로 선수의 움직임을 3D CG로 재구성하는 기술을 선보였다. 이 기술은 0.01초의 승부 차이를 공간으로 시각화하여 시청자에게 직관적인 이해를 돕는다.

💡 핵심 요약

  • 소니, 26대 카메라로 육상 경기 결정적 순간 3D CG 재구성 기술 공개
  • 0.01초 승부 차이를 공간으로 시각화하여 직관적 이해 증진
  • 카메라 서비스 통해 사진작가의 창의적 표현 지원 및 워크플로 개선
  • 향후 필드 종목 및 타 스포츠로 기술 확장 및 크리에이터 지원 강화 예정

‘찍는’ 것을 넘어, 공간을 데이터화하고 결정적 순간을 재구성

소니는 2026년 9월 11일부터 13일까지 헝가리 부다페스트에서 열린 ‘세계육상선수권대회’에서 월드 애슬레틱스(WA)의 공식 글로벌 파트너로서 스포츠 영상의 새로운 표현에 도전했다.

이번 행사에서 특히 주목할 만한 것은 육상 경기의 결정적 순간을 3D CG로 재구성하는 기술이다. 트랙을 둘러싼 26대의 카메라로 선수의 움직임을 실시간 분석하여 3차원 공간상의 위치와 폼을 데이터화한다. 이를 공식 타임 데이터와 결합하여 골 직후 약 30초 안에 새로운 영상 콘텐츠를 생성하고 방송으로 송출한다. 이 기술의 목표는 단순한 ‘리플레이’를 넘어선다.

“0.01초”라는 숫자로 전달하기 어려운 승부의 차이를 공간으로 보여줌으로써, 육상 경기에 익숙하지 않은 사람들에게도 “무엇이 대단했는지”를 직관적으로 전달하는 것이다. 이번 PRONEWS는 이 기술 개발을 담당한 소니의 하토리 씨와 소니에서 미러리스 카메라 사업을 담당하는 마치타니 씨를 만나 이야기를 들었다.

‘0.01초의 차이’를 거리로 보여주다

이번 프로젝트의 배경에는 약 1년 반 전부터 시작된 월드 애슬레틱스와 소니의 논의가 있다. 도쿄에서 세계육상선수권대회가 개최되는 것을 계기로 “무언가 새로운 도전을 할 수 없을까”라는 생각에서 검토가 시작되었다. 다양한 아이디어를 논의하는 과정에서 육상 경기의 “결승선”에 주목하게 되었다.

하토리 씨는 영상 AI 분석 기술을 전문으로 한다. 소니 입사 후 감시 카메라 및 방송용 영상 분석에 참여했으며, 지난 10년간은 스포츠에 특화하여 선수 및 공의 움직임 등을 분석해왔다. 소니의 그룹 회사인 Hawk-Eye Innovations(호크아이)와도 긴밀히 협력하며 기술 개발을 진행하고 있다.

왜 결승선을 3D CG로 재구성하는가? 그 이유는 육상 경기의 매력을 “숫자”가 아닌 “경험”으로 전달하기 위해서다.

육상에서는 0.1초, 0.01초의 미세한 차이가 승패를 가른다. 하지만 경기에 익숙하지 않은 사람들에게는 그 차이가 얼마나 큰 의미를 갖는지 이해하기 어렵다. 따라서 시간상으로는 미미해 보이는 차이를 거리로 시각화하는 것이다.

소니 주식회사 스포츠 엔터테인먼트 사업부 코퍼레이트 플래닝부 총괄부장 하토리 히로노리 씨

하토리 씨는 이렇게 설명한다. 즉, 이번 기술은 “결승선을 다시 보여주기 위한” 것이 아니다. 결승선이라는 순간을 다른 시점에서 재구성함으로써, 그 순간이 가진 의미 자체를 전달하는 것이다. 여기에 이번 프로젝트의 큰 특징이 있다.

26대의 카메라로 “공간”을 데이터화하다

스타디움에 설치된 PTZ 자동 프레이밍 카메라 ‘BRC-AM7’: 소니 주식회사 제공

그렇다면 실제로는 어떻게 선수의 움직임을 포착하는가? 이번에는 트랙을 둘러싸도록 26대의 카메라를 설치했다. 그중 100m 결승선 부근에서는 8대의 카메라를 사용했다. 여러 대의 카메라에서 얻은 영상을 조합하여 선수가 3차원 공간의 어디에 있는지, 결승선까지 얼마나 남았는지, 어떤 폼으로 달리고 있는지 등의 정보를 데이터화한다.

그리고 이를 모든 프레임에 대해 실시간으로 계산한다. 카메라에서 광섬유를 통해 분석 시스템으로 영상을 보내고, 선수의 움직임이 데이터로 변환되는 데까지 걸리는 시간은 1초 미만이다.
여기에 공식 타임 데이터를 연결하여 최종 그래픽을 생성한다. 결승선 통과 순간부터 약 30초 정도 안에 영상 콘텐츠로서 중계팀에 전달하는 것까지 실현했다. 여기서 중요한 것은 단순히 선수를 추적하는 것만이 아니라는 점이다. 하토리 씨는 이번 시스템에 대해 다음과 같이 설명한다.

이는 기존 스포츠 중계에서의 CG 표시와는 약간 다른 접근 방식이다. 선수의 순위나 위치를 화면에 표시하는 것이 아니라, 실제로 존재했던 3차원 공간 자체를 데이터화하고, 그 안에 새로운 영상 표현을 구축하는 것이다. “미래 스포츠 중계”를 향한 하나의 방향성이 여기서 보인다.

기술보다 어려웠던 “어떻게 보여줄 것인가”

이번에 기술적으로 어려웠던 포인트는 크게 세 가지였다고 한다. 첫째는 선수의 움직임을 얼마나 정확하게 포착할 것인가이다. 26대의 카메라 중 어떤 8대를 사용할 것인가. 어디에 설치할 것인가. 실험실에서 높은 정확도가 나왔더라도, 실제 경기장에서 같은 정확도를 유지할 수 있을까.

스포츠 현장에서는 조명이나 환경 등 다양한 조건이 변한다. 엔터테인먼트 용도라고는 하지만, “대충 맞으면 된다”로는 성립되지 않는다.

둘째는 실시간성이다. 다음 날 완성되는 영상으로는 의미가 없다. 경기 결과가 나온 직후 생성되어 바로 방송에 삽입될 필요가 있다. 따라서 분석 시스템뿐만 아니라 방송국과의 연계 및 타이밍까지 포함한 워크플로 전체를 성립시켜야 했다.

그리고 셋째는 하토리 씨가 “가장 큰 포인트”라고 말한 “그 순간을 어떻게 보여줄 것인가”였다. 실제 콘텐츠에서는 일반 카메라로는 설치할 수 없는 결승선 정면에서 선수를 포착하고, 가상의 벽을 누가 먼저 넘었는지를 표현했다.

거기서부터 카메라 앵글을 비스듬히 위로 이동시키고, 마지막에는 바로 위에서 내려다본다. 시간만으로는 알 수 없었던 근소한 차이를 공간적인 거리로 직관적으로 이해할 수 있도록 하기 위함이다. 이 연출은 소니 혼자 결정한 것이 아니다. 월드 애슬레틱스, 방송 사업자인 HBS 등과 논의를 거듭하며 “이 순간은 어떻게 보여야 하는가”, “예선과 결승에서는 어떻게 다르게 해야 하는가”와 같은 부분까지 세밀하게 검토했다.

대회 직전까지 논의가 계속되었다는 점도 이번 프로젝트의 특징일 것이다. 하토리 씨는 이번 프로젝트를 돌아보며 프로젝트 멤버들로부터 “합작 투자와 같았다”는 말을 들었다고 밝혔다.

소니 팀이 제작한 영상은 Host Broadcast Services(HBS)의 중계차로 보내져 생중계 중인 방송에 삽입된다. : 소니 주식회사 제공

경기 단체, 방송 사업자, 기술 기업. 각기 다른 입장에서 의견을 내고 하나의 영상 경험을 만들어냈다.

우선은 스프린트부터. 다음은 필드, 그리고 다른 종목으로

이번에 지원하는 종목은 100m, 200m, 400m, 4x100m 계주, 100m 허들, 110m 허들, 400m 허들 등 스프린트 계열 레인 종목이다. 800m나 1500m 등은 골 지점이 다소 분산되기 때문에, 이번에는 “결정적 순간을 포착한다”는 목적에서 단거리 경주에 초점을 맞췄다.

하지만 하토리 씨는 이번을 하나의 완성형으로 생각하지 않는다. 향후 육상 필드 종목 등으로의 확대를 검토하고, 더 나아가 육상에서 쌓은 기술을 다른 스포츠로 확장하는 것도 염두에 두고 있다. 공 다루는 경기 등 이미 소니의 Alpha 시리즈가 사용되고 있는 종목도 많다. 선수나 공의 움직임을 포착하는 기술과의 친화성도 높아, 이번과 같은 “공간을 데이터화하여 새로운 시점에서 보여주는” 표현이 다른 스포츠로도 확산될 가능성이 크다.

현장에서는 “찍고 싶다”를 지원하다

이번 소니의 프로젝트는 방송 측의 영상 기술뿐만이 아니다. 대회장에는 프로 사진작가를 지원하는 카메라 서비스도 제공되었다.

마치타니 씨에 따르면, 현장에서 접수되는 상담의 근본에는 사진작가의 “이런 촬영을 하고 싶다”, “이런 표현을 하고 싶다”는 창의성이 있다고 한다.

국제 대회에서는 촬영 장소에 도착하여 제한된 시간 안에 세팅해야 하는 경우가 많다. 따라서 “지금 가진 장비로는 원하는 대로 찍을 수 없다”, “좀 더 이런 그림을 만들고 싶다”와 같은 상담이 접수된다.

소니 주식회사 이미징 엔터테인먼트 사업부 카메라 사업 부문 카메라 비즈니스부 총괄부장 마치타니 야스후미 씨

소니는 이에 대해 단순히 장비를 대여하는 것 이상으로, “이런 촬영 방법을 시도해보는 것은 어떤가”, “이 조작을 하면 실현할 수 있지 않을까”와 같은 촬영 방법 자체에 대한 컨설팅을 제공한다.

보유 장비로 어려운 경우에는 카메라와 렌즈를 제안하고 실제로 대여한다. 또한 카메라와 렌즈뿐만 아니라 통신 장비 및 유지보수까지 지원한다.

마치타니 씨는 그 역할을 크게 세 가지로 나눈다. 첫째는 촬영 방법 및 장비 사용법에 대한 컨설팅. 둘째는 카메라, 렌즈, 통신 장비 등의 대여. 그리고 셋째는 반입된 장비의 클리닝 및 사고로 인한 파손 등에 대한 간이 수리를 포함한 유지보수이다. 즉, “촬영에 문제가 있다면 최대한 대응한다”는 스탠스이다.

“PDT-FP1″이 바꾼 스포츠 촬영 워크플로

휴대용 데이터 트랜스미터 “PDT-FP1”

그중에서도 최근 몇 년간 존재감을 키우고 있는 것이 통신 환경이다. 마치타니 씨에 따르면, 휴대용 데이터 트랜스미터 “PDT-FP1″의 등장 이후 보도 및 스포츠 촬영 사진작가의 사용 빈도가 매우 높아졌다고 한다.

이번 경기장에서도 고정된 포토 포지션뿐만 아니라 필드 내에서 촬영하는 사진작가의 모습을 볼 수 있었다. 경기가 시작되면 촬영자가 미디어 센터 등 통신 환경이 갖춰진 장소로 자유롭게 이동할 수는 없다. 따라서 촬영한 사진이나 영상을 현장에서 신속하게 전달하기 위해서는 5G 등을 이용한 통신 환경도 중요하다.

마치타니 씨는 현재 휴대용 데이터 트랜스미터가 스포츠 및 보도 현장에서 “필수 아이템”이 되고 있다고 말한다.

여기에도 스포츠 사진 촬영을 둘러싼 변화가 있다. 카메라로 촬영하고, 미디어 센터로 돌아와서 소재를 처리하는.

이러한 기존 방식의 워크플로에서 촬영하는 순간에 전 세계로 보내는 워크플로로 변화하고 있다. 카메라 성능뿐만 아니라 그 너머의 통신까지 포함하여 촬영 환경을 고려할 필요가 생기고 있다.

야간 촬영에서는 “단 1스톱”이 크다

이번 대회에서는 야간 경기도 열렸다. 어두운 곳에서 움직이는 선수를 촬영하기 위해서는 빠른 셔터 스피드를 유지하면서 충분한 노출을 확보해야 한다.

따라서 수요가 높아지고 있는 것이 대구경 렌즈이다. 마치타니 씨가 예로 든 것이 “FE 50-150mm F2 GM”이다.

일반적인 F2.8 고정 조리개 렌즈에 비해 F2 고정 조리개 렌즈는 1스톱 밝은 노출을 확보할 수 있다. “단 1스톱”이라고 생각할 수 있지만, 스포츠 촬영에서는 그 1스톱이 크다.

선수의 움직임을 멈추기 위해 셔터 스피드를 높여야 하고, 경기 자체가 어두운 환경에서 열리는 경우도 있다. 그런 상황에서 대구경이면서도 다루기 쉬운 렌즈는 촬영의 자유도를 높인다.

더욱이 소니는 소형·경량화 및 AI 기반 피사체 인식·인물 인식에도 힘쓰고 있다. “다시 한번”이 없는 스포츠 촬영에서 촬영자가 더욱 자유로운 촬영 포지션, 자유로운 자세로 촬영하고 결정적 순간을 포착할 수 있도록 한다. 이를 위한 도구로서 카메라, 렌즈, AI, 통신이 하나의 워크플로로 연결되고 있다.

스포츠 사진 촬영에서 “크리에이터 지원”으로

소니가 스포츠 사진 촬영 영역에서 본격적으로 존재감을 높인 전환점 중 하나가 2017년경의 “Alpha 9″이었다고 한다. 그 이전에도 전문가들에게 사용되었지만, Alpha 9 이후 보도 및 스포츠 사진작가들로부터의 피드백이 늘었다.

그로부터 약 7년간 현장에서 얻은 목소리를 제품에 반영해왔다. 현재 플래그십 모델인 “Alpha 1 II”는 약 5000만 화소, 최고 약 30 fps의 연사 성능을 실현했지만, 현장의 요구는 끊이지 않는다. 더 높은 고감도 성능, 더 높은 해상도, 더 높은 속도.

마치타니 씨는 이 세 가지를 큰 축으로 꼽는 한편, 또 하나 중요한 것이 “워크플로”라고 말한다. PDT-FP1의 예에서 상징되듯이, 현장에서 요구하는 것은 카메라 자체의 성능만이 아니다.

촬영 후 어떻게 보낼 것인가. 어떻게 공유할 것인가. 어떤 환경에서 촬영할 것인가.

이러한 촬영 전후를 포함한 워크플로 전체에 대한 요구가 증가하고 있다.

“기능을 원한다”는 그 너머를 본다

그렇다면 소니는 앞으로 크리에이터 지원을 어디로 향하게 할 것인가?

마치타니 씨의 대답은 명확하다. “이런 것을 하고 싶다”, “이런 영상 표현을 하고 싶다”는 크리에이터의 생각을 단순히 기능으로 대체하는 것이 아니다. 그 요구의 근저에 있는 “무엇을 목표로 하는가”, “어떤 표현을 실현하고 싶은가”까지 이해한다. 그리고 그것을 서비스나 카메라, 렌즈 개발로 연결시킨다.

최종적으로 목표하는 것은 사진작가나 비디오그래퍼가 더욱 자유롭게, 더욱 원하는 대로 사진이나 영상을 찍을 수 있는 환경이다. 이는 이번 부다페스트에서 본 프로젝트에도 통하는 생각일 것이다.

하토리 씨가 추진하는 것은 카메라로 찍은 영상을 단순히 재생하는 것이 아니라, 그 영상에서 얻은 데이터를 통해 “그 순간”을 다른 형태로 재구성하는 것이다. 마치타니 씨가 추진하는 것은 크리에이터가 “찍고 싶다”고 생각한 순간에 그 표현을 실현할 수 있도록 장비, 통신, 촬영 방법까지 지원하는 것이다. 언뜻 보면 다른 두 가지 프로젝트이지만, 그 근저에는 공통된 것이 있다. “촬영하는 것”을 목표로 삼지 않는다는 것이다.

찍는다. 그 너머로

스포츠 영상은 지금 크게 변화하기 시작했다.

고성능 카메라로 결정적 순간을 포착한다.

AI로 선수를 인식한다.

여러 카메라에서 공간을 데이터화한다.

그 데이터를 실시간으로 처리한다.

그리고 현실에는 존재하지 않았던 시점에서 그 순간을 재구성한다.

한편, 현장의 사진작가에게는 촬영한 사진이나 영상을 현장에서 전 세계로 전달하기 위한 통신 환경이 요구된다. 거기에서는 “카메라”라는 단일 제품이 아니라, 촬영, 분석, 데이터, 통신, 연출, 배포까지 포함한 영상 워크플로 자체가 중요해지고 있다. 이번 부다페스트에서 소니가 보여준 것은 그 변화의 일단이었다.

하토리 씨는 이번 프로젝트를 향후 스포츠로 확장하고 싶다고 말한다.

“찍는 것”에서 “이해시키는 것”으로. “기록하는 것”에서 “재구성하는 것”으로. 스포츠 중계의 미래는 카메라 성능 경쟁뿐만 아니라 현실을 어떻게 데이터화하고 어떤 경험으로 다시 제시할 것인가라는 영역으로 나아가고 있다. 부다페스트에서 시작된 이번 도전은 그 가능성을 구체적으로 보여주는 한 예라고 할 수 있다.



관련 글


원문: ソニー、ブダペストで見せた「未来のスポーツ中継」。決定的瞬間を3DCGで再構成する技術と、クリエイターを支える現場力[Report Now!]