NVIDIA, IBC 2026서 실시간 AI 기반 방송·스포츠 솔루션 공개

‘NVIDIA AI for Media’가 방송, 스포츠, 제작 워크플로우에 실시간 인텔리전스를 제공하다

미디어 기업들은 신뢰성 높은 방송 환경을 저해하지 않으면서도, 더욱 상세한 성능 분석, 영상 진위 판별, 콘텐츠 강화 및 현지화 등을 구현하기 위해 라이브 제작, 스포츠, 뉴스, 스트리밍 워크플로우에 AI를 점점 더 통합하고 있다. IBC 2026에서 NVIDIA는 ‘NVIDIA AI for Media’의 대폭적인 확장을 발표했다. 이는 미디어 및 엔터테인먼트 워크플로우를 위한 오디오, 비디오, 증강현실(AR) 효과를 강화하는 GPU 가속 소프트웨어 개발 키트(SDK), NVIDIA NIM 마이크로서비스, 플레이북, 블루프린트의 집합체로, 움직임 이해, 영상 검증 및 강화, 프로그램 현지화, AI 기반 미디어 애플리케이션 구축을 위한 새로운 가능성을 열어줄 것으로 기대된다.

올해 초 SIGGRAPH에서 발표된 NVIDIA Synthetic Video Detector(SVD) NIM 마이크로서비스는 조직이 영상이 실제인지 AI 생성인지 판별할 확률을 평가하는 데 도움을 주며, 편집, 콘텐츠 인증, 디지털 포렌식, 미디어 무결성 확보를 담당하는 팀에게 심사 과정에서 새로운 분석 시각을 제공한다. 출시 이후 SVD의 정확도는 텍스트-비디오 변환 콘텐츠에서 99.3%, 이미지-비디오 변환 콘텐츠에서 97.7%에 달하며, 특히 난이도가 높은 이미지-비디오 변환 사례에서 상당한 정확도 향상을 보였다. Dalet은 SVD를 뉴스 조직을 위한 안전한 클라우드 호스팅 검증 워크플로우에 통합하여, 편집 팀이 SVD를 통해 영상을 전송하고 Dalet 인터페이스 내에서 계산된 점수와 메타데이터를 검사 및 확인할 수 있도록 지원한다. TwelveLabs는 자사의 비디오 인텔리전스 플랫폼에 구축된 첫 애플리케이션 ‘Compliance by TwelveLabs’의 일반 출시를 발표했다. 이 솔루션은 미디어 및 방송 팀이 지역별 규정 준수 기준 및 자체 규정 준수 기준에 따라 콘텐츠를 신속하게 스크리닝하도록 지원하며, SVD가 통합되어 프레임 단위의 진위 신호와 신뢰도 점수가 추가되므로 미디어 팀은 동일한 규정 준수 워크플로우 내에서 합성 미디어 가능성이 있는 콘텐츠를 식별할 수 있다. 170개국 이상에서 35,000개 이상의 비디오 전송 환경을 지원하는 미디어 서버 기술 ‘Wowza Streaming Engine’을 제공하는 Wowza는 ‘Wowza Video Intelligence Framework’를 통해 SVD를 제공한다. NVIDIA의 가속 기능을 갖춘 인프라를 기반으로 하는 이 솔루션은 방송사, 스트리밍 제공업체 및 기타 조직이 라이브 비디오 피드를 분석하고 탐지된 객체, 장면, AI 생성 징후에 관한 데이터를 실시간으로 추출할 수 있도록 한다. 이 솔루션은 온프레미스, 엣지, 클라우드, 하이브리드 환경 또는 완전히 에어갭화된 환경 등 다양한 환경에서 도입 및 운영이 가능하여 조직이 중요한 미디어 워크플로우를 더욱 세밀하게 제어할 수 있도록 한다.

NVIDIA 3D Body Pose

단일 카메라로 촬영한 영상에서 2D 및 3D 인체 관절의 위치와 각도를 추정하여, 마커 기반 캡처 시스템 없이도 움직임을 구조화된 데이터로 변환할 수 있게 한다. 스포츠 조직에게 이 데이터는 선수 및 운동선수의 움직임 추적, 생체 역학 및 성능 분석, 리플레이 품질 향상, 심판 및 판정 워크플로우, 선수 안전 확보, 그리고 가상 상호작용 및 몰입형 경험 등을 지원한다. 또한 이 기술은 콘텐츠 제작 워크플로우를 위해 구조화된 인체 동작 데이터를 제공할 수 있다. 호환되는 캐릭터 리그에 매핑하면 관절 데이터와 동작 데이터는 애니메이션 블록 생성, 디지털 더블, 캐릭터 리타기팅, 가상 프로덕션 경험의 입력 데이터로 활용될 수 있다. Vizrt는 라이브 가상 스튜디오 환경에서 Body Pose 기술을 채택하여, 추적된 신체 움직임을 기반으로 반사, 그림자, 환경 렌더링 등 실시간 3D 조명 효과를 생성하고 있다.

비디오 프레임 생성(VFG)

생성 AI를 사용하여 비디오의 원본 프레임 사이에 새로운 프레임을 생성함으로써 비디오의 움직임을 더욱 부드럽게 보이게 한다. 화질과 시간적 일관성을 유지하면서 프레임 속도를 2배 또는 4배로 높일 수 있으며, 스포츠 중계, 슬로우 모션 리플레이, 라이브 미디어 및 기타 움직임이 많은 비디오 경험을 더욱 부드럽게 만든다. 또한 VFG는 생성 AI 비디오 워크플로우를 위한 프레임 속도 변환 및 프레임 부스트도 지원한다. Ross Video는 스포츠 제작을 위해 AI 기반 슬로우 모션 영상을 생성하기 위해 자사의 ‘Rio Replay’ 플랫폼에 VFG를 통합했다. 이로써 스포츠 리플레이를 위한 6배 슬로우 모션 생성이 가능해졌으며, 현재 8배 보간 처리를 위한 개발이 진행 중이다. 이를 통해 생성된 중간 프레임을 활용하여 리플레이 팀은 초고프레임 속도 지원 소스 카메라로 모든 프레임을 촬영하지 않고도 더욱 부드러운 움직임을 구현할 수 있게 된다.

NVIDIA Video Super Resolution(VSR)

AI를 활용하여 비디오를 업스케일링하는 동시에 노이즈, 흐릿함, 압축 아티팩트를 줄인다. 새로운 스트리밍 모드를 통해 개발자는 실시간 성능과 고화질 중 하나를 선택할 수 있으며, 조정 가능한 제어 기능을 통해 원하는 수준의 화질 향상을 실현할 수 있다. 또한 VSR은 10비트 비디오 지원을 추가하여 전반적인 성능과 화질을 향상시킨다. VSR은 NVIDIA Video Effects SDK 및 NIM 마이크로서비스를 통해 이용 가능하며, 스트리밍, 방송, 회의, 비디오 재생, 콘텐츠 제작 애플리케이션에서의 사용을 지원한다. 이 기술은 공통 인터페이스를 통해 비디오 플레이어, 회의 애플리케이션, 크리에이터용 도구, 스트리밍 서비스, 트랜스코더, 방송 시스템 등을 지원한다.

NVIDIA TrueHDR

표준 다이내믹 레인지(SDR) 영상을 실시간으로 하이 다이내믹 레인지(HDR) 출력으로 변환하며, 국부적인 대비를 유지하면서 콘텐츠에 맞춰 휘도를 조정하여 최대 약 2,000 니트를 구현한다. VSR, VFG, TrueHDR은 단일 비디오 효과 파이프라인 내에서 조합이 가능하며, 미디어 기업이 스트리밍, 트랜스코딩, 게임, 크리에이터용 워크플로우를 위해 기존 콘텐츠 라이브러리를 강화하는 데 도움을 준다.

NVIDIA LipSync 및 Active Speaker Detection NIM 마이크로서비스

인터뷰, 뉴스, 스포츠, 엔터테인먼트 등 화면에 여러 인물이 등장할 가능성이 있는 프로그램에 대해 개발자가 현지화 시스템을 구축하는 데 도움을 준다. LipSync는 자연스러운 머리 방향, 눈 깜빡임, 몸의 움직임을 유지하면서 입력 비디오의 입 움직임을 대상 오디오 트랙에 동기화한다. 이번 신규 릴리스에서는 얼굴 가림 처리 기능이 개선되어 치아, 입술, 얼굴 질감이 더욱 충실하게 재현되었다. 새로운 Active Speaker Detection NIM 마이크로서비스는 여러 오디오 트랙에 대한 화자 다이어리제이션이 불필요해졌으며, 음성 활동 감지 기능이 추가되었고, gRPC 인터페이스 및 GPU 호환성 확대를 통해 NIM 마이크로서비스의 도입 지원이 확대되었다. NDI는 NVIDIA LipSync NIM 마이크로서비스를 포함한 ‘NVIDIA AI for Media’를 활용하여 기존 방송 워크플로우 내에서 실시간 번역, 립싱크 더빙, 지역 언어 적응을 구현하고 있다. 공통 미디어 스트림에서 여러 언어 콘텐츠를 생성함으로써, 이 접근 방식은 방송 사업자가 전 세계 시청자에게 도달하도록 지원하는 동시에, 종래 다국어 배포에 필요했던 대역폭, 인프라, 제작 복잡성을 줄여준다.

Studio Voice

NVIDIA Studio Voice NIM 마이크로서비스를 기반으로 구축된 새로운 마이크 프로파일이 탑재되어, 사용자는 강화된 음성의 음색 특성에 대해 더욱 세밀한 제어를 할 수 있다. 이 기능은 배경 노이즈 억제, 실내 잔향 감소, 음성 명료도 향상을 목표로 하며, 강화된 출력을 선택한 마이크 프로파일에 맞춰 조정함으로써 라이브 커뮤니케이션, 스트리밍, 팟캐스트, 콘텐츠 제작에서 더욱 세련된 음질을 구현하도록 설계되었다. IBC 2026에서는 NVIDIA 및 파트너사들의 최신 워크플로우를 확인할 수 있다.

‘NVIDIA Holoscan for Media’, 라이브 미디어 애플리케이션 구축 및 연동을 위한 오픈 미디어 교환 레이어 제공

방송국, 스트리밍 서비스, 스포츠 단체가 소프트웨어 및 AI를 도입함에 따라, 라이브 콘텐츠를 지원하는 인프라는 더욱 유연하고, 연동이 강화되며, 공유된 고속 컴퓨팅을 기반으로 하는 방향으로 변화하고 있다. Media Exchange Layer(MXL)와 NVIDIA Holoscan for Media의 통합은 이러한 전환을 가속화한다. 이를 통해 미디어 애플리케이션들이 상호 연결되고 연동하여 작동하기 위한 공통의 교환 레이어가 제공된다. ‘Holoscan for Media’는 소프트웨어 정의 라이브 제작을 위해 AI 기반 미디어 기능 및 애플리케이션을 구축하기 위한 오픈 레퍼런스 아키텍처 및 개발자 도구 키트이다. MXL은 이러한 소프트웨어 기반 미디어 기능들이 분산 환경 전체에서 라이브 영상, 음성, 데이터를 교환하기 위한 오픈 수단을 추가한다. 생산 기능이 소프트웨어로 전환됨에 따라 개발자들은 고속화된 인프라를 공유하고, 동적으로 연결하며, 독립적으로 진화하는 애플리케이션을 구축할 수 있게 된다. 이를 통해 미디어 기업들은 인프라를 더욱 효율적으로 활용하고, 신규 기능을 더 신속하게 도입하며, 애플리케이션 간의 사용자 정의 통합 필요성을 줄일 수 있다. 또한 이 통합은 라이브 미디어에서 AI의 기반을 더욱 공고히 한다. AI 처리, 비디오 애플리케이션, 그리고 기존 미디어 기능은 동일한 고속화된 인프라 상에서, 동일한 소프트웨어 정의 환경 내에서 점점 더 연동하여 작동할 수 있게 된다. 기술 벤더에게는 더 광범위한 멀티 벤더 에코시스템 전체에서 작동하는 애플리케이션을 구축할 기회가 확대된다. 미디어 기업에게는 포맷, 애플리케이션, AI 기능의 변화에 따라 적응할 수 있는 인프라로 가는 길이 열린다. IBC의 EBU 부스(10.D21)에서 Holoscan for Media의 데모가 시연될 예정이다. 자세한 내용은 여기를 확인하기 바란다.

‘NVIDIA Sports Intelligence Playbooks’, 스포츠 분야에서의 멀티모달 AI 경로 제시

스포츠계는 AI에서의 더 광범위한 변혁, 즉 범용 모델에서 자체 데이터를 기반으로 미세 조정된 오픈 모델로의 전환을 시험하는 장이 되고 있다. ‘NVIDIA Sports Intelligence Playbooks’는 이러한 전환을 가속화하기 위해 설계되었다. 이를 통해 리그, 미디어 기업, 기술 제공업체는 자체 스포츠 영상 및 주석을 사용하여 NVIDIA의 오픈 모델을 미세 조정하기 위한 체계적인 프레임워크를 얻을 수 있으며, 해당 스포츠 고유의 규칙, 선수, 득점, 전략, 문맥을 이해하는 멀티모달 AI를 구축할 수 있다. 스포츠 조직은 경쟁사들이 재현하기 어려운 대량의 독점 영상, 메타데이터, 성능 정보를 보유하고 있다. 이 플레이북은 그러한 자산을 새로운 분석 제품, 미디어 경험, 자동화 도구, 수익원을 지원하는 AI 기능으로 전환하기 위한 실질적인 청사진을 제공한다. 이 플레이북들은 데이터 준비, 미세 조정, 추론, 평가, 최적화, 배포 등 AI의 전체 라이프사이클을 포괄하며, Nemotron, NeMo AutoModel, Megatron Bridge, NIM 마이크로서비스, NVIDIA의 가속 컴퓨팅 등 NVIDIA의 기술을 통합한다. 모델 사용자 정의부터 프로덕션 환경 배포까지 일관된 프로세스를 제공함으로써, Sports Intelligence Playbooks는 스포츠 특화 AI 구축에 드는 비용과 복잡성을 줄이는 동시에, 컴퓨팅, 소프트웨어, 추론 스택 전반에 걸쳐 수요를 확대한다. 초기 테스트에서는 도메인 특화 가능성이 입증되었다. 훈련에 사용된 것과 유사한 질문 형식으로, 이전에 보지 못한 영상으로 평가했을 때, 다지선다형의 정답률은 약 53%에서 94%로, 자유 기술형 평가 정확도는 약 5.7%에서 66%로 향상되었다. Machina Sports는 Sports Intelligence Playbooks를 자체 스포츠 특화 데이터, 평가 시스템, 에이전트 인프라와 통합하여, 권리 보유자들이 독점 미디어 자산 및 전문 지식을 라이브 제작, 콘텐츠, 팬 경험을 위해 활용 가능한 비공개 인텔리전스로 전환할 수 있도록 지원한다. 또한 에이전트형 AI의 채택이 확대됨에 따라 그 가능성도 확장되고 있다. NVIDIA AI-Q Blueprint를 활용하면 조직은 자체 스포츠 특화 모델을 영상, 기업 데이터, 소프트웨어 시스템을 가로질러 추론하는 에이전트 내의 전문 인텔리전스로 활용할 수 있으며, 플레이북의 적용 범위를 스포츠 이해에서 의사 결정 및 자동화로 확대할 수 있다. Wowza는 NVIDIA Cosmos 3 및 Nemotron과 같은 비전 언어 모델을 ‘Wowza Video Intelligence Framework’에 통합했다. 이들은 NVIDIA Sports Intelligence Playbooks를 통해 미세 조정되어 라이브 스트림 내의 스포츠 특유의 순간을 탐지하고 액션까지의 시간을 단축한다.

NVIDIA, 라이브 방송에 다국어 콘텐츠 현지화 기능 제공

라이브 프로그램으로 전 세계 시청자에게 도달하기 위해서는 단순히 언어를 번역하는 것만으로는 부족하다. 따라서 언어의 뉘앙스, 목소리 톤, 타이밍, 표정, 자막, 화면상의 그래픽 등이 원본 프로그램의 편집 의도와 제작 품질을 손상시키지 않으면서 실시간으로 조화롭게 기능해야 한다. 방송사, 스포츠 리그, 권리 보유자, 스트리밍 서비스가 이러한 요소들을 통합된 소프트웨어 정의 실시간 현지화 워크플로우에 통합할 수 있도록 지원하기 위해, NVIDIA는 콘텐츠 현지화 기술을 ‘NVIDIA Holoscan for Media’ 개발자 도구 키트에 포함시켰다. 방송 및 스트리밍 개발자를 위해 설계된 이 레퍼런스 워크플로우는 자막, 번역 음성, 더빙, 동기화 비디오, 현지화된 그래픽을 구현한다. ‘Holoscan for Media’를 통한 콘텐츠 현지화는 소프트웨어 정의 방송 애플리케이션에서 현지화 기술이 어떻게 연동될 수 있는지에 대한 지침을 제공한다. 개발자는 현지화된 버전마다 개별 인프라를 배포하는 대신, 각 프로그램, 시장, 배포 채널에 필요한 기능을 선택할 수 있다. Holoscan for Media를 통한 콘텐츠 현지화에는 NVIDIA AI for Media의 최신 기술이 통합되어 있으며, 얼굴이 부분적으로 가려진 경우의 립싱크 정확도 향상, 여러 인물이 등장하는 장면에서 누가 말하고 있는지 애플리케이션이 식별하기 쉽게 하기 위한 액티브 스피커 감지 기능 강화 등이 포함된다.

라이브 프로그램의 도달 범위 확대

현지화는 라이브 프로그램의 도달 범위와 수익성을 완전히 바꿀 수 있다. 공유 가능하고 조합 자유로운 워크플로우를 활용함으로써, 미디어 기업은 라이브 제작에 필요한 타이밍, 시각적 컨텍스트, 편집상의 제어를 유지하면서, 지역별 보도를 더욱 신속하게 전개하고 더 많은 시청자에게 도달하며, 개별 시장에 맞춘 경험을 제공할 수 있다. 동시에 생방송 제작에 필요한 타이밍, 영상 표현, 편집상의 제어도 유지할 수 있다. AI-Media, CAMB.AI, Chyron, Panjaya 각사가 제공하는 기술은 Holoscan for Media를 통해 콘텐츠 현지화의 특정 측면을 지원하며, 나레이션 및 화면상 표현의 적응부터 다국어 자막 및 번역 음성 생성, 그래픽 현지화, 그리고 라이브 및 온디맨드 콘텐츠 전반에 걸쳐 표현 및 아이덴티티 유지에 이르기까지를 포괄한다. 또한 콘텐츠 현지화 기술은 파일 기반, 스트리밍, 포스트 프로덕션 각 애플리케이션에도 대응한다. 개발자는 온디맨드 워크플로우를 위해 애플리케이션 프로그래밍 인터페이스(API)를 이용할 수 있으며, 현지화를 라이브 미디어 환경의 일부로 실행해야 하는 경우 Holoscan for Media의 레퍼런스 워크플로우를 이용할 수 있다. 이들을 조합함으로써 제작부터 배포에 이르기까지, 다국어 미디어 서비스를 구축하기 위한 일관된 기반을 제공한다. NVIDIA Holoscan for Media 및 AI for Media에 대한 자세한 내용은 여기를 확인하기 바란다.