소니 리모트 카메라, 농구 경기 자동 추적 기능 실전 검증

서론

농구는 일본 내에서 야구, 축구 다음으로 인기 있는 스포츠 중 하나다. 최근 NBA에서 활약하는 일본인 선수의 등장과 국내 프로 리그인 B.LEAGUE의 발전, 그리고 3인제 농구 ‘3×3’이 올림픽 정식 종목이 된 것을 배경으로 농구에 대한 관심이 매년 높아지고 있다. 또한, 인터넷 방송의 보급으로 현장에서만 관람할 수 있었던 경기를 실시간으로 시청할 기회가 크게 늘었다.

현재 B.LEAGUE뿐만 아니라 고교 윈터컵, U15 클럽팀 전국 대회, 심지어 U12 카테고리인 미니 농구 전국 대회에 이르기까지 다양한 연령대의 경기가 라이브로 중계되고 있다.

한편, 이러한 라이브 방송 확대의 현장에서는 만성적인 인력 부족이라는 과제를 안고 있다. 농구는 코트 내 전개가 매우 빠르기 때문에, 경기 경험이나 촬영 경험이 적은 오퍼레이터가 적절한 구도를 유지하기 어렵다. 따라서 일정 수준 이상의 방송을 위해서는 숙련된 카메라맨이 필요한 경우가 많으며, 특히 육성 연령대의 대회나 지역 대회에서는 인력 확보와 예산 문제가 큰 장벽이 되고 있다.

필자는 라이브 방송 및 영상 제작 업무에 종사하는 동시에, 주말에는 미니 농구팀 코치 및 심판으로 활동하고 있다. 또한, 3×3 국내 대회나 고교 윈터컵 지역 예선 결승 리그 등 농구 경기의 라이브 방송에도 참여해 왔다. 경기의 매력을 더 많은 사람에게 전달하기 위해서는 라이브 방송 환경의 더욱 폭넓은 보급이 필수적이다.

그리고 이를 실현하기 위해서는 더 적은 인원으로도 고품질의 방송을 할 수 있는 시스템이 요구된다. 그러던 중, 소니의 리모트 카메라에 농구 경기에 대응하는 새로운 자동 추적 기능이 탑재되었다는 소식이 들려왔다. AI 기술을 활용하여 공과 선수의 움직임을 분석하고 자동으로 최적의 구도를 유지하는 기능이다.

이번에는 운 좋게 이 새로운 기능을 실제 농구 대회에서 시험해 볼 기회를 얻었다. 본고에서는 미니 농구 대회 및 중학교 대회에서의 검증을 통해 자동 추적 기능이 농구 방송의 인력 절감에 어느 정도 기여할 수 있는지 보고한다.

AI를 활용한 농구 자동 추적 기능

이번에 검증한 것은 소니 리모트 카메라에 새롭게 탑재된 농구 경기용 자동 추적 기능이다. 이 기능은 소니가 ‘AI 애널리틱스’라고 부르는 영상 분석 기술을 활용하여, 코트 라인과 공의 위치, 선수의 움직임을 실시간으로 인식하면서 경기 영상으로서 자연스러운 구도가 되도록 자동으로 팬(pan), 틸트(tilt), 줌(zoom) 제어를 수행하는 것이다.

기존의 자동 추적 카메라는 특정 인물을 쫓거나 미리 설정된 영역 내에서 피사체를 추종하는 용도가 중심이었다. 하지만 농구 경기에서는 항상 10명의 선수와 공이 빠르게 움직이기 때문에 단순히 공만 쫓아서는 안 된다. 예를 들어, 숙련된 스포츠 카메라맨은 공의 위치뿐만 아니라 선수 간의 위치 관계와 플레이의 흐름을 보면서 구도를 결정한다. 공이 패스되기 전 단계부터 다음 전개를 예측하고, 슛이나 속공이 발생할 것 같은 공간을 미리 화면 안에 담음으로써 시청자가 보기 편한 영상을 만들어내는 것이다.

특히 농구는 공수 전환이 매우 빠른 경기다. 리바운드 후 속공이나 긴 패스를 통한 전개에서는 순식간에 코트 반대편으로 플레이가 이동하는 것도 드물지 않다. 따라서 스포츠 중계 중에서도 카메라 워크의 난이도가 높은 경기 중 하나라고 할 수 있다.

이번에 소니가 추가한 농구용 구기 모드는 이러한 경기 특성을 고려하여 화각을 자동 제어하는 것을 목표로 한다. 만약 실용적인 수준의 추적 성능이 실현되었다면, 기존에 카메라맨이 담당했던 역할의 일부를 자동화할 수 있을 가능성이 있다. 특히 인력이나 예산 확보가 어려운 육성 연령대의 대회나 지역 대회에서는 그 혜택이 클 것이다. 과연 실제 경기 환경에서 어느 정도까지 자연스러운 영상을 생성할 수 있을까. 이번에는 미니 농구 대회 및 중학교 대회에서의 검증을 통해 그 실력을 확인해 본다.

실제 경기에 사용해 보니

이번 검증에서는 이 기능을 실제 농구 대회에 투입하여 추적 성능과 방송 운영상의 유효성을 확인했다. 검증 대상으로 선택한 것은 필자가 소속된 스포츠 소년단 팀이 참가하는 미니 농구 대회 시내 남녀 결승전이다. 미니 농구는 일반 카테고리와 비교하여 코트 사이즈와 골 높이가 다르지만, 소니에 따르면 이 기능의 작동에는 영향을 미치지 않는다고 했다. 그러나 갑자기 실제 환경에서 검증을 진행하는 것에 대한 불안감도 있었다. 따라서 본 방송에 앞서, 필자의 딸이 출전하는 중학교 농구 대회에서 사전 테스트를 실시하기로 했다.

먼저 테스트 촬영으로 기본적인 추적 성능과 화각의 경향을 확인하고, 그 결과를 바탕으로 미니 농구 대회 본 방송 라이브 중계에 임하는 흐름이었다. 이번 검증에서는 다음의 항목들을 중심으로 확인을 진행했다.

이 항목들에 대해 테스트 촬영 및 본 방송 모두에서 평가를 진행했다.

장비 구성 (테스트 촬영)

이번에 소니로부터 대여받은 것은 광학 20배 줌 렌즈를 탑재한 PTZ 자동 프레이밍 카메라 ‘SRG-A40’이다. 이 구기 모드에 대응하는 모델로는 동사의 플래그십 모델인 BRC-AM7도 라인업되어 있다.

하지만 이번 검증 테마는 육성 연령대 대회나 지역 대회에서의 인력 절감 방송이다. 실제 도입 장면을 고려하면, 더 도입하기 쉬운 가격대의 모델로 검증하는 것이 의미가 크다고 판단하여 이 기기를 선택했다.

테스트 촬영을 진행한 중학교 대회는 사이타마시 내 공공 체육관에서 개최되었다. 이번에는 보호자로서 관람하는 입장이었기 때문에 코트 레벨에서의 촬영은 하지 않고, 관중석에서 촬영을 진행했다. 전원에는 300Wh 클래스의 휴대용 전원을 사용했다. 체육관에 따라 전원 확보가 어려운 경우도 있기 때문에, 이러한 구성으로 운용할 수 있는지 여부도 확인하고 싶었던 포인트 중 하나였다. 또한, 이 기기에는 마이크가 내장되어 있지 않기 때문에, 환경음 녹음용 외부 마이크를 사용했다. 영상 확인 및 녹화에는 모니터 일체형 레코더를 사용했으며, 설정용 PC와는 LAN 케이블로 직접 연결했다.

카메라 자동 프레이밍 설정

설정은 일반적인 PTZ 카메라와 마찬가지로, 동일 네트워크상의 PC에서 웹 브라우저를 통해 접속하여 진행한다.

먼저 PTZ 자동 프레이밍 설정의 프레이밍 모드 메뉴에서 구기(농구)를 선택한다.

이어서 코트 정보를 등록한다. 설정 작업에서는 카메라의 팬, 틸트, 줌을 조작하면서 코트 네 모서리와 사이드라인 중앙부를 화면 안에 맞춘다. 카메라의 화각에 코트 전체가 비치지 않아도 PTZ 조작을 통해 네 모서리를 설정하면 된다. 코트 설정이 완료되면 메인 화면에서 자동 프레이밍을 활성화하는 것만으로 자동 추적이 시작된다. 코트 설정 후 카메라를 움직이면 설정을 다시 해야 하므로, 코트 설정 전에 카메라 위치를 결정해 두는 것이 중요하다.

테스트 결과

딸의 경기는 대회 첫날 첫 번째 경기였기 때문에, 경기장 도착부터 경기 시작까지 시간이 많지 않았다. 사전에는 설정 작업에 시간이 걸릴 것을 예상했지만, 실제로는 장비 설치부터 코트 설정, 자동 추적 시작까지 포함하여 약 20분 만에 준비를 완료할 수 있었다. 이번 대회에서는 첫 경기를 보조 경기장에서, 2차전은 3면으로 구성된 메인 경기장에서 촬영했다. 보조 경기장은 1면만 운영했기 때문에 특별한 문제는 없었지만, 흥미로웠던 것은 2차전이었다. 촬영 대상 코트 앞에서는 다른 두 경기가 동시에 진행되고 있어, 화면 안에 여러 코트와 많은 선수들이 비치는 환경이었다.

촬영 전에는 AI가 앞쪽 코트의 선수나 공에 반응하여 잘못된 추적을 할 가능성을 우려했다. 하지만 실제 촬영에서는 그러한 움직임을 보이지 않았고, 대상 코트를 안정적으로 계속 추적했다. 결과적으로 라이브 방송 용도로는 충분히 실용적인 영상이 얻어졌으며, 본 방송에 대한 성능상의 불안감을 해소하는 결과가 되었다.

장비 구성 (본 방송)

테스트 촬영에서 충분한 가능성을 확인한 후, 본 방송인 미니 농구 시내 대회 결승전에서 라이브 방송을 실시했다.

구기 모드에서의 자동 프레이밍을 수행할 경우, 카메라 위치는 코트 사이드의 사이드라인으로부터 1.5m 이상, 높이 1m 이상에 카메라를 설치해야 한다. 하지만 경기장이었던 체육관에는 코트 사이드에 관중석이 없었기 때문에, 카메라는 TO석 후방 바닥에 설치했다.

이 설치 장소는 업 코트의 일부로 사용되기 때문에, 경기 시작 직전까지 장비를 설치할 수 없었다. 따라서 제한된 시간 안에 장비 설치부터 코트 설정, 자동 추적 확인까지 완료해야 했다.

하지만 실제로는 카메라 설치부터 자동 프레이밍 설정까지 포함해도 큰 혼란 없이, 혼자서 문제없이 준비를 완료할 수 있었다. 테스트 촬영을 통해 조작 절차를 파악하고 있었던 점도 있지만, 이 기능의 도입 및 운영에 특별한 부담은 느끼지 못했다.

이번 방송에서는 스코어 표시용 영상으로 디지털 타이머를 별도 카메라로 촬영하여 라이브 방송 시스템 측에서 합성했다. 구체적으로는 TO석 맞은편에 설치된 디지털 타이머를 PXW-X70으로 촬영하고, vMix에서 필요한 부분을 잘라내어 스코어 표시로 배치했다. 그 영상을 메인 카메라 영상과 합성하여 LiveU를 통해 YouTube로 송출했다.

농구에서는 경기 시간뿐만 아니라 쿼터 종료 직전의 남은 시간, 샷 클락 등 시간 정보가 경기 흐름을 이해하는 데 중요한 요소다. 특히 후반의 접전에서는 0.1초 단위의 표시가 승패를 좌우하는 경우도 있기 때문에, 시청자에게 타이머 표시는 필수적인 정보이다.

본래는 경기용 스코어 시스템에서 영상 신호나 데이터를 받아 연동하는 것이 이상적이지만, 육성 연령대의 대회나 지역 대회에서는 그러한 장비가 갖춰져 있지 않은 경우가 많다. 따라서 디지털 타이머를 별도 카메라로 촬영하고 방송 소프트웨어에서 잘라내어 표시하는 방식은 현재에도 비교적 저예산 농구 방송 현장에서 널리 채택되고 있다.

방송 결과

결과적으로 방송은 대체로 성공했다. 자동 추적 기능은 2경기 동안 안정적으로 작동했으며, 경기 진행에 지장을 줄 만한 추적 오류는 발생하지 않았다. 남녀 모두 1점 차로 승부를 겨루는 치열한 경기가 펼쳐졌다.