소니 LYNXCOPE, D.LEAGUE 싱크로 심사 지원…PXW-Z280 8대로 댄서 움직임 가시화

©D.LEAGUE 26-27

무대 위 댄서들의 움직임이 모니터 속에서 골격 데이터로 변환된다. 댄서들의 신체에는 센서나 마커가 부착되지 않았다. 무대를 둘러싸듯 배치된 8대의 카메라가 복잡한 움직임을 포착하고, AI가 이를 분석한다.

2026년 10월 6일, 도쿄 오다이바 지역의 TOYOTA ARENA TOKYO에서 프로 댄스 리그 ‘제일생명 D.LEAGUE 26-27 SEASON’이 개막했다. 이번 시즌부터 무대 뒤에서는 소니의 독자적인 마커리스 모션 캡처 기술 ‘LYNXCOPE(링크스코프)’를 활용한 싱크로 심사 지원 시스템 운영이 시작되었다. 개막전 현장에서 그 시스템의 작동 방식과 목적을 취재했다.

D.LEAGUE는 2020년에 출범한 일본발 프로 댄스 리그다. 다양한 장르의 프로 댄서들이 팀을 이루어 인생과 프라이드를 걸고, 순간의 표현의 아름다움과 팀의 일체감을 겨룬다. 그 진검승부는 ‘댄스의 격투기’라고 불러도 좋을 것이다. 26-27 SEASON에는 총 20개 팀이 BLOCK HYPE와 BLOCK VIBE 두 블록으로 나뉘어 정규 시즌을 치르며, 각 블록 상위 3팀, 총 6팀이 CHAMPIONSHIP으로 진출한다.

댄스 평가 항목은 표현력, 구성, 개인 기술, 팀으로서의 일체감 등 다양하다. 그중 하나가 출전하는 8명 전원이 움직임을 맞추는 ‘싱크로 퍼포먼스’다. D.LEAGUE는 이전부터 이를 심사 항목으로 채택해왔지만, 26-27 SEASON부터는 영상 분석을 통한 심사 지원을 추가했다. 여러 카메라 영상에서 댄서의 자세를 추정하고, 움직임의 일치도를 수치화하여 심사위원에게 제시하는 방식이다.

취재 중 흥미로웠던 점은 카메라 자체의 역할이었다. 본래 영상을 기록하고 관객에게 전달하기 위한 촬영 장비가, 여기서는 댄서의 신체 표현을 읽어내는 측정 장비로 사용되고 있었다. 화려한 무대 뒤편에서 소니의 카메라는 영상 제작과는 다른 목적으로 가동되고 있었다.

8대의 PXW-Z280이 포착한 영상을 AI가 골격 데이터로 변환

리허설이 진행되는 현장에서는 조명과 동선 확인이 계속되었고, 무대에서는 큰 음악이 흘러나왔다. 객석 높은 위치와 무대 후방에는 싱크로 심사 지원 시스템 전용 카메라가 설치되었다.

사용되는 카메라는 소니의 전문가용 캠코더 ‘PXW-Z280’ 8대다. 무대 후방에 2대, 정면 객석 구역에 6대를 배치하며, 객석 쪽은 좌측과 우측에 각각 3대씩 분산 배치하여 다른 각도에서 무대 전체를 포착한다. 이전에도 여러 볼류메트릭 비디오 촬영 현장에서 전용 설계 카메라를 본 적이 있었기에, 시판되는 전문가용 캠코더가 그대로 사용된 점은 의외였다.

PXW-Z280은 4K 촬영을 지원하지만, 분석에는 8대 모두 Full HD 영상을 사용한다. 해상도를 높여 정보량을 늘리는 것보다 필요한 자세 추정 정확도와 안정적인 운영의 양립을 중시한 구성이다. 영상 신호 역시 조명, 음향, 영상 장비가 동시에 가동되고 많은 관객이 모이는 장소에서의 안정성을 우선하여 유선으로 전송하고 있다. 무선화는 향후 검토 과제라고 한다.

LYNXCOPE는 여러 대의 카메라 영상을 소니의 독자적인 AI 모델로 분석하여 인물의 자세와 움직임을 데이터화하는 기술이다. 신체에 마커나 센서를 부착할 필요가 없어 의상이나 안무에 제약을 주지 않고 움직임을 포착할 수 있다.

분석용 모니터에는 여러 카메라 영상과 함께, 댄서의 신체를 관절과 선으로 표현한 골격 데이터가 색깔별로 표시되었다. 단순히 인물을 인식하는 것이 아니라, 여러 명의 위치와 자세를 연속적으로 추적하며 서로의 움직임을 비교하기 위한 기초 데이터를 생성하고 있었다.

여기서 과제가 되는 것은 댄서들 간의 겹침이다. 취재 당시 여러 설명을 해준 소니 주식회사 기술센터 총괄 과장 오구라 쇼 씨는 카메라 배치에 대한 생각을 다음과 같이 설명했다.

시스템 구성을 변경하면 동시에 추적하는 인원이나 촬영 범위를 넓히는 것도 가능하다고 한다.

약 10초간의 싱크로를 파형으로 가시화. 심사위원은 영상과 수치를 어떻게 사용할까

D.LEAGUE의 공연은 기본적으로 약 2분간 진행되며, 그 안에 8명의 댄서가 움직임을 맞추는 약 10초간의 싱크로 퍼포먼스가 포함된다. 심사 지원 시스템이 분석하는 것은 이 짧은 구간이다.

취재 당시 한 팀의 리허설을 볼 수 있었다. 카운트다운이 끝나자 댄서들이 음악에 맞춰 일제히 움직이기 시작했고, 섬세한 스텝을 밟으며 위치를 바꾸고 신체의 방향과 높이를 연이어 변경했다. 8명이 고속으로 움직임을 맞추는 구간에서는 미세한 타이밍의 어긋남을 육안만으로 판단하기 어렵다. 이를 보완하는 것이 LYNXCOPE에 의한 싱크로율 가시화다.

현장에는 싱크로 심사 전용석이 마련되었으며, 심사위원 2명과 시스템 조작 담당자 2명, 총 4명 체제로 운영되었다. 심사위원에는 아티스틱 스위밍 심사 경험자가 포함되어, 여러 명의 움직임 일치도를 평가하는 전문적인 시각을 도입했다.

다만, 심사위원이 보는 화면은 기술자용 골격 표시와는 다르다. 8대 카메라에서 선택한 3개의 영상과, 싱크로율을 시간 축에 따라 보여주는 파형을 조합한 구성이다.

파형은 약 10초간의 연기 중 어디를 중점적으로 다시 봐야 하는지를 알려주는 가이드 역할을 한다. 하지만 싱크로율이 그대로 심사 결과가 되는 것은 아니다. 심사위원은 먼저 실제 연기를 육안으로 평가하고, 필요에 따라 영상과 파형을 참조한다. 기술이 판단을 대신하는 것이 아니라, 인간이 확인할 수 있는 정보를 늘리기 위한 시스템이다.

지난 시즌 검증에서는 심사위원이 놓쳤던 움직임의 어긋남을 시스템이 포착한 사례도 있었다고 한다. 영상을 다시 보는 것만으로는 발견하기 어려운 작은 차이를 수치와 함께 확인할 수 있다는 점이 이 시스템의 강점이라고 할 수 있다.

복잡한 포즈, 의상, 조명. 댄스 특유의 어려움에 도전한 개발

그렇다면 LYNXCOPE는 왜 이토록 복잡한 댄스의 자세를 포착할 수 있게 된 것일까. 오구라 씨와 소니 주식회사 크리에이티브 인큐베이션 부문 총괄 과장 야마다 토오루 씨에게 이야기를 들어보니, 기존의 인물 인식 기술을 그대로 가져온 시스템이 아니라는 것을 알 수 있었다.

영상에서 인물의 자세를 추정하는 기본 기술에는 스포츠 분야 등에서 사용되는 분석 기술과 공통되는 부분이 있다. 하지만 댄스에는 일상적인 동작과는 크게 다른 자세가 많이 나타난다.

예를 들어, 브레이킨(브레이크 댄스)처럼 몸을 낮게 유지하는 움직임이나, 손발이 교차하는 포즈, 격렬한 회전은 자세 추정을 어렵게 한다. 더불어 명암이 시시각각 변하는 무대 조명이나, 색이나 형태로 인해 손발의 위치를 구분하기 어렵게 만드는 의상도 정확도에 영향을 미친다.

이에 소니는 D.LEAGUE의 경기 현장에서 영상을 반복적으로 획득하고 학습 데이터로 축적해왔다. 필요한 장면에서는 수작업으로 신체 위치를 지정하는 정답 데이터도 작성하여 정확도 향상으로 이어지게 했다.

개발 초기에는 댄서의 자세를 제대로 얻지 못하는 경우가 적지 않았다고 한다. 카메라 촬영 조건을 재검토하고 복잡한 조명 하에서 촬영한 영상을 학습에 추가함으로써 개선이 진행되었으며, 지난 시즌 검증에서는 싱크로 구간에서 자세 추정이 끊기는 장면은 거의 보이지 않게 되었다고 한다. 한편, 자세 추정의 정확도를 나타내는 통일된 수치는 공개되지 않았으며, 시즌을 통한 평가와 검증은 앞으로도 필요하다.

또 하나 주목할 점은 팀별 안무를 정답 데이터로 사전에 등록하고 있지 않다는 것이다. LYNXCOPE는 정해진 안무를 정확하게 재현했는지를 판정하는 시스템이 아니다. 같은 시간에 춤추는 여러 댄서의 움직임을 포착하여 그 일치도를 분석한다. 따라서 처음 선보이는 안무라도 움직임이 얼마나 잘 맞춰졌는지라는 관점에서 평가에 도움이 되는 정보를 생성할 수 있다. 안무 자체의 우열을 판단하는 것은 아니다.

8대 카메라의 배치와 촬영 설정, 안정적인 영상 전송, 그리고 경기 현장에서 축적한 학습 데이터. AI 모델의 성능뿐만 아니라 영상 제작에서 쌓아온 촬영 노하우를 포함한 다양한 요소를 축적함으로써 심사를 지원할 수 있는 시스템으로 완성했다는 것을 엿볼 수 있다.

싱크로율만으로 댄스를 평가할 수는 없다. 인간과 기술이 목표하는 심사의 미래

D.LEAGUE는 왜 움직임의 일치도를 수치화하여 심사의 참고 정보로 도입하려고 했을까. D.LEAGUE 심사위원국 국장 나카지마 야스요시 씨는 스트리트 댄스가 가진 표현의 다양성과 관객에게 전달하기 쉬운 평가 기준의 양립을 중시한다고 말한다.

주식회사 D리그 대표이사 COO 칸다 칸타로 씨 역시 이번 발표에 보낸 코멘트에서 싱크로 퍼포먼스를, 높은 기술을 가진 댄서들의 ‘맞춰진 아름다움’을 전달하는 연출인 동시에, 관객에게도 직관적으로 전달되는 객관적인 평가 기준으로 위치시키고 있다. 댄스 심사에는 보는 사람의 지식이나 취향에 따라 좌우되는 부분이 있어 결과에 대한 납득감을 얻기 어려운 경우도 있다. 싱크로율이라는 정보가 더해지면, 어느 장면에서 움직임이 맞춰졌고 어디서 어긋남이 발생했는지를 보여주기 쉬워진다.

다만, 수치가 높다고 해서 반드시 훌륭한 댄스라고 할 수는 없다. 느린 움직임을 맞추는 연기와, 고속의 복잡한 움직임을 맞추는 연기는 일치도가 비슷하더라도 요구되는 기술과 난이도가 다르다. 현재 LYNXCOPE를 활용한 싱크로 심사 지원 시스템은 그 차이까지 포함하여 댄스의 완성도를 평가하는 것은 아니다.

소니와 D.LEAGUE는 시즌을 통해 LYNXCOPE의 산출 결과와 심사위원의 평가와의 일관성을 검증하고 향후 활용 방안을 검토해 나갈 방침이다.

소니는 D.LEAGUE의 스폰서로서 이러한 기술 활용을 추진해왔다. 2026년 4월 5일에는 요코하마에서 ‘KADOKAWA DREAMS × Sony Special Live’를 주최하고, 마커리스 모션 캡처 기술을 활용한 싱크로 판정 및 댄스 연출을 선보였다. 이번 싱크로 심사 지원 시스템은 이러한 실증적인 노력을 발전시킨 것이라고 할 수 있다.

기술의 용도는 심사에만 국한되지 않는다. 신체에 마커를 부착하지 않고 움직임을 데이터화할 수 있다는 특징은 안무 분석 및 연습 지원, 영상 연출, 캐릭터 애니메이션 등에도 활용될 가능성이 있다.

인터뷰에서는 미래상에 대한 이야기도 나왔다. 나카지마 씨가 기대하는 것은 싱크로율에 움직임의 난이도를 결합한 평가나, 음악과 댄스의 관계, 장르별 역사적 배경까지 고려할 수 있는 시스템이다. AI가 댄스의 맥락까지 이해하고 평가 이유를 설명할 수 있게 된다면, 관객의 납득감도 높아지지 않을까 하는 생각이다. 야마다 씨 역시 현재의 자세 추정과 싱크로 분석에 더해, 장기적으로는 자세 외의 정보도 다루어 댄스를 보다 다면적으로 이해하는 기술로 발전시키고 싶다고 말했다. 둘 다 현재 실현된 기능은 아니며, 향후 기술 개발을 통해 댄스의 복잡한 표현을 어디까지 포착할 수 있을지가 주목된다.

소니 주식회사 크리에이티브 인큐베이션 부문장 하제모토 오사무 씨는 이번 발표에 보낸 코멘트에서 댄서 개개인의 높은 신체 표현과 팀이 만들어내는 일체감을 새로운 시각에서 가시화하여, 댄스의 깊이와 매력을 더 많은 사람들에게 전달해 나갈 것이라고 밝혔다.

LYNXCOPE가 제시하는 싱크로율은 연기의 가치를 결정하는 유일한 답이 아니다. 하지만 인간의 눈만으로는 따라잡기 어려운 움직임을 다른 시각에서 가시화하고, 심사의 판단 재료를 늘리는 것에는 큰 의미가 있다. 무대 위에서 8명의 댄서가 음악에 맞춰 춤추는 그 주변에서, 8대의 PXW-Z280은 퍼포먼스를 데이터로 포착하고 있었다. 카메라는 영상을 기록하는 도구인 동시에, 표현을 읽어내는 센서가 될 수도 있다. D.LEAGUE에서 시작된 LYNXCOPE를 활용한 싱크로 심사 지원 시스템의 운영은, 영상 기술이 엔터테인먼트를 지원하는 새로운 역할을 보여주고 있다.

---