Adobe Premiere AI 진화: 영상·음성 생성부터 분리까지

부족한 영상을 타임라인 위에서 만들기

가장 먼저 눈에 띈 것은 생성 미디어 도구를 활용한 영상 생성 데모였다. 아웃도어 제품 광고를 소재로, 촬영된 영상만으로는 부족한 샷을 Premiere 안에서 보충해나갔다.

조작은 일반적인 편집 작업의 연장선상에 있다. 타임라인에서 영상을 삽입할 범위를 지정하면 생성용 작업 표시줄이 나타나고, 만들고 싶은 영상을 프롬프트로 지시한다. 프로젝트 내의 프레임을 참조 이미지로 사용할 수 있어, 기준이 되는 컷을 추출하여 다른 생성 AI 서비스로 옮길 필요가 없다.

데모에서는 앞뒤 컷을 참조하며 편집 흐름을 이어주는 드론 샷을 생성했다. 주목할 점은 ‘AI로 영상을 만들 수 있다’는 사실 자체보다는, 이미 구성된 편집의 맥락에서 참조 프레임을 가져와 해당 위치에 필요한 영상을 타임라인 위에서 만들 수 있다는 점이다.

모델을 전환하며 결과를 비교해 볼 수 있다는 점도 실용적이다. 생성 AI를 사용하기 위해 Premiere를 떠나는 것이 아니라, 편집하고 있는 장소 자체가 생성의 입구가 되고 있다.

영상을 기준으로 ‘소리 만들기’

개인적으로 영상 생성보다 더 매력적이었던 것은 같은 생성 미디어 도구로 효과음을 만드는 데모였다. 화면에는 야외에서 여성이 재킷의 지퍼를 움직이는 영상이 비춰지고 있었다. 효과음을 추가할 범위를 타임라인에서 지정하면, 그 자리에서 생성 조건을 설정할 수 있다.

데모에서는 지퍼 움직임에 맞는 금속적인 효과음을 생성하도록 지시했다. 핵심은 ‘비디오 동기화’와 ‘가이드 녹음’이라는 두 가지 옵션이다. ‘비디오 동기화’는 영상 내 움직임을 참조하여 동작에 맞는 타이밍으로 효과음을 생성한다. ‘가이드 녹음’에서는 자신의 목소리 등으로 녹음한 참조음을 리듬, 타이밍, 강약 등을 결정하는 가이드로 사용할 수 있다.

기존에는 효과음 라이브러리에서 후보를 찾고, 들어보고, Premiere로 불러와 영상 움직임에 맞춰 위치와 길이를 조정해야 했다. 데모에서는 필요한 위치를 지정하고, 원하는 소리를 전달하며, 영상 움직임에 맞추는 과정까지 타임라인 위에서 완결되었다. ‘소리를 만들고 영상에 맞추는’ 것이 아니라, ‘영상을 기준으로 어울리는 소리를 만드는’ 것으로 순서가 바뀌고 있다.

베타 버전에는 ‘사운드스케이프 생성’도 준비되어 있다. 최대 15초의 영상을 분석하여 내용에 맞는 환경음이나 효과음을 겹친 오디오를 생성하는 기능이다. 하나하나의 소리를 찾는 것이 아니라, 영상 자체를 소리 만들기의 단서로 삼는다. 템포나 루프를 지정할 수 있는 ‘음악 생성’도 베타 버전에서 제공되며, 타임라인 내에서 다룰 수 있는 생성 오디오의 폭이 넓어지고 있다.

가장 놀라웠던 것은 ‘소리를 분리하는’ AI

생성과는 반대 방향의 접근으로, 이번에 가장 강한 인상을 남긴 것은 녹음된 소리를 분리하는 ‘크로스토크 분리’였다.

실연에 사용된 것은 두 사람이 동시에 말하는 영상이었다. 녹음 조건은 결코 좋지 않았다. 카메라 측 마이크로 녹음되었고, 주변에서는 다양한 소리가 울리고 있었다. 원본 클립을 재생하면 대화는 배경음에 묻혀 듣기 어려웠다. 파형을 봐도 두 사람의 목소리와 배경음은 하나의 오디오 클립 안에서 섞여 있었다.

프레젠터가 클립을 선택하고 속성 패널에서 ‘크로스토크 분리’를 실행하자, 타임라인에는 ‘화자 1’, ‘화자 2’, ‘배경음’ 세 개의 오디오 트랙이 생성되었다. 노이즈를 줄여 목소리를 듣기 쉽게 하는 처리와는 다르다. 섞여버린 음성을 분석하여 두 화자와 배경음을 각각 독립적인 소재로 다룰 수 있는 상태로 만들고 있는 것이다.

현장은 주변 소음도 컸기 때문에, 분리된 화자의 음성에 강조 처리를 하고 레벨을 올린 후 결과를 확인했다. 한쪽 화자의 트랙을 솔로 재생하면, 원본 음성에서 겹쳐 있던 두 사람 중 해당 인물의 목소리만 들을 수 있었다.

다른 화자로 전환하면 이번에는 반대편 인물의 목소리가 들린다. 둘 다 동시에 재생하면 원본 소재와 같이 두 사람의 발언이 겹쳐 들린다. 처음부터 별도의 마이크로 녹음된 소리를 전환하는 것이 아니다. 하나의 오디오에 겹쳐 기록된 목소리를 나중에 화자별 트랙으로 분리하는 것이다.

인터뷰에서 질문자와 답변자의 목소리가 겹친 장면을 생각해 보자. 같은 트랙에 겹쳐 녹음되었다면, 지금까지는 나중에 한쪽만 조정하는 것이 어려웠다. 별도 트랙으로 다룰 수 있다면, 한쪽 발언만 사용하거나, 한쪽의 레벨을 낮추거나, 화자별로 다른 처리를 하는 등의 편집이 가능해진다. 로케이션 촬영이나 인터뷰, 다큐멘터리 등 다시 찍을 수 없는 소재일수록 가치가 큰 기능이다.

AI 오디오 처리라고 하면 ‘노이즈를 제거하는’ 기능을 떠올리기 쉽다. 하지만 ‘크로스토크 분리’는 불필요한 소리를 제거하는 것이 아니라, 먼저 소리를 요소별로 분리하고 편집자가 필요한 것을 다시 선택할 수 있는 상태로 되돌린다. 생성 영상과는 다른 의미로, 일상적인 편집 현장에서 사용할 장면을 구체적으로 상상할 수 있는 AI 기능이었다. 동시에 발표된 AI 오디오 기능에는 대사, 음악, 환경음, 효과음을 개별적으로 조정할 수 있는 ‘Enhance Audio’와, 키프레임을 찍지 않고 대사와 음악 등의 균형을 자동 조정하는 ‘Dynamic Auto Ducking’도 있다.

실무에서 신경 쓰이는 생성 크레딧과 제공 상황

Premiere 26.5에서는 생성 미디어 도구가 제품 버전에 탑재되어 영상과 효과음 생성을 타임라인에서 이용할 수 있다. 반면 ‘음악 생성’, ‘사운드스케이프 생성’, ‘크로스토크 분리’ 등은 Premiere (Beta)에서 시험해볼 수 있는 단계다. 제품 버전과 베타 버전은 별도로 설치할 수 있어, 평소의 제작 환경을 유지한 채 새로운 기능을 시험해볼 수 있다.

신경 쓰이는 것은 생성 AI를 실무에 도입할 때의 ‘생성 크레딧’이다. 현장에서의 설명에 따르면, 생성 미디어 도구에서 사용하는 각 모델은 Adobe 계정 측에서 통합 관리되며, 모델별로 개별 계약을 준비할 필요는 없다. 실제 화면에서는 모델이나 생성 조건을 선택하면 실행 전에 필요한 크레딧 수가 표시되었다. 모델을 전환하면 필요 수도 변하고, 해상도나 길이에 따라서도 소비량이 변화한다. 비용을 확인하면서 생성 조건을 선택할 수 있는 것이다.

생성 AI에서는 ‘무엇을 만들 수 있는가’에 시선이 가기 쉽다. 하지만 제작 현장에 도입하려면, 어떤 모델을 사용하고, 1회 생성에 얼마나 많은 크레딧이 필요한지, 프로젝트 전체에서 얼마나 소비할지 등 운영적인 측면도 빼놓을 수 없다. IBC 데모에서는 그러한 비용 관리 시스템까지 편집 화면 안에 통합되어 있었다.

편집 준비 및 표현식을 담당하는 AI 어시스턴트

Premiere에는 AI 어시스턴트도 베타 버전으로 탑재되어 있다. 자연어 지시를 통해 빈 생성 및 소재 정리, 클립 이름 변경, 컬러 라벨 및 마커 추가, 스트링 아웃 및 러프 어셈블리 생성 등의 작업을 지원한다.

같은 개념은 After Effects로도 확장되었다. 새로이 베타 버전으로 추가된 AI 어시스턴트는 열려 있는 컴포지션뿐만 아니라 프로젝트 전체를 대상으로 구성 정리, 표현식 생성 및 디버깅, Adobe Firefly 등을 사용한 이미지나 영상 생성을 자연어로부터 실행할 수 있다.

IBC 데모에서는 컴포지션을 사용하여 어시스턴트와의 대화를 통해 구성 및 각 요소를 조정했다. 화면 오른쪽에는 어시스턴트와의 대화가 나열되고, 왼쪽에는 다수의 레이어로 구성된 컴포지션이 표시된다.

두 어시스턴트 모두 AI에게 작품 전체를 만들게 하기 위한 것이 아니다. 소재 정리나 어떤 파라미터를 조작하고 어떤 표현식을 작성해야 하는지 조사하는 수고 등, 편집자나 모션 디자이너가 본래의 작업에 들어가기까지의 과정을 줄여주는 역할을 담당한다.

Frame.io에서도 같은 방향성을 볼 수 있다. Frame.io Mounted Storage가 모든 계정에서 이용 가능해졌으며, Frame.io상의 풀 해상도 미디어를 수동으로 다운로드할 필요 없이 클라우드에서 직접 Premiere 타임라인으로 스트리밍할 수 있게 되었다.

또한, Frame.io V4는 일본어 UI도 지원한다. 편집자뿐만 아니라 확인을 요청하는 클라이언트나 제작 관계자까지 같은 환경을 사용한다고 생각하면, 국내 제작 현장에 실질적인 변화다.

‘제작 흐름을 멈추지 않는’ AI

부족한 영상을 만들고, 영상 움직임에 맞는 소리를 만들고, 겹친 목소리를 분리한다. 소재를 정리하고 기술적인 조작을 대신한다. 그리고 클라우드상의 소재에 그대로 접근한다. 이번 Adobe 부스를 둘러보며 느낀 것은, 생성 AI가 편집 소프트웨어 옆에 놓인 특별한 기능이 아니라, 편집 조작 자체에 녹아들기 시작했다는 것이다.

IBC 2026에서 보인 Adobe의 변화는 ‘생성할 수 있는 것이 늘었다’는 것에 그치지 않는다. 제작 도중에 다른 앱이나 서비스로 이동하여 소재를 찾고, 내보내고, 다시 불러오는. 그 왕복 자체를 줄이려고 하고 있다. Premiere, After Effects, Frame.io에 걸친 이번 업데이트를 하나의 선으로 이었던 것은 ‘제작 흐름을 멈추지 않는다’는 방향성이었다.