[Behind the CHIP] 카메라 없이 만드는 영상 제작의 시대, 생성형 AI가 이끄는 창작의 혁신

영화 제작은 오랜 세월 동안 기술적 발전과 함께 진화해 왔다. 필름에서 디지털로의 전환이 그러했고, 최근에는 생성형 인공지능(AI) 기술이 또 하나의 혁신을 이끌고 있다. 과거 영화, 영상 제작은 카메라, 조명, 배우, 그리고 대규모 스태프가 필수였지만, 이제는 AI 기술이 이러한 작업들을 대체하고 있다. 특히, AI 기반의 *Text-to-Video 기술은 복잡한 시각 효과나 애니메이션 작업을 손쉽게 수행할 수 있도록 돕는다. 이는 소규모 팀이나 독립 영화 제작자들이 대규모 예산 없이도 고품질의 영상을 제작할 수 있게 하는 핵심 기술로 자리 잡고 있다.

*Text-to-Video 기술: 지시어, 프롬프트와 같은 텍스트를 입력하면 텍스트와 일치하는 비디오를 생성하는 기술

생성형 AI의 또 다른 장점은 작업의 속도와 효율성이다. 과거에는 수개월에서 수년이 걸렸던 영상 제작 작업들이 AI 기술만 있다면, 몇 주, 혹은 며칠 만에 완료될 수 있다. 이 기술은 단순한 작업 속도의 향상뿐만 아니라 창작 과정 자체의 변화를 촉발하고 있으며, 영상 제작의 접근성을 크게 향상시키고 있다.

아래 영상 캡처화면은 필자가 진행한 ‘하루 만에 인공지능으로 단편영화 만들기’ 클래스에 참여한 분들의 작품이다. 영화나 영상을 전문적으로 접하지 않은 이들도 생성형 AI를 활용하면 전문적인 작품을 만들 수 있게 된다.

.

생성형 AI를 활용한 영상 제작 서비스

현재 생성형 AI를 활용한 다양한 영상 제작 서비스들이 등장하고 있다. 이 서비스들은 텍스트 입력만으로도 이미지나 동영상을 만들어내거나, 기존의 영상을 재구성하는 등 다양한 기능을 제공하고 있다. 대표적인 서비스는 다음과 같다.

런웨이(Runway)

런웨이(Runway)의 생성형 영상 제작 모델(현재까지 Gen-3 Alpha Turbo모델까지 출시)은 프롬프트를 기반으로 영상을 생성하는 기술이다. 이 기술은 사용자가 원하는 프롬프트를 입력하면 그에 맞는 영상 또는 이미지를 자동으로 생성할 수 있다. 이를 통해 복잡한 시각 효과 작업을 최소한의 시간과 비용으로 완성할 수 있다.

미드저니(MidJourney)

미드저니(MidJourney)는 주로 이미지 생성에 특화된 AI 서비스로, 사용자가 텍스트로 설명한 이미지를 생성해 준다. 다양한 영상 프로젝트에서 포스터 제작, 콘셉트 아트 제작 등에 활용될 수 있다. 특히 미드저니에서 제작한 고화질, 고품질의 이미지를 런웨이와 같은 모델을 활용할 수 있다. 이미지를 첨부하여 프롬프트를 작성하면 해당 이미지를 영상 콘텐츠로 쉽게 제작할 수 있게 된다.

에뮤 비디오(Emu Video)

에뮤 비디오(Emu Video)는 텍스트 기반의 동영상 생성 기술을 제공하는 서비스이다. 이를 통해 기존의 영상에 새로운 효과를 추가하거나, 전혀 새로운 장면을 만들어낼 수 있다. 특히 예산이 적은 독립 영화나 소규모 프로젝트에서 큰 강점을 보인다.

이 외에도 달리(DALL·E)와 같은 프로그램들은 영상뿐만 아니라 이미지 생성에서도 뛰어난 성능을 보여주며, 다양한 창작 분야에서 활용되고 있다.

.

생성형 AI와 영화의 관계성

생성형 AI는 영화나 영상 제작 전반에 걸쳐 큰 영향을 미치고 있다. 특히, 2023년에 개봉한 <에브리씽 에브리웨어 올 앳 원스>는 인공지능 기술을 통해 완성된 대표적인 영화로 손꼽힌다. 이 영화는 다중 유니버스 속에서 벌어지는 복잡한 시각 효과를 구현해야 했지만, 단 6명의 시각 효과 아티스트만이 이 작업을 담당하였다. 이처럼 적은 인원이 대규모의 시각 효과 작업을 처리할 수 있었던 이유는 런웨이 생성형 AI 기술 덕분이다. 또한 이 영화는 생성형 AI가 영화 제작의 효율성을 얼마나 극대화할 수 있는지를 잘 보여주는 사례이기도 하다. AI 기술을 통해 그린스크린 합성, *로토스코핑, 그리고 포스터 제작까지 모두 처리해 비용 절감과 시간 단축을 동시에 이루어냈다. 이러한 사례들은 영화 제작 과정에서 AI 기술이 얼마나 필수적인 도구로 자리 잡고 있는지를 보여준다

*로토스코핑: 실사 이미지의 외형선을 한 프레임씩 따라 그려 만드는 애니메이션 기법

생성형 AI 기술은 단순한 작업 도구가 아니다. 이 기술은 창작의 한계를 넘어서고 있으며, 영화 제작자들에게는 새로운 가능성을 열어주고 있다. 특히, 모션 캡처 기술은 배우들이 장비를 착용하지 않아도 AI가 자동으로 3D 캐릭터로 변환해 주는 기술로 진화하고 있다. 이는 영화 제작의 비용 절감뿐만 아니라, 배우들에게도 보다 자유로운 연기를 가능케 한다.

예를 들어, 과거 영화 <아바타> 시리즈에서는 배우들이 모션 캡처 장비를 착용하고 연기를 해야 했지만, 최근 등장한 AI 기반 모션 캡처 기술은 이러한 과정을 모두 자동화하였다. 현재 Wonder Dynamics와 같은 회사들은 AI를 활용해 모션 캡처 장비 없이도 배우의 동작을 분석하고, 이를 3D 캐릭터로 변환해 주는 서비스를 제공하고 있다. 특히, 이러한 기술들은 블록버스터 영화에서 높은 가치를 가지며, 상상 속 캐릭터를 현실적으로 구현하는 데 큰 도움을 주고 있다.

더 나아가, AI 기반 더빙 기술은 영화의 원어를 다른 언어로 자동 번역하고, 립싱크까지 맞춰주는 기술로 진화하고 있다. 이는 글로벌 시장을 목표로 하는 영화 제작자들에게 매우 유용한 기술로, 다양한 국가의 관객들에게 더 자연스러운 경험을 제공할 수 있다. 이러한 AI 기술들은 앞으로 영화 제작 과정에서 점점 더 많은 부분을 담당하게 될 것이며, 인간과 AI의 창의적인 협업을 촉진할 것이다.

.

한계를 뛰어넘는 AI 기술의 진화

AI 기술의 발전은 영화 제작의 모든 공정을 대체하거나 보조할 가능성을 가지고 있다. 시나리오 작성부터 촬영, 편집까지 모든 과정에 AI가 참여하는 시대가 머지않았다. 실제로 AI가 시나리오를 작성하고, 연출을 돕는 영화들이 등장하고 있다. 2023년 개봉한 <선스프링(Sunspring)>은 인공지능 시나리오 작성 프로그램인 벤저민(Benjamin)을 활용해 제작된 영화이다. 또한 <PLSTC>와 같은 영화들은 이미지 생성 AI인 미드저니를 활용해 영상 제작의 한계를 뛰어넘고 있다.

이러한 기술들은 앞으로 더욱 발전할 것이며, 영화 제작에서 인간의 역할을 재정립하는 중요한 계기가 될 것이다. AI가 전면에 나서 영화의 모든 부분을 제작하게 될 것인지, 아니면 인간과 AI가 협력하여 보다 창의적인 작업을 할 것인지는 앞으로 중요한 논의 주제가 될 것이다.

그렇다면 이제 생성형 AI를 활용한 영상 제작의 기본적인 과정을 함께 살펴보자.

먼저 주제 선정, 등장인물, 캐릭터 개발 그리고 시나리오(플롯)의 구성이다. 이 모든 사전 작업을 한 눈에 볼 수 있는 스토리보드 작업이 필요하다. 이 내용만 보면 초보자가 쉽게 할 수 있을지 반문이 들 수 있다. 하지만 챗GPT와 같은 툴을 활용해 내가 만들고자 하는 영상의 주제만 간단히 말해주면 아래 이미지와 같이 필요한 시나리오, 캐릭터 개발, 스토리보드 구성을 자동으로 만들어 준다.

위 사전 작업이 모두 완료되면 스토리보드에 맞는 장면에 따라 프롬프트 구성을 요청하고, 해당 프롬프트를 런웨이 Gen-3에 붙여 넣기만 하면 영상이 만들어진다.

필자가 본 칼럼을 작성하면서 위의 ‘우주 대모험’ 기획 내용을 바탕으로 영상을 만들기 까지는 30분도 채 걸리지 않았다. 물론 더 작품성 있고 대중에게 어필할 수 있는 정교한 영상을 만들기 위해서는 많은 고민과 준비가 필요하겠지만, 투입되는 시간과 비용은 전통적인 영상 제작에 비해 현저히 줄어들 것이다.

결론적으로, 생성형 AI는 영화 제작의 혁신적인 도구로 자리 잡았으며, 그 가능성은 무궁무진하다. 카메라 없이도 영화를 제작할 수 있는 시대가 도래했고, 이는 창작자들에게 새로운 기회를 제공하고 있다. 생성형 AI는 더 빠르고 효율적인 작업을 가능하게 하며, 영화의 상상력을 극대화할 수 있는 중요한 도구로서의 역할을 계속해서 확대할 것이다.

.

※ 본 칼럼은 외부 필진의 견해로, 삼성전자 DS부문의 공식 입장과 다를 수 있습니다.