4대 AI 영상 도구의 '격돌', 한 문장으로 알려주는 활용법
글: 무무
AI 동영상 도구 분야는 점점 더 치열해지고 있으며, 다양한 업그레이드가 끊임없이 이어지고 있습니다. 특히 Gen-2, Pika 1.0, Stable Video Diffusion 및 Magic Animate는 사용자가 가장 자주 이용하는 동영상 생성 제품으로 자리 잡고 있으며, 강력한 AI 대규모 모델이 그 뒤를 받치고 있습니다.
현재로서는 동영상 관련 대규모 모델들이 '텍스트로 이야기를 설명하면 바로 영화 한 편을 만들어낼 수 있다'는 수준까지는 도달하지 못했지만, 일련의 프롬프트만으로도 생동감 있는 동영상을 제작할 수 있으며, 이미지로부터 동영상을 생성하는 등 강력한 다중 모달 기능도 개발되고 있습니다.
『메타버스 데일리』는 주요 4개의 AI 동영상 도구를 직접 테스트하여 여러분이 빠르게 체험하고 활용할 수 있도록 도와드리고자 합니다. 참고로 모든 도구에서 입력 프롬프트는 가능하면 영어를 사용하는 것이 좋으며, 중국어보다 영어 프롬프트로 생성한 결과가 훨씬 우수합니다. 또한 국산 AI 동영상 생성 도구들도 빠르게 발전하여 중국어 사용자에게 적합한 고품질 제품을 조속히 출시하기를 기대합니다.
Runway Gen-2
Gen-2는 Runway Research가 개발한 최초의 공개 가능한 텍스트 기반 동영상 생성 도구입니다. 텍스트/이미지 기반 동영상 생성, 동영상 스타일화, 이미지 확장, 배경 제거, 특정 요소 삭제, 특정 AI 모델 학습 등의 기능을 갖추고 있어 현재 가장 강력한 AI 동영상 생성/편집 도구라고 할 수 있습니다.
Gen-2의 텍스트 기반 동영상 생성 기능은 Gen-1에 비해 상당히 향상되었습니다. 예를 들어 "raccoon play snow ball fight in sunny snow Christmas playground"(너구리가 화창한 눈 내린 크리스마스 놀이터에서 눈싸움을 한다)라는 프롬프트를 입력한 결과를 살펴보면, 화질과 구성 면에서 매우 탁월한 성과를 보여줍니다. 하지만 일부 키워드가 누락되는 문제가 있는데, 예컨대 화면에 '크리스마스'와 '눈싸움'이라는 요소가 제대로 반영되지 않는 경우가 있습니다.
며칠 전에는 Runway가 새 기능인 'Motion Brush'(모션 브러시)를 출시했습니다. 정지된 이미지 위에서 특정 영역을 브러시로 칠하기만 하면 해당 부분을 동적인 콘텐츠로 변환할 수 있습니다. 이 기능은 조작성이 매우 뛰어나며, 원하는 이미지를 선택한 후 움직이고 싶은 부분을 브러시로 칠하고, 원하는 움직임 방향을 조정하면 정지된 이미지가 설정된 대로 움직이기 시작합니다.
다만 현재 '모션 브러시' 기능은 여전히 몇 가지 한계가 있습니다. 예를 들어 느린 움직임은 잘 처리되지만 차량이 빠르게 달리는 것 같은 급격한 움직임은 생성하기 어렵습니다. 또한 모션 브러시를 적용하면 칠한 영역 외의 부분은 거의 정지 상태로 유지되기 때문에 여러 물체의 운동 궤적을 세밀하게 조정하는 것은 불가능합니다.
현재 무료 계정으로는 최대 4초 길이의 동영상만 생성할 수 있으며, 초당 5포인트를 소비하며 최대 31개의 동영상을 생성할 수 있고, 워터마크를 제거할 수 없습니다. 더 높은 해상도, 무수정 길이, 워터마크 없는 동영상을 원한다면 유료로 계정을 업그레이드해야 합니다.
또한 AI 동영상에 대해 더 배우고 싶다면 Runway에서 제공하는 Runway TV라는 온라인 채널을 시도해볼 수 있습니다. 이 채널은 AI로 제작된 동영상을 24시간 내내 반복 방송하며, 이러한 AI 동영상을 통해 창의적인 영감을 얻을 수도 있습니다.
웹사이트 위치: https://app.runwayml.com/video-tools/teams/wuxiaohui557/ai-tools/gen-2
Pika 1.0
Pika 1.0은 중국인 팀이 설립한 AI 기술 스타트업 Pika Labs에서 발표한 첫 번째 정식 버전 제품입니다. Pika 1.0은 3D 애니메이션, 만화, 카툰, 영화 등을 생성할 수 있을 뿐 아니라 스타일 변환, 프레임 확장, 동영상 편집 등 중요한 기능도 수행할 수 있습니다. 특히 애니메이션 스타일의 영상 제작에 매우 능숙하며 영화 효과를 가진 짧은 동영상을 만들 수 있습니다.
Pika 1.0에서 네티즌들 사이에서 가장 인기가 많은 기능은 'AI 마법봉'이라 불리는 부분 수정 기능입니다. 몇 달 전까지만 해도 이는 AI 드로잉 분야에서 갓 도입된 기술이었지만, 이제 '부분 수정' 기능을 통해 동영상의 배경이나 주체의 일부 특성을 손쉽게 변경할 수 있습니다. 단지 다음 세 단계만 거치면 됩니다: 동영상 업로드 → Pika 콘솔에서 수정할 영역 선택 → 어떤 것으로 바꿀지 프롬프트 입력.
'부분 수정' 외에도 Pika 1.0은 Midjourney의 '이미지 확장' 기능을 동영상 분야에 처음으로 도입했습니다. 틱톡에서 유행했던 'AI 확장 이미지'와는 달리 Pika 1.0의 동영상 확장 기능은 매우 신뢰할 수 있으며, 화면이 자연스럽고 논리적으로 일관됩니다.
현재 Pika 1.0은 무료로 체험할 수 있지만, 시험 사용 신청이 필요합니다. 대기 중이라면 공식 홈페이지에서 Discord 로그인을 시도해 볼 수 있습니다. Midjourney와 유사하게 사용자는 Discord에서 클라우드 기반 작업을 수행할 수 있으며, 텍스트-동영상, 이미지-동영상 두 가지 기능을 모두 경험할 수 있습니다.
Pika 1.0의 Discord 서버에 접속한 후, Generat 내의 아무 채널에서든 '/'를 입력하고 'Create'를 선택한 후 팝업되는 prompt 텍스트 박스에 프롬프트를 입력하면 됩니다.
Gen-2에 비해 Pika 1.0은 프롬프트 이해도가 더 뛰어나지만, 화질은 아직 Gen-2에 미치지 못합니다. 이는 아마도 클라우드 기반 생성 방식 때문일 것입니다.
이미지를 이용해 동영상을 생성하려면 '/'를 입력한 후 'animate'를 선택하고, 이미지를 업로드한 후 프롬프트를 입력하면 됩니다.
Pika 1.0의 이미지-동영상 생성 효과는 Gen-2와 비교해 큰 차이가 없습니다.
웹사이트 위치: https://pika.art/waitlist
Stable Video Diffusion
11월 22일, Stability AI는 AI 기반 동영상 생성 오픈소스 프로젝트인 Stable Video Diffusion(SVD)를 발표했습니다. 공식 블로그에 따르면, 새로운 SVD는 텍스트 기반 동영상 생성, 이미지 기반 동영상 생성을 지원하며, 단일 시점에서 다중 시점으로의 객체 변환(즉, 3D 합성)도 가능합니다. 생성 품질은 Runway Gen-2 및 Pika 1.0에 견줄 만합니다.
현재 온라인에서 사용할 수 있는 방법은 두 가지입니다. 하나는 Replicate에 공개된 공식 데모이며, 다른 하나는 새로 출시된 온라인 웹사이트입니다. 두 가지 모두 무료로 이용 가능합니다.
저희는 파라미터 조절이 가능하고 조작도 비교적 쉬운 첫 번째 방법을 테스트했습니다: 이미지를 업로드하고 프레임 수, 화면 비율, 전체 움직임 등의 파라미터를 조정하면 됩니다. 다만 아쉬운 점은 생성 결과가 다소 무작위적이어서 원하는 결과를 얻기 위해 지속적인 조정이 필요하다는 것입니다.
현재 Stable Video Diffusion은 아직 기본 모델 단계이며 제품화는 되지 않았지만, 공식에서는 "Stable Diffusion과 유사한 생태계를 구축하기 위해 계속 확장할 계획"이라고 밝히며, 사용자의 안전성 및 품질 피드백을 바탕으로 모델을 지속적으로 개선할 계획이라고 전했습니다.
웹사이트 위치: 데모판 및 온라인 버전
-
https://replicate.com/stability-ai/stable-video-diffusion
-
https://stable-video-diffusion.com/
Magic Animate
MagicAnimate는 확산 모델 기반의 인물 애니메이션 생성 기법으로, 시간적 일관성을 강화하고 참조 이미지의 사실성을 유지하며 애니메이션의 정확도를 높이는 것을 목표로 하고 있으며, 싱가포르 국립대학교 Show Lab과 바이트댄스가 공동 개발했습니다.
간단히 말해, 참조 이미지와 포즈 시퀀스(동영상)를 제공하면, 해당 포즈에 따라 움직이며 참조 이미지의 신원 특징을 유지하는 애니메이션 동영상을 생성할 수 있습니다. 조작도 매우 간단하며, 세 단계만 거치면 됩니다: 정지된 인물 사진 업로드 → 원하는 동작 데모 동영상 업로드 → 파라미터 조정.
MagicAnimate는 GitHub에서도 로컬에서 체험할 수 있는 방법을 제공하고 있으므로 관심 있는 분들은 한번 시도해보세요!
웹사이트 위치: https://github.com/magic-research/magic-animate
TechFlow 공식 커뮤니티에 오신 것을 환영합니다
Telegram 구독 그룹:https://t.me/TechFlowDaily
트위터 공식 계정:https://x.com/TechFlowPost
트위터 영어 계정:https://x.com/BlockFlow_News
