VACE 알리바바가 만든 미친 성능의 무료 AI 동영상 생성기!

목차

안녕하세요, 아이고입니다. 😄 여러분, 혹시 “이런 영상은 도대체 어떻게 만드는 거지?” 하고 감탄해 본 적 있으신가요? 특히 요즘 AI 기술이 발전하면서 정말 상상도 못 했던 영상들이 쏟아져 나오고 있는데요. 오늘은 그중에서도 정말 역대급 성능을 자랑하는, 심지어 무료에 오픈소스인 AI 동영상 생성 도구를 소개해 드리려고 해요! 바로 알리바바에서 만든 VACE (Video All-in-one Creation and Editing)랍니다! (짝짝짝) 🎉

VACE는 단순히 텍스트를 영상으로 만드는 것을 넘어, 기존 이미지나 비디오를 가지고 정말 다채로운 변형을 줄 수 있는 강력한 툴이에요. 게다가 ComfyUI라는 프로그램을 통해 우리 컴퓨터에서 오프라인으로, 무제한으로 돌려볼 수 있다는 사실! VRAM이 좀 부족해도 걱정 마세요. 최적화된 모델도 준비되어 있답니다. VACE의 세계로 빠져보실 준비되셨나요? 😊

✨ VACE, 너 도대체 뭐니? – 핵심 기능 요약

VACE는 알리바바의 Tongyi Lab에서 개발한 올인원 비디오 생성 및 편집 모델이에요. 이름에서 알 수 있듯이 비디오와 관련된 거의 모든 것을 할 수 있다고 봐도 무방한데요, 가장 주목할 만한 점은 바로 알리바바의 Wan 2.1 모델을 기반으로 한다는 점이에요. 이 Wan 2.1 모델은 현재 사용 가능한 오픈소스 비디오 생성기 중 최고 수준으로 평가받고 있답니다.

Allibaba VACE

VACE의 주요 특징을 몇 가지 꼽아보자면:

강력한 성능 : 텍스트, 이미지, 비디오 등 다양한 입력을 기반으로 고품질 영상을 생성해요.
오프라인 사용 가능 : ComfyUI를 통해 개인 컴퓨터에서 인터넷 연결 없이 사용할 수 있어요.
무료 & 오픈소스 : 비용 걱정 없이 마음껏 사용하고, 커뮤니티의 발전에도 기여할 수 있답니다! (VACE GitHub 참고)
높은 자유도 : 특히 NSFW(Not Safe For Work)😅 콘텐츠 생성에도 제약이 적어 상상하는 거의 모든 것을 만들어낼 수 있다고 해요. (물론 책임감 있는 사용은 필수겠죠? 😉)
다양한 기능 : 단순 생성을 넘어 참조 비디오의 움직임을 다른 캐릭터에 적용하는 Pose Transfer, 특정 부분을 수정하는 인페인팅, 배경을 바꾸는 등 편집 기능도 강력해요.

정말 매력적이지 않나요? 이 모든 것을 우리 손으로 직접 해볼 수 있다니, 벌써부터 가슴이 두근거리네요!

🎬 눈이 번쩍! VACE 데모 영상 속 놀라운 변환들

백문이 불여일견! VACE가 얼마나 대단한 녀석인지 영상 속 예시들을 통해 함께 살펴볼까요?

영상에서는 정말 입이 떡 벌어지는 다양한 데모들을 보여주는데요. 하늘을 나는 귀여운 파란 코끼리부터 시작해서, 사람의 춤 동작을 그대로 따라 하는 강아지나 스케이트보드를 타는 사람의 움직임을 다른 배경과 캐릭터로 옮기는 모습은 정말 신기했어요. 심지어 로댕의 ‘생각하는 사람’ 조각상이 선글라스를 끼고 책을 읽는 장면이나, 자판기 광고판 속 모델이 움직이는 모습도 VACE의 작품이랍니다!

특히 인상 깊었던 몇 가지 예시를 더 자세히 볼게요.

NSFW 콘텐츠 가능성: 로컬에서 구동할 수 있는 VACE는 검열에서 매우 자유롭습니다. 물론 이 기능을 어떻게 활용할지는 사용자의 몫이지만요
일상 사물의 영상화: 일상적인 사물도 VACE를 거치면 상상못한 움직임을 보여주는 영상으로 재탄생 할 수 있을 것 같죠?
Pose Transfer의 극한 활용:
- 사람들이 춤추는 영상을 춤추는 고양이들, 숲속에서 춤추는 곰들, 해변에서 비키니를 입고 춤추는 여성들, 심지어 애니메이션 캐릭터들이 똑같은 춤을 추는 영상으로 완벽하게 변환할 수 있습니다. 춤을 추는 대상과 배경은 완전히 바뀌지만 영상 속에서의 움직임은 그대로 유지된다는 점이 핵심이랍니다.
- 격투 장면 같은 액션도 캐릭터 외형을 바꿀수 있어요. 스타일과 캐릭터는 달라도 역동적인 움직임은 그대로 살아있죠!
풍경 영상의 재탄생: 평범한 도시의 드론 영상을 네온사인으로 가득한 사이버펑크 도시 야경이나, 오래전 폐허가 된 도시 풍경으로 VACE를 통해 바꿀수 있답니다.

이 모든 것이 VACE와 ComfyUI만 있다면 우리도 만들어볼 수 있다는 사실! 정말 놀랍지 않나요?

and machines 2yClsTFXIcE unsplash

🤖 VACE 모델 파헤치기: 어떤 모델을 써야 할까?

VACE는 여러 버전의 모델을 제공하고 있어요. 가장 주목할 만한 모델은 Wan2.1-VACE-14B 모델이에요. ‘14B‘는 140억 개의 파라미터(매개변수)를 의미하는데, 일반적으로 파라미터 수가 클수록 모델의 성능이 좋다고 알려져 있죠.

이 모델은 최대 720 x 1280 해상도의 영상을 생성할 수 있고, Apache-2.0 라이선스로 공개되어 있어 비교적 자유롭게 사용할 수 있답니다. Hugging Face Wan2.1-VACE-114B 모델 페이지 바로가기

다만, 이 고성능 모델은 VRAM(비디오 메모리)을 많이 필요로 해요. 14B 모델이 약 80GB의 VRAM을 요구한다고 하는데요, 대부분의 일반 사용자에게는 부담스러운 사양이죠. 😥 하지만 걱정 마세요! 바로 다음에 해결책을 알려드릴게요!

💻 VACE 설치 및 ComfyUI 기본 설정 (핵심만 쏙쏙!)

VACE를 우리 컴퓨터에서 사용하려면 ComfyUI라는 프로그램이 필요해요. ComfyUI는 노드 기반의 인터페이스를 통해 스테이블 디퓨전과 같은 AI 모델들을 쉽게 활용할 수 있게 해주는 아주 유용한 툴이랍니다. 혹시 ComfyUI가 생소하시다면, “ComfyUI 입문: 스테이블 디퓨전의 숨겨진 보석, 노드 기반 AI 이미지 생성 완벽 가이드” 글을 먼저 보고 오시는 것을 추천드려요!

자, 이제 VACE 모델을 ComfyUI에서 사용할 준비를 해볼까요?

Quantized 모델 다운로드
- 앞서 확인한 VRAM 문제를 해결하기 위해, Quantized(양자화된) 모델을 사용할 거예요. 양자화는 모델의 크기를 줄여 더 적은 VRAM에서도 작동할 수 있게 만드는 기술인데요, 성능 저하를 최소화하면서 접근성을 높여준답니다.
- Hugging Face에서 QuantStack 사용자가 이미 만들어둔 VACE-14B 모델의 GGUF 변환 버전을 사용하면 된답니다. QuantStack/VACE-14B-GGUF 바로가기
- 자신의 VRAM 사양에 맞는 모델을 선택하세요. 16GB VRAM에선 Q6_K (14.5GB) 버전을, 8GB VRAM이라면 Q3_K_S (7.84GB) 버전을 고려해볼 수 있겠죠?
- 다운로드한 모델 파일(.gguf)은 ComfyUI 폴더 내의 models/unet/ 경로에 저장해 주세요.
추가 파일 다운로드
- 원활한 작동을 위해 몇 가지 추가 파일이 더 필요해요.
- VAE (Variational Autoencoder)
  - wan_2.1_vae.safetensors 파일을 다운로드해서 models/vae/ 경로에 저장해 주세요
- CLIP Encoder
  - umt5-xxl-encoder-gguf 파일을 다운로드해서 models/text_encoders/ 경로에 저장해 주세요.
- (선택 사항) LoRA
  - 더 빠른 생성을 원한다면 Wan21_CausVid_14B_T2V_lora_rank32.safetensors와 같은 LoRA 파일을 다운로드하여 models/loras/ 경로에 저장해주세요.
ComfyUI 워크플로우 로드
- 앞에서 모델 파일들을 다 받았다면, 이제 ComfyUI를 실행하고 워크플로우를 불러옵니다.
- QuantStack의 Hugging Face 페이지에서 vace_v2v_example_workflow.json 워크플로우 파일을 다운로드하고, 이 JSON 파일을 ComfyUI 캔버스에 드래그 앤 드롭하면 워크플로우가 자동으로 로드된답니다! 참 쉽죠? 😉
커스텀 노드 설치
- 처음 워크플로우를 로드하면 빨간색으로 표시되는 ‘누락된 노드’들이 있을 수 있어요. 당황하지 마세요!
- ComfyUI Manager를 열고 ‘Install Missing Custom Nodes‘를 클릭하면 필요한 노드들을 쉽게 설치할 수 있답니다. 설치 후에는 ComfyUI를 재시작해야 적용돼요.

이제 VACE를 사용할 모든 준비가 끝났습니다!

🚀 VACE 실제 활용법: 나도 AI 영상 전문가!

로드된 ComfyUI 워크플로우를 보면 조금 복잡해 보일 수 있지만, 핵심적인 부분만 알면 누구나 쉽게 멋진 영상을 만들 수 있어요!

모델 및 인코더 선택
- 좌측 상단의 로더 노드들에서 다운로드한 VACE 모델, CLIP 인코더, VAE, LoRA(사용하는 경우에만)를 선택해 주세요.
프롬프트 입력
- CLIP Text Encode (Positive Prompt) 노드에는 만들고 싶은 영상의 내용을,
- CLIP Text Encode (Negative Prompt) 노드에는 피하고 싶은 내용을 적어주세요.
WanVaceToVideo 노드 설정
- 이 노드가 VACE의 핵심 기능을 담당해요.
- Dimensions (Width, Height): 생성될 영상의 가로, 세로 크기를 설정해요.
- Length: 영상의 총 프레임 수를 결정해요.
- Steps, CFG Scale: 영상 품질과 프롬프트 충실도에 영향을 주는 값들이에요. (LoRA 사용 시 Steps 4~6, CFG 1.0 권장)
- Control Video, Reference Image: 이 입력들을 통해 영상의 움직임이나 스타일을 제어할 수 있어요. (자세한 내용은 아래에서!)
KSampler 노드
- 샘플링 관련 설정을 담당해요. 보통 기본값을 사용해도 괜찮지만, 필요에 따라 조절할 수 있어요.
Save Video (MP4) 노드
- 생성된 영상을 저장하는 설정을 해요. 파일 이름, 프레임 속도 등을 지정할 수 있죠.

자, 그럼 이제 구체적인 활용 예시들을 살펴볼까요?

🔤 텍스트를 영상으로 (Text-to-Video)

가장 기본적인 기능이죠! Load Reference Image와 Load Control Video 노드들을 Ctrl+B를 눌러 바이패스(비활성화)하고, CLIP Text Encode (Positive Prompt)에 원하는 내용을 입력한 후 Queue Prompt (Ctrl+Enter)를 누르면 텍스트만으로 영상을 만들 수 있어요.

🖼️ 이미지를 영상으로 (Image-to-Video)

특정 이미지의 스타일이나 구도를 영상으로 만들고 싶다면 이 방법을 사용해요.

Load Reference Image 노드를 Ctrl+B로 다시 활성화하고, 원하는 참조 이미지를 업로드해요.
Load Control Video 노드는 여전히 바이패스 상태로 두거나, 여기서 width/height 정보를 WanVaceToVideo 노드에 연결하지 않도록 주의하세요.
프롬프트를 입력하고 실행하면, 참조 이미지의 느낌을 살린 영상이 생성될 거예요.

VACE I2V Image — ComfyUI에서 생성한 이미지(Text to Image)

VACE를 사용한 비디오 생성 (Image2Video)

🎥 영상을 영상으로 (Video-to-Video: Pose Transfer의 마법)

VACE의 가장 강력한 기능 중 하나인 Pose Transfer(포즈 전송)를 활용하는 방법이에요! 특정 영상의 움직임을 가져와서 전혀 다른 캐릭터나 배경에 적용할 수 있답니다.

Load Reference Image 노드는 바이패스하거나, 캐릭터의 외형을 지정하고 싶다면 참조 이미지를 업로드해요.
Load Control Video 노드를 활성화하고, 움직임을 가져올 참조 비디오를 업로드해요.
Image Preprocessing 섹션에서 OpenPose Pose와 같은 전처리기를 선택해요. Canny(엣지 추출) 대신 OpenPose를 사용하면 영상 속 인물의 포즈 정보를 추출해서 더욱 정확한 움직임 제어가 가능해져요.
프롬프트를 입력하고 실행하면, 참조 비디오의 움직임을 따라 하는 새로운 영상이 탄생합니다!

정말 신기하죠? 이 기능을 활용하면 여러분도 상상만 했던 재미있는 영상들을 직접 만들어볼 수 있을 거예요!

feature luna wang Tm3frORMTTk unsplash

👍 VACE, 이런 점이 정말 최고예요! (장점 모음)

VACE를 사용해 보면서 느낀 가장 큰 장점들은 다음과 같아요.

압도적인 제어력: 텍스트, 이미지, 비디오 등 다양한 입력 소스를 조합하여 원하는 결과물을 정교하게 만들어낼 수 있어요. 특히 Pose Transfer 기능은 캐릭터 애니메이션에 새로운 가능성을 열어준답니다.
캐릭터 일관성 유지: 한 번 만든 캐릭터의 외형을 유지하면서 다양한 움직임이나 배경을 적용하기 용이해요. 시리즈물이나 특정 컨셉의 영상을 만들 때 아주 유용하겠죠?
다양한 스타일 변환: 실사 영상을 애니메이션 풍으로, 또는 그 반대로 바꾸는 등 스타일 변환이 자유로워요.
오프라인 및 무료 사용: ComfyUI를 통해 개인 PC에서 마음껏 사용할 수 있다는 점은 정말 큰 매력이에요.
NSFW 콘텐츠 생성 가능성🫢: 검열에서 비교적 자유로워 표현의 폭이 넓지만, 항상 책임감 있는 사용이 필요하다는 점 잊지 마세요!

🤔 VACE 사용 시 참고할 점 (한계점 및 주의사항)

물론 VACE가 만능은 아니에요. 몇 가지 알아두면 좋을 점들도 있답니다.

높은 VRAM 요구사항: 특히 고품질, 고해상도 영상을 만들려면 상당한 VRAM이 필요해요. Quantized 모델을 사용하면 어느 정도 해결되지만, 여전히 사양이 낮은 PC에서는 버거울 수 있어요.
ComfyUI 사용의 복잡성: ComfyUI는 매우 강력한 툴이지만, 노드 기반 인터페이스가 처음에는 조금 복잡하게 느껴질 수 있어요. 하지만 익숙해지면 그 어떤 툴보다 자유로운 작업이 가능하답니다!
비공식 워크플로우 활용: 현재 공식적으로 제공되는 ComfyUI 워크플로우 외에도, 커뮤니티에서 인페인팅이나 아웃페인팅 같은 고급 기능을 활용하는 비공식 워크플로우들이 공유되고 있을 수 있어요.
결과물의 예측 불가능성: AI 생성 모델의 특성상, 때로는 예상치 못한 결과물이 나올 수도 있어요. 하지만 이것 또한 AI 창작의 묘미 아닐까요? 😄

VACE와 함께 펼쳐질 무한한 영상 창작의 세계를 즐겨보세요

지금까지 알리바바의 강력한 AI 동영상 생성 도구 VACE에 대해 함께 알아봤어요. ComfyUI와 함께라면 VACE의 놀라운 기능들을 우리 손으로 직접 경험해 볼 수 있다는 사실이 정말 매력적이지 않나요?

물론 아직 완벽하다고 할 수는 없지만, VACE는 분명 AI 영상 생성 분야에 큰 가능성을 보여주는 도구임에 틀림없어요. 여러분도 VACE를 통해 상상력을 마음껏 펼치고, 세상에 단 하나뿐인 멋진 영상들을 만들어보시길 바라요! 저 아이고도 앞으로 VACE를 활용한 더 재미있는 소식들로 찾아뵐게요!