✨ 무료 AI 영상 모델 'one video' 활용 가이드 노트 ✨

이 영상은 새롭고 무료이며 로컬에서 실행되는 **AI 영상 모델 'Wan video'**를 활용하여
단편 영화를 제작하는 과정을 상세히 소개합니다.
특히, 주인공을 괴물 벌레로 변신시키는 과정을 통해 다양한 AI 워크플로우를 설명합니다.

💡 핵심 AI 모델: Wan 2.1

• 무료, 오픈소스
• 다른 AI 모델들의 코드 기반 역할
• 다양한 영상 작업의 토대

🎬 주요 기능 및 활용 예시

• **배우 제거/교체** 🪄
• **영상 스타일 변경** 🎨
• **텍스트/이미지로 새 장면 생성** ✨
• **카메라 움직임 변경** ↔️
• **(프로젝트 예시)** 나 자신을 괴물 벌레로 변신 🐛

🛠️ ControlNet 활용 (핵심 도구)

ControlNet은 AI 영상 생성 시 원본 영상의 특정 정보를 활용하여 결과물을 제어합니다.

ControlNet	특징	활용 예시
Pose 💪	캐릭터의 골격 구조 추출 캐릭터 변경 자유도 높음	벌레 변신 시도 (초기) 캐릭터 포즈 유지하며 외형 변경
Line Art ✏️	원본 영상의 외곽선 추출 원본 구조/디테일 유지 캐릭터 변경 자유도 낮음	카메라 움직임 및 주변 장면 유지
Depth 📏	깊이 정보 추출 구도 및 카메라 움직임 유지에 좋음 중간 정도의 자유도	초기 이미지 생성 (Inpainting)

🐛 벌레 변신 프로젝트 문제점 및 해결 (핵심 워크플로우)

원본 영상(사람)을 AI 벌레 영상으로 변환하는 과정에서 발생한 문제점과 해결책입니다.

• 초기 문제: 캐릭터 불일치 (샷마다 다름), 카메라/장면 불일치 (원본과 다름).
• 해결 (카메라/장면 일관성):
  ➡️ Pose + Line Art ControlNet 조합 사용
  ➡️ 캐릭터 영역에서는 Line Art 마스크를 약화시켜 캐릭터 변경 자유도 확보
  ➡️ 주변 장면의 Line Art 정보로 카메라 움직임과 배경 일관성 유지
• 해결 (캐릭터 일관성):
  ➡️ 초기 시도: Laura 학습 (비용/자원 소모 큼), Vase 모델 활용 (벌레 해부학 이해 부족, 배경 변경 문제)
  ➡️ **성공적인 방법:** **fun model** + **첫 프레임 레퍼런스 이미지 활용** 👍
  ➡️ **워크플로우:**
  1. 원본 영상에서 **첫 프레임 추출**.
  2. Inpainting 워크플로우로 첫 프레임의 캐릭터 영역만 변경 (벌레로).
  3. 수정된 첫 프레임을 기준으로 나머지 전체 영상 생성.
  ➡️ **캐릭터 일관성 강화:** **Laura 모델 학습** 및 적용 (Flux Gym 툴 사용).
  - 다양한 각도/표정/포즈의 벌레 이미지 데이터셋 구축 및 Laura 학습.
  - ComfyUI 워크플로우에 학습된 벌레 Laura 로드 및 적용.

🛠️ 주요 ComfyUI 워크플로우 상세 (노드 기반 인터페이스)

AI 영상 제작은 무료 도구인 **ComfyUI**를 기반으로 진행됩니다.

• **Inpainting 워크플로우 (이미지 부분 변경):**
  - ComfyUI에 워크플로우 JSON 로드.
  - 필수 모델 설치 (Manager 또는 수동).
  - 영상 로드 후 첫 프레임 추출 (Preview Bridge).
  - Mask Editor에서 변경할 영역(캐릭터) 마스크 처리.
  - 마스크 영역에 대한 프롬프트 입력 (예: 'detective', 'beetle').
  - ControlNet 설정 (Pose, Depth 등 조합 및 가중치 조절).
  - 일관성을 위해 학습된 **Laura 로드 및 적용**.
  - Run! (결과 확인 및 Seed 변경으로 변화 생성).
• **Full Video Transformation 워크플로우 (전체 영상 변경):**
  - 새로운 워크플로우 로드 및 필수 모델 설치.
  - 원본 영상 및 Inpainting으로 수정된 **첫 프레임 로드**.
  - 영상 전체에 대한 프롬프트 입력 (인물/장소/행동 묘사).
  - **ControlNet 조합 설정** (Pose + Line Art 마스크 등). 캐릭터 마스크 크기/블러 조절 가능.
  - Run! (Steps 20-30 권장).

🌟 고급 기능 (Patreon 후원자용 워크플로우)

• **자동 프레임 보간:** 영상 길이를 2배 등으로 늘릴 수 있음.
• **자동 업스케일링:** 결과 영상 해상도 향상.
• **정밀 립싱크 제어:** Face Mesh ControlNet 및 Transform 노드 활용하여 입 움직임 조절.

🖼️ 후처리: 원본 영상과 합성 (Compositing)

AI 생성 결과의 화질을 높이기 위해 원본 영상 위에 AI 결과물(벌레)을 합성하는 과정입니다.

• **목적:** AI 결과물 주변의 화질 저하 개선, 원본 디테일 보존.
• **과정:** 원본 영상에서 사람 제거 → AI로 생성된 벌레만 추출 → 벌레 영상을 사람 제거된 원본 배경 위에 합성.
• **사람 제거:**
  - Adobe After Effects (Content-Aware Fill)
  - **ComfyUI 무료 워크플로우:** **clean plate creator** (vase model 사용)
  - **clean plate creator** 사용법: 제거할 대상 ('person'), 채울 배경 ('empty forest in spring') 프롬프트 입력.
• **합성:** After Effects, DaVinci Resolve 등 영상 편집 툴 사용 (수동 작업 선택).
  - (참고) 많은 샷은 ComfyUI 결과물만으로도 충분히 좋음.

🎥 기타 유용한 워크플로우

• **프레임 보간:** 시작/끝 프레임 기반 중간 프레임 생성.
• **카메라 움직임 변경:** 정적인 장면에 다양한 카메라 움직임 추가 (KJ's recam master 구현).

🎬 최종 편집 및 메시지

• 최종 편집은 DaVinci Resolve에서 진행.
• 카프카 '변신' 오마주 단편 영화 제작 소회: 현실 세계의 마스크 제작 등 아날로그 작업 병행의 의미.
  ('일'에 갇힌 상태에서 벗어나 자연과 연결되는 과정 🌿)
• 워크플로우가 여러분의 창작 활동에 영감을 주기를 바람.
  제작물 공유 환영! 😊

이 영상과 워크플로우들은 **Patreon 후원자분들** 덕분에 제작될 수 있었습니다. 🙏
시청해주셔서 감사합니다!