Script and Optimisation for 4Go VRAM, and launch script.

README.md

@@ -1,3 +1,141 @@
+
+
+# AnimateHYBRID
+
+Mini-Guide: AnimateDiff <4 GB VRAM with N3R 
+
+# RealControl – Stable Latents Animation Pipeline
+
+![Python](https://img.shields.io/badge/python-3.10-blue)
+![PyTorch](https://img.shields.io/badge/pytorch-%3E%3D2.0-orange)
+![License](https://img.shields.io/badge/license-MIT-green)
+
+**RealControl** est un pipeline avancé pour la génération d’animations réalistes à partir de latents. Il produit des mouvements fluides et cohérents tout en conservant les détails du visage, des cheveux et du corps, grâce à un module de **denoise adaptatif** qui stabilise les latents pendant la séquence.
+
+---
+
+## 🧠 Fonctionnalités principales
+
+### 1. Skeleton & Pose Tracking
+- Détection 2D/3D avec OpenPose ou équivalent.
+- Reconstruction des points clés manquants pour toutes les articulations.
+- Gestion robuste des coordonnées invalides (`x=0, y=0`) avec fallback automatique.
+
+### 2. Motion Engine
+- Modèles de mouvement configurable : `cinematic`, `realistic`, etc.
+- Application de deltas globaux et locaux pour un mouvement fluide.
+- Micro boost adaptatif pour affiner subtilement les mouvements (`torso`, `hair`, `face`, `mouth`, `eyes`).
+
+### 3. Latents Denoise (clé de la stabilité)
+- Stabilisation des latents au fil de la génération.
+- Injection adaptative proportionnelle au bruit détecté dans les latents.
+- Limitation des extrêmes via `tanh` et `clamp(-1, 1)`.
+- Support du mode **train** et **évaluation**.
+
+### 4. Perceptual Fusion
+- Fusion douce des détails yeux, bouche et volumétrique.
+- Préservation des micro-mouvements et de l’expression.
+- Décor et cheveux traités avec masques adaptatifs pour éviter les artefacts.
+
+### 5. Debug & Logging
+- Logs détaillés pour chaque étape : positions articulaires, latents, micro-boost, motion engine.
+- Affichage des statistiques des latents avant/après Denoise.
+- Sauvegarde d’images intermédiaires pour le contrôle qualité (`skeleton`, `decor_mask`, `torso_wind_mask`).
+
+---
+
+## ⚙️ Pipeline général
+
+1. **Pose Detection** – Détection 2D/3D des keypoints.
+2. **Skeleton Reconstruction** – Remplissage automatique des points manquants.
+3. **Motion Engine** – Calcul des deltas et application des mouvements globaux et locaux.
+4. **Micro Motion** – Injection de micro-deltas pour réalisme subtil.
+5. **Latents Denoise** – Stabilisation adaptative des latents.
+6. **Perceptual Fusion** – Fusion des détails visage, bouche, yeux, cheveux et décor.
+7. **Export** – Sauvegarde des frames ou séquences complètes.
+
+
+
+1️⃣ Pick the Right Model
+
+N3RModelOptimized → ~3.6 GB VRAM, full features, stable.
+
+Mini GPU Mode + generate_latents_mini_gpu_320 → ~2.1 GB VRAM, ultra-light for quick tests.
+
+2️⃣ VRAM-Friendly Settings
+
+final_latent_scale → reduces the final latent resolution to save memory.
+
+num_fraps_per_image → limit the number of frames per input image.
+
+block_size & overlap → tweak for streaming decoding efficiency.
+
+3️⃣ Adaptive N3R Fusion
+
+Channel-wise normalization to prevent artifacts.
+
+Controlled latent injection.
+4️⃣ Motion / LoRA / VAE
+
+Motion modules and LoRA can be enabled, but watch VRAM usage → use attention slicing if needed.
+
+Light VAE + blockwise decoding ensures GPU stability.
+
+5️⃣ Pro Tips
+
+Free VRAM after each frame:
+del latents torch.cuda.empty_cache()
+
+Adaptive embeddings for UNet → avoids dimension mismatch errors.
+
+decode_latents_ultrasafe_blockwise → stable decoding with high-quality output.
+
+n3rRealControl.py - Description and Options
+
+The n3rRealControl.py script enables the generation of animated videos and images from diffusion models with advanced adjustments. It provides maximum flexibility through customization options for quality, speed, and VRAM usage.
+
+<table class="center">
+    <tr>
+    <td><img src="__assets__/animations/output.gif"></td>
+    <td><img src="__assets__/animations/output2.gif"></td>
+    </tr>
+</table>
+
+
+
+n3rRealControl: Allows animation via Openpose, and skeleton
+
+```
+python -m scripts.n3rRealControl \
+                      --pretrained-model-path "/huggingface/miniSD" \
+                      --config "configs/prompts/0_n3r/512-c.yaml" \
+                      --device "cuda" \
+                      --vae-offload \
+                      --fp16
+
+```
+And yes… N3R did it for you! 🚀
+n3rProtoBoost:
+```
+python -m scripts.n3rProtoBoost \
+                      --pretrained-model-path "/huggingface/miniSD" \
+                      --config "configs/prompts/2_animate/1080.yaml" \
+                      --device "cuda" \
+                      --vae-offload \
+                      --fp16*
+```
+n3rProBoostNet:
+```                      
+python -m scripts.n3rProBoostNet \
+                      --pretrained-model-path "/mnt/62G/huggingface/miniSD" \
+                      --config "configs/prompts/0_n3r/960.yaml" \
+                      --device "cuda" \
+                      --vae-offload \
+                      --fp16
+```                      
+
+
+
 # AnimateDiff
 
 This repository is the official implementation of [AnimateDiff](https://arxiv.org/abs/2307.04725) [ICLR2024 Spotlight].

configs/prompts/0_animate/128.yaml

@@ -0,0 +1,61 @@
+#n3r_tiny.yaml
+# -------------------------
+# Tiny-SD config
+# -------------------------
+W: 128
+H: 128
+L: 4
+steps: 15                # un peu plus que le test pour meilleure qualité
+pretrained_model_path: "/mnt/62G/huggingface/miniSD"
+text_encoder: null
+tokenizer: null
+dtype: float16
+
+fps: 12
+guidance_scale: 4.5
+init_image_scale: 0.85
+use_real_esrgan: true     # activé, mais batch plus petit
+
+scheduler:
+  type: DDIMScheduler
+  steps: 15
+  beta_start: 0.00085
+  beta_end: 0.012
+
+dreambooth_path: null
+lora_model_path: null
+
+key_frames: 4
+inter_frames: 4
+
+block_size: 128
+overlap: 16
+num_frames_per_image: 4 # générer par petits batches (tu peux répéter pour 60 frames)
+
+motion_module: scripts/modules/motion_module_tiny.py
+controlnet_adapter: null
+
+inference_config: configs/inference/inference-v4.yaml
+device: cuda
+offload_folder: /tmp/offload
+accelerate: true
+low_cpu_mem_usage: true
+
+seed: 1234
+
+enable_xformers_memory_efficient_attention: true
+vae_slicing: true
+vae_tiling: true
+vae_path: null
+
+upscale_factor: 4           # ESRGAN actif
+
+prompt:
+  - "best quality, 1 girl walking, natural dynamic pose, arms swinging, legs mid-step, balanced torso and head, flowing hair, consistent outfit and hairstyle, outdoor spring, cherry blossoms, petals, smooth motion across frames, coherent animation, vibrant colors, cinematic lighting"
+  - "natural walk cycle, same character, forward facing, slight tilt for realism, smooth transitions, crisp lines, photorealistic shading, coherent body movement, stable proportions, simple background"
+
+n_prompt:
+  - "low quality, blurry, deformed, stiff pose, unnatural movement, distorted anatomy, missing parts, extra limbs, broken motion, low resolution, inconsistent colors, messy background"
+
+input_images:
+  - "input/image_128x0.png"

configs/prompts/0_animate/256.yaml

@@ -0,0 +1,77 @@
+# -------------------------
+# n3r_tiny_256_vram_opt.yaml
+# -------------------------
+# Tiny-SD 256x256 VRAM-safe optimisé pour 5D AnimateDiff
+# - Frames fluides et cohérentes
+# - FP16 UNET & TextEncoder, VAE FP32 pour stabilité couleurs
+# - Motion module Tiny intégré
+# -------------------------
+
+# Image size
+W: 256
+H: 256
+L: 4
+steps: 15
+
+# Model paths
+pretrained_model_path: "/mnt/62G/huggingface/miniSD"
+vae_path: "/mnt/62G/huggingface/vae/vae-ft-mse-840000-ema-pruned.safetensors"
+
+# FP settings
+dtype: float32           # VAE en FP32 pour stabilité couleurs
+fp16_unet: true           # UNET et text_encoder en FP16
+
+# Video / motion
+fps: 15
+num_frames_per_image: 12   # permet séquences fluides
+init_image_scale: 0.85
+use_real_esrgan: true
+
+# Scheduler
+scheduler:
+  type: DDIMScheduler
+  steps: 15
+  beta_start: 0.00085
+  beta_end: 0.012
+
+# Motion module
+motion_module: scripts/modules/motion_module_tiny.py
+key_frames: 1
+inter_frames: 11
+
+# Tiling VAE
+vae_slicing: true
+vae_tiling: true
+block_size: 256            # décode l'image entière → plus de mosaïque
+overlap: 32
+
+# Inference / memory
+offload_folder: /tmp/offload
+accelerate: true
+low_cpu_mem_usage: true
+batch_size: 8
+enable_xformers_memory_efficient_attention: true
+
+# Random seed
+seed: 1234
+
+# Diffusion guidance
+guidance_scale: 4.5
+creative_noise: 0.0
+
+# Upscale factor
+upscale_factor: 4
+
+# Prompts
+prompt:
+  - "best quality, 1 girl walking, natural dynamic pose, arms swinging, legs mid-step, balanced torso and head, flowing hair, consistent outfit and hairstyle, outdoor spring, cherry blossoms, petals, smooth motion across frames, coherent animation, vibrant colors, cinematic lighting"
+  - "natural walk cycle, same character, forward facing, slight tilt for realism, smooth transitions, crisp lines, photorealistic shading, coherent body movement, stable proportions, simple background"
+
+n_prompt:
+  - "low quality, blurry, deformed, stiff pose, unnatural movement, distorted anatomy, missing parts, extra limbs, broken motion, low resolution, inconsistent colors, messy background"
+
+# Input images
+input_images:
+  - "input/256/image_256x0.png"
+  - "input/256/image_256x1.png"
+  - "input/256/image_256x1.png"

configs/prompts/0_animate/Readme.txt

@@ -0,0 +1 @@
+Sample prompt for low Vram MAX 4Go