Video-Generation

Categoría: vision modelos locales nube

Definición

Modelos generativos espacio-temporales capaces de sintetizar clips de video coherentes (con física, movimiento de cámara y sincronización de audio en generaciones recientes) a partir de texto (Text-to-Video), una imagen inicial (Image-to-Video, el flujo más controlado en producción) o video existente (Video-to-Video).

Puntos clave

  • Principales modelos locales (Pesos Abiertos en ComfyUI):
    • Wan (Wan 2.1 / Wan 2.2, Alibabá): Líder indiscutible en video abierto local. Incluye variantes densas y MoE (1.3B que corre en 8 GB de VRAM, y 14B de calidad cinematográfica que corre en 12–24 GB cuantizado a FP8 o GGUF con Block Swapping). Soporta T2V, I2V y control por pose/profundidad.
    • HunyuanVideo (Tencent): Modelo abierto de 13B parámetros con física realista y excelente iluminación; ampliamente soportado en ComfyUI con cuantización FP8 y LoRA de aceleración (TeaCache / SageAttention).
    • LTX-Video (LTX-2, Lightricks): Modelo abierto diseñado para velocidad extrema en tiempo real (genera clips en segundos sobre GPUs de consumo de 8–16 GB de VRAM) con soporte de fotogramas clave (keyframes) y audio sincronizado.
    • CogVideoX / Mochi 1 (Genmo): Pioneros abiertos basados en DiT 3D que sentaron las bases de la generación temporal en local.
  • Principales modelos y APIs en la Nube (Cerrados):
    • Veo (Veo 2 / Veo 3, Google): Referente en coherencia física, resolución 4K, control cinematográfico y generación nativa de audio/diálogos sincronizados vía Gemini API / Vertex AI.
    • Sora (Sora 2, OpenAI): Modelo de frontera en simulación física y generación narrativa multi-escena.
    • Kling (Kling 2.x, Kuaishou): Una de las APIs comerciales más utilizadas en producción por su estabilidad en movimiento humano, lip-sync y control de trayectoria de cámara.
    • Runway (Gen-4) / Hailuo (MiniMax) / Seedance (ByteDance): APIs líderes en producción audiovisual rápida, consistencia de personajes entre planos y transferencia de movimiento.