Como usar o LTX-2 no ComfyUI

Na CES 2026, a Lightricks lançou os aguardados pesos abertos do modelo de áudio e vídeo LTX-2, marcando um grande avanço na geração de vídeo e áudio por IA. Otimizado para GPUs NVIDIA, o LTX-2 é o principal modelo de áudio e vídeo de pesos abertos, capaz de gerar clipes com resolução de até 4K, 50 FPS e até 20 segundos de duração.

Os modelos já estão disponíveis para download com precisão BF16. O modelo base também está disponível com pesos NVFP8 quantizados, que reduzem o tamanho do modelo em aproximadamente 30% e podem oferecer desempenho até 2 vezes mais rápido em GPUs RTX.

Este guia permite que você comece a usar um fluxo de trabalho ComfyUI otimizado para RTX em minutos.

LTX-2 é uma família de modelos de áudio e vídeo que geram vídeos com áudio. Cinco pontos de verificação estarão disponíveis no lançamento:

• Base: o gerador padrão versátil de texto para vídeo ou imagem para vídeo. Treinável e personalizável.
• 8 etapas: uma versão simplificada do modelo que permite iterações rápidas para a exploração de ideias.
• Controle de câmera LoRa: um conjunto de pontos de verificação que proporcionam controle preciso sobre o movimento da câmera.
• Upsampler latente: útil para pipelines multiescala que obtêm a mais alta qualidade mais rapidamente.
• IC-LoRAs: LoRAs de profundidade, Canny e pose para proporcionar maior controle sobre elementos composicionais específicos.

1. Instale o ComfyUI ou atualize para a versão mais recente em ComfyUI.org .
2. Abra o Navegador de Modelos, navegue até Vídeo e baixe a variante desejada do LTX-2. 
   • Para placas de vídeo com arquitetura LTX-2, certifique-se de selecionar NVFP8 se você tiver uma NVIDIA GeForce RTX Série 40, RTX Pro Ada Generation, DGX Spark ou superior.
3. Configurações recomendadas:
   • Em GPUs com 24 GB ou mais, recomendamos o uso de clipes de 4 segundos em 720p24 com 20 etapas.
   • Em GPUs de 8 a 16 GB, recomendamos o uso de clipes de 4 segundos com resolução de 540p24 e 20 etapas.

O LTX-2, é um modelo de pont, e utiliza quantidades significativas de memória de vídeo (VRAM) para fornecer resultados de qualidade. O uso de memória aumenta conforme aumentamos a resolução, a taxa de quadros, a duração ou o número de etapas. Felizmente para os usuários, a ComfyUI e a NVIDIA colaboraram para otimizar um recurso de streaming de peso, permitindo que os usuários transfiram partes do fluxo de trabalho para a memória do sistema caso a GPU fique sem VRAM, mas isso terá um custo em termos de desempenho. 

Dependendo da sua GPU e do seu caso de uso, você pode querer limitar esses fatores para garantir tempos de geração razoáveis. Por exemplo, as GPUs GeForce RTX 5090 têm 32 GB de VRAM e podem gerar um clipe de 4 segundos em 720p a 24 fps na memória da GPU em cerca de 25 segundos. No entanto, se um usuário quiser um vídeo mais longo, de 8 segundos, o tempo de geração aumentará para três minutos, pois exigirá mais de 32 GB de VRAM e ativará automaticamente o streaming de peso. 

Recomendação: use configurações mais baixas para aprimorar seu vídeo e, em seguida, aumente as configurações para ajustar a qualidade ao seu gosto. Em nossa experiência, o melhor é:

• Reduza a duração do vídeo para 4 segundos (16 GB ou mais) ou 3 segundos (12 GB ou mais).
• Em seguida, reduza a resolução para 720p (16 GB ou mais) ou 540p (12 GB ou mais).
• Se o seu vídeo não precisar de movimento, reduza a taxa de quadros para 15 FPS.

Otimizando a Qualidade

A LTX-2 é um modelo avançado capaz de gerar vídeos incríveis. Mas, como acontece com qualquer modelo, ajustar as configurações terá um grande impacto na qualidade. A comunidade certamente oferecerá ótimas recomendações à medida que os pesos do modelo forem disponibilizados, mas aqui estão algumas dicas profissionais que consideramos mais úteis em nossos testes:

• Resolução: A melhor qualidade é normalmente alcançada em 1080p.
• Taxa de quadros:
  • Vídeos em movimento se beneficiam muito de taxas de quadros mais altas. Observamos melhores resultados com até 50 FPS, mesmo que isso exija reduzir a resolução para obter bons tempos de geração.
  • Vídeos estáticos, como closes de uma pessoa ou de um objeto, geralmente funcionam bem a 15 FPS.
• Texto para Imagem vs. Imagem para Imagem: Fornecer uma imagem de entrada de alta qualidade geralmente melhora a qualidade da saída, pois oferece uma orientação visual clara nos primeiros quadros, enquanto o movimento solicitado não é excessivamente complexo. Um movimento complicado sem uma referência ou instrução clara pode fazer com que o vídeo se degrade inesperadamente após alguns quadros.
• Etapas: Em nossos testes, 20 etapas foi o ponto ideal entre desempenho e qualidade, mas aumentar para 30 etapas ou mais deve melhorar a qualidade.