SlowFast-LLaVA-1.5: LLMs de Vídeo Eficientes em Tokens para Compreensão de Longa Duração

TL;DR

• SlowFast-LLaVA-1.5 (SF-LLaVA-1.5) é uma família de modelos de linguagem grandes para vídeo com eficiência de tokens, voltados à compreensão de vídeos de longa duração. Apple ML Research
• Integra o mecanismo SlowFast de dois fluxos em um fluxo de treinamento simplificado e realiza treinamento conjunto de vídeo e imagem em uma mistura de dados composta apenas por conjuntos de dados publicamente disponíveis. Apple ML Research
• O design foca em escalas eficientes (1B e 3B) e demonstra desempenho robusto entre 1B–7B, alcançando resultados de ponta em benchmarks de vídeo de longa duração. Apple ML Research
• Além do SF-LLaVA-1.5, a publicação destaca pesquisas relacionadas sobre streaming e multimodalidade, incluindo o StreamBridge para transformar Video-LLMs offline em modelos de streaming e esforços de geração de QA para vídeo egocêntrico. Apple ML Research

Contexto e antecedentes

A família SlowFast-LLaVA-1.5 é apresentada como uma abordagem eficiente para compreensão de vídeo de longa duração. Com base na arquitetura SlowFast de dois fluxos, os autores integram um fluxo de treinamento simplificado que otimiza conjuntamente entradas de vídeo e imagem usando um conjunto cuidadoso de datasets publicamente disponíveis. Isso se alinha a uma linha de pesquisa da Apple ML Research que busca modelos multimodais eficientes e escaláveis, capazes de operar em dispositivos com recursos limitados. Os resultados indicam desempenho sólido em várias tarefas e tamanhos de modelo, de 1B a 7B parâmetros, incluindo desempenho de ponta em benchmarks de vídeo de longa duração como LongVideoBench e MLVU. O trabalho enfatiza uma filosofia de design: alcançar alta precisão com eficiência de computação e memória, mantendo acesso via dados públicos. A página também faz referência a trabalhos relacionados sobre streaming e compreensão multimodal de vídeo egocêntrico, refletindo uma agenda mais ampla de pesquisa sobre compreensão de vídeo em tempo real e estratégias de coleta de dados. 12 de maio de 2025; áreas de pesquisa incluem Visão Computacional e Métodos/Algoritmos. Este conteúdo também destaca o StreamBridge, um framework para transformar LLMs de vídeo offline em modelos aptos a streaming, abordando dois desafios centrais em cenários online: compreensão em tempo real de várias turnos e mecanismos proativos de resposta. Apple ML Research

O que há de novo

• Apresentação de SlowFast-LLaVA-1.5 como uma família de LLMs de vídeo com eficiência de tokens voltada à compreensão de vídeo de longa duração. Apple ML Research
• Incorporação do mecanismo SlowFast de dois fluxos em um pipeline de treinamento integrado de vídeo e imagem. Apple ML Research
• Treinamento com uma mistura de dados composta apenas por datasets publicamente disponíveis, com foco em escalas eficientes (1B e 3B). Apple ML Research
• Demonstração de desempenho sólido em tamanhos de modelo entre 1B e 7B, obtendo resultados de ponta em benchmarks de vídeo de longa duração (LongVideoBench e MLVU) e bom desempenho em uma variedade de tarefas de vídeo. Apple ML Research
• A publicação também discute esforços de pesquisa multimodal mais amplos, incluindo StreamBridge para streaming de LLMs de vídeo e geração de QA para vídeos egocêntricos (dados Ego4D). Apple ML Research

Por que isso importa (impacto para desenvolvedores/empresas)

• Eficiência de tokens e escalas compactas (foco em 1B–3B) tornam a compreensão de vídeo de alta qualidade mais acessível para dispositivos móveis e borda, reduzindo demanda de computação e memória sem comprometer a precisão em conteúdos de longa duração. Apple ML Research
• O desempenho sólido entre 1B–7B sugere opções de implantação flexíveis para aplicações como busca de vídeo, moderação de conteúdo e assistentes interativos que raciocinem sobre streams longos. Apple ML Research
• Inovações como o StreamBridge apontam para cenários práticos de inferência online, onde modelos precisam processar streams de vídeo em tempo real com mecanismos de memória eficientes. Apple ML Research
• O uso de dados públicos para treinamento favorece a reprodutibilidade e acessibilidade, permitindo que pesquisadores e organizações desenvolvam e avaliem LLMs de vídeo robustos sem depender de dados proprietários. Apple ML Research

Detalhes técnicos ou Implementação

O SF-LLaVA-1.5 utiliza a arquitetura SlowFast de dois fluxos, integrando-a a um fluxo de treinamento simplificado que otimiza conjuntamente vídeo e imagem. Uma mistura de dados publica é usada para o treinamento, com ênfase em eficiência de tokens e escalabilidade. O foco em escalas de 1B e 3B busca implantação móvel eficiente, mantendo desempenho de ponta em benchmarks de vídeo de longa duração como LongVideoBench e MLVU. Os resultados indicam desempenho sólido entre os tamanhos de modelo de 1B a 7B, evidenciando a versatilidade da abordagem. Além do trabalho SF-LLaVA-1.5, a fonte menciona o StreamBridge, um framework para transformar LLMs de vídeo offline em modelos aptos a streaming. O StreamBridge aborda dois desafios centrais em cenários online: compreensão em tempo real multiturno e ausência de mecanismos proativos de resposta. Ele usa um buffer de memória com uma estratégia de compressão por rodada para suportar inferência por streaming. Isso demonstra o interesse mais amplo da Apple em tornar LLMs de vídeo práticas para aplicações em tempo real, além de avaliações estáticas. A página também cita esforços em compreensão multimodal de vídeo egocêntrico, incluindo a geração automática de 7 milhões de amostras de QA para dados Ego4D. Apple ML Research

Tabela-chave: escalas de modelo e capacidades

| Tamanho | Objetivo principal | Benchmarks mencionados | Observações |---|---|---|---| | 1B | Eficiente para dispositivos móveis | LongVideoBench, MLVU | Base sólida em várias tarefas de vídeo |3B | Equilíbrio entre precisão e eficiência | LongVideoBench, MLVU | Melhor robustez em benchmarks |7B | Compreensão de longa duração com maior capacidade | LongVideoBench, MLVU | Desempenho consistente em tarefas diversas |

Principais aprendizados

• SF-LLaVA-1.5 é uma família de LLMs de vídeo com eficiência de tokens para compreensão de vídeos de longa duração, treinados com dados públicos.
• A integração SlowFast de dois fluxos em um pipeline de treinamento unificado permite modelagem conjunta de vídeo e imagem.
• Foco em escalas 1B e 3B facilita implantações móveis sem sacrificar desempenho em benchmarks de longa duração.
• O ecossistema de pesquisa menciona StreamBridge para streaming e geração de QA para vídeo egocêntrico, refletindo uma agenda de aplicações reais. Apple ML Research

Referências

• https://machinelearning.apple.com/research/slowfast-llava