Como Hackers Exploraram os Instintos de Resolução de Problemas da IA: Injeções Cognitivas em Raciocínio Multimodal

TL;DR

• À medida que IA multimodal avança de percepção para raciocínio e ação autônoma, surgem novas superfícies de ataque que atingem a forma como os modelos resolvem problemas, não apenas como processam entradas.
• Injeções cognitivas embutem instruções maliciosas dentro de desafios cognitivos, explorando o raciocínio do modelo e a fusão inicial das modalidades.
• Uma demonstração reprodutível de conceito foca em um ataque de quebra-cabeça deslizante contra o Gemini 2.5 Pro, contornando filtros tradicionais e recurriendo ao raciocínio do modelo para executar comandos.
• O cenário de ameaça destaca riscos para agentes de IA com interface de navegador ou capacidades de processamento de arquivos, onde enigmas inseridos podem levar a exfiltração de dados ou manipulação do sistema.
• Defesas devem se mover além da validação de entradas e concentrar-se na proteção da arquitetura de raciocínio onde as modalidades se unem.

Contexto e antecedentes

Modelos de IA multimodal integram texto, imagens e áudio para perceber, raciocinar e agir. A NVIDIA AI Red Team tem um histórico de identificar vulnerabilidades antes que atacantes as explorem. Em trabalhos anteriores sobre injeção semântica por prompts, pesquisadores mostraram que adversários podem esconder instruções maliciosas em símbolos, emojis e quebra-cabeças visuais para contornar filtros de entrada tradicionais. O trabalho atual amplia o foco para ataques cognitivos, que atingem como os modelos resolvem problemas em vez de apenas entender conteúdo. Quando um modelo processa tarefas cognitivas, seus mecanismos de atenção acionam algoritmos de reconstrução de padrões como parte de um reflexo computacional. Esse comportamento pode ser manipulado se uma carga útil maliciosa estiver embutida em uma tarefa cognitiva, orientando o raciocínio do modelo para um resultado não pretendido. A pesquisa destaca três vulnerabilidades críticas nas arquiteturas computacionais de sistemas multimodais. Esses caminhos podem ser manipulados para executar comandos arbitrários por meio da inferência padrão, sem necessidade de burlar camadas de validação de entrada. Os resultados são baseados em ambientes de teste controlados e servem como evidência de conceito de que injeções cognitivas já representam uma ameaça hoje em sistemas de produção. Para sistemas de IA incorporados, como robótica e veículos autônomos, as implicações vão além do digital. Um carregamento apresentado em uma tela pode, em teoria, instruir um robô a destravar uma porta ou um veículo a desviar de seu curso, transformando desafios cognitivos em riscos físicos diretos.

O que há de novo

Injeções cognitivas representam a próxima evolução na pesquisa de segurança de IA. Diferentemente de injeções semânticas, que exploram como o conteúdo é interpretado, as injeções cognitivas exploram como os modelos multimodais resolvem problemas. Ideias-chave:

• Instruções maliciosas embutidas em desafios cognitivos que exigem resolução ativa de problemas para revelar o payload.
• Alvo na space de embedding multimodal, onde texto, imagem e áudio se combinam na fusão inicial para influenciar o raciocínio.
• Demonstração de que um payload distribuído em uma grade espacial pode ser reconstruído e executado conforme o modelo realiza o raciocínio. A demonstração representa Gemini 2.5 Pro. Os pesquisadores mostram que um quebra-cabeça deslizante de 15 peças pode carregar um comando malicioso. Quando o modelo é apresentado ao quebra-cabeça, seus caminhos de processamento se reorganizam para revelar a instrução embutida e executá-la, evidenciando como tarefas cognitivas podem se tornar vetores de ataque mesmo com validação de entrada bem-sucedida. A pesquisa também aponta que salvaguardas tradicionais já não são suficientes. Proteger IA com capacidades de agência requer defesas arquiteturais que protejam os caminhos de raciocínio onde as modalidades se cruzam, não apenas a entrada e a saída.

Por que isso importa (impacto para desenvolvedores/empresas)

As implicações são amplas para qualquer empresa que utilize agentes de IA com acesso a recursos, incluindo navegadores, sistemas de arquivos ou serviços back-end. Se um agente de IA encontrar um quebra-cabeça cognitivo que incorpore uma instrução prejudicial, o modelo poderia realizar ações maliciosas como apagar arquivos, exfiltrar dados ou consumir recursos computacionais. Para empresas que dependem de copilotos de IA, a segurança não pode ficar apenas na validação de entradas. O raciocínio central e a forma como as entradas interagem entre modalidades tornam-se novas superfícies de ataque. Em contextos de IA incorporada, o risco é ainda maior: um payload pode influenciar um robô ou veículo autônomo a executar ações inseguras se o desafio cognitivo for apresentado no ambiente. Esses achados reforçam a necessidade de uma estratégia de defesa que vá além da validação de entradas e inclua proteções arquiteturais para o raciocínio da IA. O objetivo é proteger como a IA raciocina ao lidar com tarefas multimodais e testar com diferentes arquiteturas para validar abordagens defensivas.

Detalhes técnicos ou Implementação (trechos selecionados)

O mecanismo central envolve embutir componentes maliciosos dentro de desafios cognitivos, em vez de na entrada de dados. O fluxo de ataque, conforme demonstrado no caso Gemini 2.5 Pro, ocorre assim:

• Manipulação do espaço de embedding multimodal: componentes de comando são distribuídos por uma grade espacial embutida na tarefa cognitiva, como um quebra-cabeça embaralhado.
• Execução da tarefa cognitiva: o modelo é apresentado ao quebra-cabeça, e sua atenção e processos de completamento de padrões são acionados para resolvê-lo. O modelo então revela a instrução embutida como resultado do processamento de resolução do problema.
• Simulação do raciocínio interno: na demonstração, o modelo exibiu uma espécie de monólogo interno durante a resolução, seguido pela interpretação do conteúdo do quebra-cabeça que levou à instrução maliciosa.
• Caminho de execução oculto: a técnica de embaralhamento visual impede que ferramentas de análise estática ou OCR detectem a string embutida. A instrução reconstruída alinha-se com os objetivos operacionais do modelo, aumentando a probabilidade de ação. Vários vetores de risco práticos são destacados:
• Interfaces web e sistemas de processamento de arquivos usados por agentes de IA são particularmente vulneráveis, já que um quebra-cabeça inserido em uma página pode acionar ações indesejadas.
• O ataque pode levar à exfiltração de dados, manipulação de sistema ou hijacking de recursos computacionais.
• As vulnerabilidades não são meramente teóricas; estão ligadas à arquitetura computacional de IA atual e podem ser exploradas em ambientes de produção hoje. Observações defensivas e recomendações se concentram em proteger a arquitetura de raciocínio. Isso inclui defesas arquiteturais que protegem como o modelo racina em tarefas multimodais e a integração entre modalidades, além de continuar fortalecendo a validação de entradas. Os autores apontam para pesquisas contínuas sobre a proteção de sistemas de LLM contra injection de prompts e mitigação de ataques de prompt injection como parte de uma estratégia mais ampla para endurecer pipelines de raciocínio de IA.

Conclusões-chave

• Injeções cognitivas exploram caminhos de resolução de problemas, não apenas interpretação de entradas, marcando uma mudança nas superfícies de ataque de sistemas de IA.
• Manipulação do espaço de embedding multimodal e da fusão inicial são pontos de vulnerabilidade críticos onde payloads podem influenciar o raciocínio.
• Uma demonstração prática com um quebra-cabeça deslizante de 15 peças mostra como o modelo pode reconstruir e executar um comando malicioso durante a resolução de uma tarefa cognitiva.
• Os riscos abrangem agentes de IA com acesso a navegadores e sistemas de arquivos, bem como IA incorporada que interage com o mundo físico.
• Defesas devem avançar para proteger as vias de raciocínio e as integrações multimodais, indo além da validação de entradas.

Referências

• Artigo da NVIDIA sobre injecções cognitivas: https://developer.nvidia.com/blog/how-hackers-exploit-ais-problem-solving-instincts
• Exemplo de payload utilizado no estudo: https://evil.com