Items tagged with “LLM”.
O Dynamo da NVIDIA transfere o KV Cache da memória da GPU para armazenamento de custo mais baixo, permitindo janelas de contexto maiores, maior concorrência e menor custo de inferência em grandes modelos.
Análise detalhada de como o NVIDIA Run:ai Model Streamer reduz o tempo de cold-start na inferência de LLMs ao transmitir pesos para a memória da GPU, com benchmarks em GP3, IO2 e S3.
Verisk Rating Insights, impulsionado pelo Amazon Bedrock, LLMs e RAG, oferece uma interface conversacional para acessar mudanças ERC ISO, reduzindo downloads manuais e aumentando a velocidade e a precisão das informações.
Este post mostra como a msg automatizou a harmonização de dados para o msg.ProfileMap usando o Amazon Bedrock para alimentar fluxos de enriquecimento de dados alimentados por LLM, elevando a precisão na correspondência de conceitos de RH, reduzindo trabalho manual e alinhando-se ao EU AI Act e ao GD
Aperfeiçoe a experimentação até a produção para Retrieval Augmented Generation (RAG) com SageMaker AI, MLflow e Pipelines, promovendo fluxos reprodutíveis, escaláveis e com governança.
O NVIDIA NIM Operator 3.0.0 amplia a inferência de IA escalável no Kubernetes, permitindo implantações multi-LLM e multi-nó, integração com KServe e suporte a DRA em modo de tecnologia, com colaboração da Red Hat e NeMo Guardrails.
A AWS anuncia os modelos Falcon-H1 de instrução da TII (0,5B–34B) no Amazon Bedrock Marketplace e no SageMaker JumpStart, com suporte multilíngue, arquitetura híbrida e orientações de implantação.
Nova abordagem de swap de memória da GPU (memory swap) permite que vários modelos compartilhem GPUs além da capacidade, reduzindo custos e mantendo a reatividade para inferência de LLM em escala.
Utilize o swap de memória da GPU (hot-swapping de modelos) para compartilhar GPUs entre múltiplos LLMs, reduzir custos de ociosidade e melhorar o autoscaling mantendo os SLAs.
NVIDIA descreve um fluxo SFT + QAT para recuperar a precisão em FP4 durante o ajuste fino do gpt-oss, comparando MXFP4 e NVFP4, e detalhando ganhos de desempenho e implantação com taxas de aprovação de 98% em tarefas selecionadas.
Explica por que modelos de linguagem pequenos (SLMs) viabilizam IA agentiva escalável, o papel de ecossistemas heterogêneos de modelos e caminhos práticos de adoção com NVIDIA NeMo e Nemotron Nano 2.
Guia de fine-tuning do gpt-oss com SFT + QAT para recuperar a precisão em FP4 mantendo a eficiência, incluindo upcasting para BF16, MXFP4, NVFP4 e implantação com TensorRT-LLM.
Explora como modelos de linguagem pequenos permitem IA agentica mais barata, flexível e escalável, ao lado de LLMs, com NVIDIA NeMo e Nemotron Nano 2.
O Amazon Finance detalha um assistente de IA que combina Bedrock e Kendra para acelerar a descoberta de dados, preservar o conhecimento institucional e entregar insights financeiros precisos em escala.
Guia para implantar e escalar agentes baseados em LangGraph em produção usando o NeMo Agent Toolkit, testes de carga e rollout por fases para centenas a milhares de usuários.
Análise detalhada de como a Amazon Health Services elevou a descoberta na busca da Amazon.com ao combinar ML, NLP, busca vetorial e LLMs com SageMaker, Bedrock e EMR para conectar clientes a ofertas de saúde.
Jetson Thor oferece IA na borda em escala, possibilitando raciocínio generativo rápido, múltiplos modelos e processamento multimodal em tempo real com GPU Blackwell, MIG, FP4/FP8 e 128 GB de memória para plataformas robóticas de próxima geração.
NVFP4 é um formato de dados de 4 bits que oferece precisão equivalente a FP16 com a vazão e eficiência de memória de 4 bits, estendido ao pré-treinamento de modelos de linguagem grandes. Este perfil aborda experimentos em escala 12B, estabilidade e colaborações.
Jetson Thor combina computação de IA de ponta, MIG de virtualização e sensores multimodais para robótica flexível em tempo real na borda, com aceleração FP4/FP8 e suporte a Isaac GR00T e a modelos grandes de linguagem/visão.
Aborda a integração entre dados geoespaciais e fluxos GIS com Amazon Bedrock, usando LLMs, RAG e Bedrock Agents para ampliar insights e simplificar operações.
A Apple ML Research apresenta SlowFast-LLaVA-1.5 (SF-LLaVA-1.5), uma família de LLMs de vídeo com eficiência de tokens para compreensão de vídeos de longa duração, usando o mecanismo SlowFast de dois fluxos e dados públicos para alcançar resultados de ponta entre 1B e 7B.
Pesquisadores da Apple identificam 'super weights'—um conjunto extremamente pequeno de parâmetros de LLM—que podem influenciar decisivamente o comportamento do modelo, abrindo caminhos para compressão e levantando questões sobre a dinâmica interna.
Nova referência, WinoIdentity, avalia viés interseccional em LLMs por meio da Disparidade de Confiança na Coreferência (CCD) em 25 marcadores demográficos e 10 atributos, com resultados de cinco modelos.
O UICoder investiga o uso de feedback automatizado de compiladores e ferramentas multimodais para orientar LLMs na geração de código de interface de usuário que compila e se alinha a designs visuais. O modelo é ajustado com um conjunto de dados sintéticos refinado, criado a partir de dados gerados p
Demonstram como solicitar citações de fontes em respostas de modelos de compreensão Amazon Nova e como avaliar a precisão das respostas e citações usando LLM como juiz no Bedrock.
O Dynamo 0.4 introduz atendimento disagregado, AIConfigurator, autoscaling baseado em SLO com Planner, observabilidade aprimorada e recursos de tolerância a falhas. A atualização acelera inferência de grandes modelos, melhora a relação custo/benefício e fornece visibilidade operacional.
A NVIDIA Research apresenta o ProRL v2, a evolução mais recente do Prolonged Reinforcement Learning para LLMs, com novas técnicas de estabilidade e exploração que permitem melhorias sustentadas por meio de milhares de passos de RL.
Descubra como o AgentCore Runtime simplifica a integração e a gestão de agentes de IA com implantação neutra de frameworks e modelos, microVMs persistentes e isolamento de sessão.
FilBench avalia o desempenho de LLMs em Tagalog, Filipino e Cebuano em conhecimentos culturais, NLP clássico, compreensão de leitura e geração, revelando eficiência e insights de tradução para modelos SEA e GPT-4o.
TextQuests é um benchmarks que testa agentes LLM em 25 jogos clássicos de ficção interativa, enfatizando raciocínio de longo contexto e exploração autônoma.
FilBench é uma suíte de avaliação abrangente para medir capacidades de LLMs em Tagalog, Filipino e Cebuano, cobrindo Conhecimento Cultural, PLN Clássico, Compreensão de Leitura e Geração.
VLM de raciocínio aberto e personalizável para IA física e robótica; processamento de vídeo para tokens, ganhos com SFT e RL, implantação edge-to-cloud em GPUs NVIDIA, checkpoints via Hugging Face e GitHub.
AI Sheets é uma ferramenta de código aberto, sem necessidade de programação, para criar, enriquecer e transformar conjuntos de dados com modelos de IA. Pode ser executada localmente ou na Hub, suporta milhares de modelos abertos e permite iterar com prompts, feedback de poucos-shot e comparações de
Diff Risk Score (DRS) usa um modelo Llama ajustado para prever risco de produção de mudanças de código, viabilizando desbloqueio de código com segurança e ampliando ferramentas de gerenciamento de risco.
NVIDIA e OpenAI otimizam gpt-oss 20B/120B para inferência FP4 no Blackwell, alcançando até 1,5M tokens por segundo em um GB200 NVL72. Desempenho Day-0, opções de implantação e pilares técnicos.
Análise aprofundada de um estudo da OpenAI sobre riscos de fronteira ao liberar LLMs de peso aberto, incluindo Malicious Fine-Tuning (MFT) e seus resultados em biologia e cibersegurança.
Veja como os Gradio MCP servers permitem um assistente de compras alimentado por IA que navega lojas, seleciona roupas e mostra provadores virtuais com IDM-VTON, tudo integrado via VS Code AI Chat.
Descubra como os servidores Gradio MCP conectam LLMs a modelos da Hugging Face, permitindo um assistente de compras IA que navega por lojas e realiza provadores virtuais usando IDM-VTON.
A Telemetria Semântica ajuda LLMs a operar de forma eficiente, confiável e quase em tempo real. Este artigo descreve a engenharia por trás desse sistema, incluindo estratégias de agrupamento, otimização de tokens, orquestração e as trade-offs e lições aprendidas.
Análise aprofundada do Consilium, a plataforma multi-LLM que permite que modelos discutam, debatam e cheguem a um consenso via MCP e uma mesa redonda visual no Gradio.
CollabLLM Avança a colaboração entre modelos de linguagem grandes (LLMs) e pessoas, permitindo perguntas oportunas e tom adaptável, visando IA mais centrada no usuário e confiável.
Exploração de defesas StruQ e SecAlign contra prompt injection em LLMs. Conteúdo detalha separação de prompt/dados, treinamento estruturado e otimização de preferências, mantendo utilidade.
Recent advances in Large Language Models (LLMs) enable exciting LLM-integrated applications. However, as LLMs have improved, so have the attacks against them. Prompt injection attack is listed as the #1 threat by OWASP to LLM-integrated applications, where an LLM input contains a trusted prompt (ins
Anthology apresenta um método para guiar modelos de linguagem no sentido de personas virtuais representativas, consistentes e diversificadas, por meio de narrativas de vida ricas em detalhes. A abordagem permite uma emulação mais fiel de vozes humanas individuais.
Um método para guiar LLMs rumo a personas virtuais representativas, consistentes e diversas, gerando narrativas de vida detalhadas usadas como contexto de condicionamento, com aplicações em simulações e pesquisas escaláveis.
Exame sobre por que os chatbots LLM normalmente carecem de propósito e como diálogos orientados a objetivos, memória e troca de turnos podem remodelar a colaboração humano–IA, fluxos de codificação e assistência pessoal.
Explora o diálogo intencional em chatbots LLM, argumentando que interações de várias voltas alinham melhor a IA com os objetivos do usuário e permitem colaboração, especialmente em casos de uso de código e assistentes pessoais.
Análise aprofundada da benchmark StrongREJECT, seu desenvolvimento e o que ela revela sobre a confiabilidade das avaliações de jailbreak para LLMs de ponta.
Visão geral de um benchmark de jailbreak de alta qualidade com dois avaliadores automáticos, um conjunto de prompts proibidos e descobertas de que muitos jailbreaks não correspondem a reivindicações anteriores.
Pesquisadores de Berkeley apresentam Visual Haystacks (VHs), um benchmark visual centrado em justificar raciocínio com contexto longo em grandes conjuntos de imagens, destacando limites de modelos atuais e uma nova abordagem de recuperação.
Explora como Grandes Modelos de Linguagem (LLMs) se cruzam com finanças, incluindo desafios de dados em escala, abordagens multimodais, residualização e dados sintéticos, com base na análise da The Gradient sobre implicações de IA para o mercado.
Visão geral de como LLMs podem ser aplicados a mercados financeiros, incluindo modelagem autoregressiva de dados de preços, entradas multimodais, residualização, dados sintéticos e previsões em múltiplos horizontes, com ressalvas sobre eficiência de mercado.
Uma visão sintética de como o viés de gênero surge em sistemas de IA — desde embeddings de palavras tendenciosos até reconhecimento facial e modelos de linguagem grande — e como pesquisadores medem, mitigam e discutem essas questões.
Panorama de trabalhos influentes que medem viés de gênero em IA, abrangendo embeddings, co-referência, reconhecimento facial, benchmarks de QA e geração de imagens; discute mitigação, lacunas e auditoria robusta.
Explora como grandes modelos de linguagem podem impactar a condução autônoma — percepção, planejamento e geração — com desafios de confiabilidade, transparência e exemplos como Talk2BEV, GAIA-1 e DriveGPT.
Visão geral de como grandes modelos de linguagem podem aumentar a condução autônoma em percepção, planejamento e geração, com exemplos e desafios.