Items tagged with “LLM”.
NVIDIA Dynamo offloads KV Cache desde la memoria de la GPU hacia almacenamiento económico, habilitando contextos más largos, mayor concurrencia y costos de inferencia más bajos para grandes modelos y cargas de IA generativa.
Análisis detallado de cómo NVIDIA Run:ai Model Streamer disminuye los tiempos de arranque en frío al transmitir pesos a la memoria GPU, con benchmarks en GP3, IO2 y S3.
Verisk Rating Insights, impulsado por Amazon Bedrock, LLM y RAG, ofrece una interfaz conversacional para acceder a cambios ERC ISO, reduciendo descargas manuales y acelerando información precisa.
Este artículo explica cómo msg automatizó la armonización de datos para msg.ProfileMap usando Amazon Bedrock para impulsar flujos de enriquecimiento impulsados por LLM, aumentando la precisión de la coincidencia de conceptos de RR. HH., reduciendo la carga de trabajo manual y alineándose con la UE A
Optimiza la experimentación a la producción para Retrieval Augmented Generation (RAG) con SageMaker AI, MLflow y Pipelines, para flujos reproducibles, escalables y con gobernanza.
NVIDIA NIM Operator 3.0.0 amplía la inferencia de IA escalable en Kubernetes, habilitando despliegues multi-LLM y multi-nodo, integración con KServe y soporte DRA en modo tecnología, con colaboración de Red Hat y NeMo Guardrails.
AWS anuncia los modelos Falcon-H1 de TII (0,5B–34B) en Amazon Bedrock Marketplace y SageMaker JumpStart, con soporte multilingüe, arquitectura híbrida y guía de implementación.
Un enfoque de intercambio de memoria de GPU (swap de modelos) permite que múltiples modelos compartan GPUs por encima de la capacidad, reduciendo costos y conservando la capacidad de respuesta para la inferencia de LLM a gran escala.
Utiliza el intercambio de memoria de GPU (hot-swapping de modelos) para compartir GPUs entre varios LLM, reducir costos de GPU ociosas y mejorar el autoescalado manteniendo los SLA.
Explica por qué los modelos de lenguaje pequeños (SLMs) permiten una IA con agencia escalable, el papel de ecosistemas de modelos heterogéneos y rutas prácticas de adopción con NVIDIA NeMo y Nemotron Nano 2.
Guía de afinado fino de gpt-oss usando SFT + QAT para recuperar precisión FP4 manteniendo la eficiencia, con upcasting a BF16, MXFP4, NVFP4 y despliegue con TensorRT-LLM.
Explica cómo los modelos de lenguaje pequeños permiten IA agentica más rentable y flexible junto a LLMs, mediante NVIDIA NeMo y Nemotron Nano 2.
Guía para desplegar y escalar agentes LangGraph en producción usando NeMo Agent Toolkit, pruebas de carga y despliegue por fases para cientos a miles de usuarios.
Análisis detallado de cómo Amazon Health Services optimizó la descubribilidad en la búsqueda de Amazon combinando ML, NLP, búsqueda vectorial y LLM a través de SageMaker, Bedrock y EMR.
Jetson Thor ofrece IA en el borde a escala robótica, con GPU Blackwell, MIG, FP4/FP8 y 128 GB de memoria para plataformas robóticas de próxima generación.
NVFP4 es un formato de datos de 4 bits que ofrece precisión similar a FP16 con el rendimiento y la eficiencia de memoria de 4 bits, extendido al preentrenamiento de grandes modelos de lenguaje. Este perfil aborda experimentos a nivel 12B, estabilidad y colaboraciones industriales.
Explora cómo integrar datos geoespaciales y flujos GIS con Amazon Bedrock, aprovechando LLM, RAG y Bedrock Agents para desbloquear insights y optimizar operaciones.
La investigación de Apple ML presenta SlowFast-LLaVA-1.5 (SF-LLaVA-1.5), una familia de LLMs de vídeo con eficiencia de tokens para la comprensión de vídeos largos, usando el mecanismo SlowFast de dos flujos y datos públicos para lograr resultados de vanguardia entre 1B y 7B.
Investigadores de Apple identifican 'super weights'—un subconjunto extremadamente pequeño de parámetros de LLM—que pueden influir decisivamente en el comportamiento del modelo, con implicaciones de compresión y dinámica interna.
Este artículo muestra cómo construir una solución de planificación de viajes con agentes IA usando Amazon Nova y LangGraph en una arquitectura serverless.
Un nuevo benchmark, WinoIdentity, expone sesgo interseccional en LLMs al combinar marcadores demográficos con género, e introduce Coreference Confidence Disparity para medir la incertidumbre entre identidades. Cinco LLMs muestran disparidades de confianza de hasta 40%.
UICoder explora el uso de retroalimentación automatizada (compiladores y modelos multimodales) para afinar LLMs que generan código de interfaz de usuario, superando baselines y acercándose a modelos propietarios más grandes.
Resumen de cómo indicar a Amazon Nova que cite fuentes y cómo AWS evalúa la precisión de las citas usando LLM-as-a-judge, con ejemplos y pautas prácticas.
Dynamo 0.4 introduce servicio desagregado, AIConfigurator, autoscalado basado en SLO y observabilidad en tiempo real para escalar despliegues de LLM con costo eficiente. Benchmark muestran hasta 4x más interactividad y 2.5x más throughput en modelos grandes.
Investigación de NVIDIA presenta ProRL v2, la evolución del Prolonged Reinforcement Learning para LLMs, con PPO-Clip, exploración y reinicios periódicos de política de referencia para mejoras continuas.
Conoce cómo AgentCore Runtime de Bedrock de AWS ofrece un hosting sin servidor seguro, independiente del marco y del modelo, para agentes IA. Aprende sobre microVM persistentes, ciclo de vida de sesiones, memoria y por qué simplifica la infraestructura.
FilBench evalúa el desempeño de LLMs para Tagalog, Filipino y Cebuano en conocimiento cultural, NLP clásico, comprensión de lectura y generación, revelando eficiencia y perspectivas de traducción para modelos SEA y GPT-4o.
TextQuests es un benchmark que evalúa agentes LLM en 25 juegos clásicos de ficción interactiva, enfatizando razonamiento de contexto largo y exploración autónoma.
FilBench es una suite de evaluación integral para medir las capacidades de LLMs en Tagalog, Filipino y Cebuano, abarcando conocimiento cultural, NLP clásico, comprensión de lectura y generación.
NVIDIA Cosmos Reason es un VLM de razonamiento abierto y personalizable para IA física y robótica, presentado en GTC 2025. Razona con conocimiento previo y física para entender y actuar en el mundo real, usando tokens de video, un proyector y módulos LLM, reforzados por un fine-tuning supervisado y
Un enfoque propone una recuperación basada en cuantificación vectorial para reemplazar la puntuación de atención cruzada costosa, permitiendo catálogos de sesgo grandes con mejoras de precisión y menores costos de cómputo y memoria.
AI Sheets es una herramienta de código abierto sin necesidad de código para crear, enriquecer y transformar conjuntos de datos con modelos de IA. Se puede desplegar localmente o en el Hub, admite miles de modelos abiertos y permite iterar con prompts, ejemplos de pocos disparos y comparaciones de mo
Diff Risk Score (DRS) usa un Llama ajustado para predecir incidentes en producción a partir de cambios de código y guiar el desarrollo consciente del riesgo a lo largo del ciclo de software.
NVIDIA y OpenAI optimizan gpt-oss-20b y gpt-oss-120b para inferencia FP4 acelerada en Blackwell, alcanzando hasta 1.5M tokens por segundo en GB200 NVL72 y habilitando despliegue de cloud a edge.
Análisis detallado de un estudio de OpenAI sobre riesgos de frontera para LLMs de pesos abiertos, que introduce Malicious Fine-Tuning (MFT) y evalúa a gpt-oss en biología y ciberseguridad.
Descubre cómo los servidores Gradio MCP permiten a un LLM llamar modelos externos para navegar tiendas, seleccionar prendas y mostrar probadores virtuales con IDM-VTON, todo integrado mediante VS Code AI Chat.
Descubre cómo los servidores Gradio MCP conectan LLM a modelos de Hugging Face para alimentar un asistente de compras IA que navega por tiendas y realiza probadores virtuales con IDM-VTON.
Conoce la ingeniería detrás de la Telemetría Semántica para clasificar cómo los usuarios interactúan con la IA a escala, incluyendo trade-offs en batching, optimización de tokens y orquestación para ejecutar LLMs de forma eficiente, confiable y casi en tiempo real.
Análisis profundo de Consilium, la plataforma multi-LLM que permite a los modelos discutir, debatir y alcanzar consenso mediante servidores MCP y una mesa redonda visual en Gradio.
Resumen de las mejoras de Gradio MCP en la versión 5.38.0: carga de archivos, streaming de progreso en tiempo real, integración de OpenAPI, manejo de encabezados y descripciones de herramientas mejoradas.
CollabLLM, ganador del ICML 2025 Outstanding Paper Award, avanza en la colaboración entre LLMs y usuarios al saber cuándo hacer preguntas y adaptar el tono y el estilo según la situación, hacia sistemas IA más centrados en el usuario y confiables.
Una perspectiva crítica sostiene que la verdadera AGI requiere una comprensión encarnada del mundo físico, no solo procesamiento multimodal. El artículo advierte que los enfoques multimodales pueden no conducir a una inteligencia de nivel humano y explica por qué la encarnación y la interacción con
Visión detallada para defender los LLM frente a la inyección de prompts mediante StruQ (Structured Instruction Tuning) y SecAlign (Special Preference Optimization), incluyendo Front-End Seguro, implementaciones y métricas de impacto.
Recent advances in Large Language Models (LLMs) enable exciting LLM-integrated applications. However, as LLMs have improved, so have the attacks against them. Prompt injection attack is listed as the #1 threat by OWASP to LLM-integrated applications, where an LLM input contains a trusted prompt (ins
Análisis detallado de Anthology, un método que condiciona modelos de lenguaje mediante narrativas de vida para crear personas virtuales representativas, consistentes y diversas en investigación y aplicaciones sociales.
Un método para guiar a los LLMs hacia personas virtuales representativas y consistentes generando narrativas de vida detalladas y utilizándolas como contexto de condicionamiento, para simulaciones individualizadas y estudios de usuario escalables.
Los chatbots basados en LLM siguen mejorando en los benchmarks, pero la experiencia del usuario podría no avanzar al mismo ritmo. Este artículo defiende un diálogo con propósito, multirondas y memoria, y examina su impacto para desarrolladores y empresas.
Explora el diálogo con propósito en chatbots LLM, argumentando que las interacciones de varias vueltas alinean mejor la IA con los objetivos del usuario y facilitan la colaboración, especialmente en código y asistentes personales.
Análisis basado en evidencia de StrongREJECT, un benchmark de jailbreak de vanguardia. Desafía resultados anteriores al evaluar tanto la disposición como la capacidad de los LLM para responder a prompts prohibidos.
Visión general de un benchmark de jailbreak de alta calidad con dos evaluadores automatizados, un conjunto de 313 prompts prohibidos y hallazgos sobre la brecha entre resultados publicados y evaluaciones rigurosas.
Análisis de cómo los grandes modelos de lenguaje pueden aplicarse a series temporales financieras, datos multimodales y generación de datos sintéticos, con consideraciones prácticas.
Visión general de cómo los LLMs pueden aplicarse a los mercados financieros, incluyendo modelado autoregresivo de datos de precios, entradas multimodales, residualización, datos sintéticos y predicciones de múltiples horizontes.
Resumen sobre cómo el sesgo de género aparece en sistemas de IA, cubriendo embeddings, reconocimiento facial, resolución de anáforas y modelos de lenguaje a gran escala, con ejemplos y mitigaciones.
Resumen de trabajos clave que miden sesgos de género en IA, abarcando embeddings, co-referencia, reconocimiento facial, benchmarks de QA y generación de imágenes; discusión de mitigación, lagunas y auditoría robusta.
Examina cómo los grandes modelos de lenguaje pueden apoyar la percepción, la planificación y la generación en la conducción autónoma, destacando oportunidades y desafíos clave.
Visión general de cómo los grandes modelos de lenguaje pueden mejorar la conducción autónoma en percepción, planificación y generación, con ejemplos y retos.