Items tagged with “Benchmark”.
Análisis detallado de cómo NVIDIA Run:ai Model Streamer disminuye los tiempos de arranque en frío al transmitir pesos a la memoria GPU, con benchmarks en GP3, IO2 y S3.
Este artículo explica cómo msg automatizó la armonización de datos para msg.ProfileMap usando Amazon Bedrock para impulsar flujos de enriquecimiento impulsados por LLM, aumentando la precisión de la coincidencia de conceptos de RR. HH., reduciendo la carga de trabajo manual y alineándose con la UE A
Analiza QAT y QAD como métodos para recuperar precisión en modelos de baja precisión, utilizando el TensorRT Model Optimizer y formatos FP8/NVFP4/MXFP4.
El RTX PRO 6000 Blackwell Server Edition de NVIDIA acelera de forma notable la inferencia de estructuras de proteínas, permitiendo flujos de trabajo end-to-end en GPU con OpenFold y TensorRT, hasta 138x más rápido que AlphaFold2.
OpenAI explica que las alucinaciones en modelos de lenguaje provienen de incentivos de evaluación que premian la conjetura sobre la incertidumbre. El artículo detalla cómo puntajes y benchmarks sensibles a la incertidumbre pueden reducir errores confiados.
Guía de afinado fino de gpt-oss usando SFT + QAT para recuperar precisión FP4 manteniendo la eficiencia, con upcasting a BF16, MXFP4, NVFP4 y despliegue con TensorRT-LLM.
Un enfoque de RL utiliza listas de verificación derivadas de instrucciones para guiar el alineamiento, superando modelos de recompensa fijos en múltiples benchmarks con Qwen2.5-7B-Instruct, presentado en ICLR 2025.
La investigación de Apple ML presenta SlowFast-LLaVA-1.5 (SF-LLaVA-1.5), una familia de LLMs de vídeo con eficiencia de tokens para la comprensión de vídeos largos, usando el mecanismo SlowFast de dos flujos y datos públicos para lograr resultados de vanguardia entre 1B y 7B.
David Luan, cabeza del AGI Lab de Amazon, sostiene que resolver los agentes de IA es la próxima gran frontera y describe un enfoque tipo fábrica para construir modelos más inteligentes y centrados en tareas reales.
Evaluación de la localización de campos en documentos utilizando Amazon Nova Pro en Amazon Bedrock, con resultados sólidos en FATURA y una solución modular para la empresa.
Un nuevo benchmark, WinoIdentity, expone sesgo interseccional en LLMs al combinar marcadores demográficos con género, e introduce Coreference Confidence Disparity para medir la incertidumbre entre identidades. Cinco LLMs muestran disparidades de confianza de hasta 40%.
Dynamo 0.4 introduce servicio desagregado, AIConfigurator, autoscalado basado en SLO y observabilidad en tiempo real para escalar despliegues de LLM con costo eficiente. Benchmark muestran hasta 4x más interactividad y 2.5x más throughput en modelos grandes.
Investigación de NVIDIA presenta ProRL v2, la evolución del Prolonged Reinforcement Learning para LLMs, con PPO-Clip, exploración y reinicios periódicos de política de referencia para mejoras continuas.
CUDA-QX 0.4 expande flujos de trabajo de corrección de errores cuánticos de extremo a extremo con generación automática de DEM, decodificador de red tensorial, mejoras BP+OSD y un Generative Quantum Eigensolver (GQE) en la biblioteca Solvers.
Explora cómo los modelos de lenguaje de largo contexto pueden realizar recuperación y razonamiento dentro de prompts extendidos, presentando el benchmark ICR2 y métodos de mejora, con evaluaciones en Mistral-7B y comparaciones con GPT-4.
TextQuests es un benchmark que evalúa agentes LLM en 25 juegos clásicos de ficción interactiva, enfatizando razonamiento de contexto largo y exploración autónoma.
NVIDIA Cosmos Reason es un VLM de razonamiento abierto y personalizable para IA física y robótica, presentado en GTC 2025. Razona con conocimiento previo y física para entender y actuar en el mundo real, usando tokens de video, un proyector y módulos LLM, reforzados por un fine-tuning supervisado y
OpenAI lanza GPT‑5 en su API, con rendimiento de código y tareas de agente de primera línea, nuevos controles para desarrolladores y tres tamaños de modelo para equilibrar rendimiento y costo.
OpenAI presenta gpt-oss-120b y gpt-oss-20b, dos modelos de lenguaje open-weight con licencia Apache 2.0. Ofrecen razonamiento sólido y uso de herramientas a bajo costo, diseñados para una implementación eficiente en hardware de consumo y dispositivos edge.
Benchmark de código abierto TimeScope evalúa la comprensión de videos largos insertando needles cortas en videos de 1 minuto a 8 horas, cubriendo recuperación, síntesis, localización y análisis de movimiento.
TimeScope propone una nueva referencia de código abierto para medir cómo los modelos vision-ling a procesan videos largos insertando needles cortos y evaluando recuperación, síntesis, localización y análisis de movimiento.
Análisis profundo de Consilium, la plataforma multi-LLM que permite a los modelos discutir, debatir y alcanzar consenso mediante servidores MCP y una mesa redonda visual en Gradio.
Análisis de FutureBench, un benchmark que evalúa a los agentes IA para predecir eventos futuros a partir de fuentes del mundo real, con foco en razonamiento bajo incertidumbre y resultados verificables.
Ettin presenta los primeros modelos de vanguardia emparejados entre codificadores y decodificadores entrenados con datos idénticos, para comparar arquitecturas de forma justa y reproducible.
Los chatbots basados en LLM siguen mejorando en los benchmarks, pero la experiencia del usuario podría no avanzar al mismo ritmo. Este artículo defiende un diálogo con propósito, multirondas y memoria, y examina su impacto para desarrolladores y empresas.
Análisis basado en evidencia de StrongREJECT, un benchmark de jailbreak de vanguardia. Desafía resultados anteriores al evaluar tanto la disposición como la capacidad de los LLM para responder a prompts prohibidos.
Visión general de un benchmark de jailbreak de alta calidad con dos evaluadores automatizados, un conjunto de 313 prompts prohibidos y hallazgos sobre la brecha entre resultados publicados y evaluaciones rigurosas.
Visual Haystacks evalúa grandes modelos multimodales en razonamiento visual de contexto largo con miles de imágenes, destaca limitaciones actuales y presenta MIRAGE para recuperación aumentada multi-imagen.
Benchmark de razonamiento visual de contexto largo en grandes conjuntos de imágenes no correlacionadas; presenta MIRAGE para ampliar LMMs más allá del VQA de una imagen.
Resumen sobre cómo el sesgo de género aparece en sistemas de IA, cubriendo embeddings, reconocimiento facial, resolución de anáforas y modelos de lenguaje a gran escala, con ejemplos y mitigaciones.
Resumen de trabajos clave que miden sesgos de género en IA, abarcando embeddings, co-referencia, reconocimiento facial, benchmarks de QA y generación de imágenes; discusión de mitigación, lagunas y auditoría robusta.