Items tagged with “GPU”.
El HGX B200 de NVIDIA reduce la intensidad de carbono incorporado en un 24% frente al HGX H100, al tiempo que ofrece mayor rendimiento de IA y eficiencia energética. Este artículo resume los datos PCF y las novedades de hardware.
NVIDIA Dynamo offloads KV Cache desde la memoria de la GPU hacia almacenamiento económico, habilitando contextos más largos, mayor concurrencia y costos de inferencia más bajos para grandes modelos y cargas de IA generativa.
Microsoft anuncia planes para un data center Fairwater AI de 1,2 millones de pies cuadrados en Wisconsin, con cientos de miles de GPU Nvidia GB200. El proyecto de 3.3 mil millones de dólares promete un entrenamiento de IA sin precedentes.
Un análisis detallado de siete técnicas probadas por los Grandmasters de Kaggle para resolver rápidamente conjuntos de datos tabulares mediante aceleración por GPU, desde baselines variados hasta ensamblaje y pseudo-etiquetado.
RAPIDS 25.08 introduce perfiles de nivel de función y de línea para cuml.accel, el ejecutor de streaming por defecto del motor Polars GPU, soporte ampliado de tipos y cadenas, Spectral Embedding en cuML y aceleraciones de cero código para varios estimadores.
Visión general de extremo a extremo para implementar modelos GPT OSS de OpenAI en SageMaker AI y Bedrock AgentCore, impulsando un analizador de acciones multiagente con LangGraph, con cuantización MXFP4 de 4 bits y orquestación serverless.
Autodesk Research, Warp de NVIDIA y GH200 muestran CFD nativo en Python con XLB: ~8x de velocidad y escala hasta ~50 mil millones de celdas.
OpenAI, NVIDIA y Nscale anuncian Stargate UK, una infraestructura de IA soberana que ofrece cómputo local en el Reino Unido para apoyar servicios públicos, industrias reguladas y metas nacionales de IA.
Análisis detallado de cómo NVIDIA Run:ai Model Streamer disminuye los tiempos de arranque en frío al transmitir pesos a la memoria GPU, con benchmarks en GP3, IO2 y S3.
PyNvVideoCodec 2.0 aporta mejoras importantes a los pipelines de video acelerado por GPU en Python, basado en el NVIDIA Video Codec SDK y disponible en PyPI y NVIDIA NGC. Rendimiento comparable al SDK nativo con la facilidad de Python.
VC-6 acelerado por CUDA ofrece decodificación multi‑resolución selectiva, reduciendo I/O y acelerando el camino de datos a tensores en pipelines de visión IA.
El RTX PRO 6000 Blackwell Server Edition de NVIDIA acelera de forma notable la inferencia de estructuras de proteínas, permitiendo flujos de trabajo end-to-end en GPU con OpenFold y TensorRT, hasta 138x más rápido que AlphaFold2.
CUDA se redistribuye a través de plataformas de terceros para integrarse directamente en sus feeds de paquetes, simplificando la instalación y la gestión de dependencias para aplicaciones con GPU y acelerando el despliegue en los ecosistemas.
NVIDIA NIM Operator 3.0.0 amplía la inferencia de IA escalable en Kubernetes, habilitando despliegues multi-LLM y multi-nodo, integración con KServe y soporte DRA en modo tecnología, con colaboración de Red Hat y NeMo Guardrails.
Analiza cómo NVIDIA Rivermax y NEIO FastSocket ofrecen latencia ultrabaja y alto rendimiento, con kernel bypass, zero‑copy y GPUDirect para mover datos desde NIC hacia GPUs.
Descubre cómo la compilación Ahead-of-Time (AoT) de PyTorch acelera ZeroGPU Spaces exportando y recargando modelos optimizados, con cuantización FP8, formas dinámicas y demos prácticas.
Un enfoque de intercambio de memoria de GPU (swap de modelos) permite que múltiples modelos compartan GPUs por encima de la capacidad, reduciendo costos y conservando la capacidad de respuesta para la inferencia de LLM a gran escala.
Análisis detallado de nvMatmulHeuristics, un optimizador de meta-parámetros de kernels GPU para GEMM que acelera el auto-tuning con CUTLASS 4.2, entregando kernels cercanos al óptimo en mucho menos tiempo.
Descubre cómo la compilación ahead-of-time (AoT) de PyTorch acelera ZeroGPU Spaces en GPUs Nvidia H200, con recarga instantánea, cuantización FP8, formas dinámicas y ganancias de rendimiento (1.3×–1.8×) para Flux, Wan y LTX.
CUDA Toolkit 13.0 para Jetson Thor unifica herramientas ARM, habilita Memoria Virtual Unificada, compartición avanzada de GPU, interoperabilidad OpenRM/dmabuf, soporte NUMA y herramientas de desarrollo mejoradas para cargas de IA en edge.
Kit CUDA unificado para Arm en Jetson Thor con coherencia de memoria total, uso compartido de GPU entre procesos, interoperabilidad OpenRM/dmabuf, soporte NUMA y herramientas mejoradas para embebidos y servidores.
Utiliza el intercambio de memoria de GPU (hot-swapping de modelos) para compartir GPUs entre varios LLM, reducir costos de GPU ociosas y mejorar el autoescalado manteniendo los SLA.
Presenta nvMatmulHeuristics para seleccionar rápidamente un conjunto corto de configuraciones de kernels GEMM con alto potencial para CUTLASS 4.2, reduciendo drásticamente el tiempo de ajuste y acercándose al rendimiento de una búsqueda exhaustiva.
Descubre cómo la compilación AoT de PyTorch acelera ZeroGPU Spaces exportando un modelo compilado y recargándolo al instante, con cuantización FP8, formas dinámicas e integración con Spaces GPU.
La división de IA de Microsoft presenta sus primeros modelos desarrollados internamente, MAI-Voice-1 y MAI-1-preview, señalando un avance hacia capacidades de IA centradas en el consumidor y herramientas complementarias para Copilot.
Jetson Thor ofrece IA en el borde a escala robótica, con GPU Blackwell, MIG, FP4/FP8 y 128 GB de memoria para plataformas robóticas de próxima generación.
NVIDIA Blackwell Ultra acelera el entrenamiento e inferencia de IA con integración de doble-die, NVFP4 de 4 bits, 288 GB de HBM3e y interconexiones de alto ancho de banda para fábricas de IA a gran escala.
Guía práctica sobre cinco cuellos de botella de pandas con soluciones en CPU y GPU, incluyendo cudf.pandas como acelerador drop-in para un procesamiento de datos casi instantáneo.
NVIDIA detalla cómo la arquitectura Blackwell, las bibliotecas CUDA-X y un ecosistema abierto próspero —de RAPIDS a Cosmos y Nemotron— aceleran el desarrollo de IA desde el prototipo hasta la producción.
OpenAI reorganiza su dirección con Fidji Simo como CEO de Aplicaciones para supervisar a la mayor parte del personal, mientras Sam Altman dirige su atención a compute a gran escala, GPUs, interfaces cerebro-computador y hardware de consumo. una startup de BCI fuera de OpenAI
Guía técnica para desarrolladores sobre cinco cuellos de botella comunes de pandas, soluciones CPU/GPU y aceleración GPU con cudf.pandas sin cambiar el código.
Perfil detallado de Blackwell Ultra, su diseño de doble dado NV‑HBI, precisión NVFP4, 288 GB HBM3e por GPU e interconexiones de sistema para fábricas de IA e inferencia a gran escala.
Resumen de cómo el hardware Blackwell, los modelos de código abierto y una pila de software rica aceleran la IA, desde la preparación de datos hasta la implementación, mediante una amplia disponibilidad de modelos y herramientas.
cuPQC v0.4 amplía el soporte de hash y añade cálculos completos de Merkle, acelerando la verificación de integridad de datos y la seguridad en cargas de trabajo criptográficas de alta velocidad en GPUs.
NVIDIA HPC SDK v25.7 impulsa la programación con memoria unificada para HPC con GPU, automatizando el movimiento de datos entre CPU y GPU y aumentando la productividad en arquitecturas coherentes como Grace Hopper.
NVIDIA analiza cómo NVLink Fusion amplía las tecnologías scale-up de NVLink para hyperscalers, conectando CPUs y XPUs a una arquitectura de rack para la inferencia de IA a gran escala.
Descubre cómo Code Editor y espacios múltiples en SageMaker Unified Studio aceleran flujos de ML de principio a fin, desde desarrollo hasta entrenamiento y evaluación, con despliegue opcional.
Resumen de NVLink Fusion, que habilita la inferencia de IA escalable y de alto ancho de banda en configuraciones de CPU/XPU personalizadas y tejidos NVLink a nivel de rack.
cuPQC v0.4 amplía el soporte de hash y añade cálculos de árboles de Merkle para acelerar la integridad de datos, verificación y criptografía de preservación de la privacidad en GPUs.
NVIDIA HPC SDK v25.7 avanza la programación con memoria unificada para automatizar el movimiento de datos entre CPU y GPU, aumentando la productividad y facilitando la portabilidad de modelos oceánicos como NEMO en sistemas Grace Hopper.
Descubre cómo Omniverse Kit App Streaming de NVIDIA permite entregar de forma escalable apps basadas en OpenUSD a través de streaming en navegador, con opciones de implementación desde on‑prem hasta DGX Cloud totalmente gestionado.
NeMo-RL v0.3 añade el backend Megatron-Core para el post-entrenamiento RL en modelos muy grandes, ofreciendo mayor rendimiento, soporte de contexto largo y configuración simplificada para modelos densos y MoE.
Guía para desplegar y transmitir aplicaciones Kit de Omniverse a gran escala con opciones flexibles en la nube, local y DGX Cloud.
Visión general de NeMo-RL v0.3 con back-end Megatron-Core para post-entrenamiento de grandes modelos, destacando paralelismo 6D/4D, kernels GPU optimizados y configuración simplificada para aumentar el rendimiento en aprendizaje por refuerzo.
Nemotron Nano 2 9B abierto ofrece precisión líder y hasta 6x de rendimiento gracias a una arquitectura híbrida Transformer–Mamba y un presupuesto de pensamiento configurable.
NVIDIA presenta actualizaciones de RTX neural rendering y ACE, DLSS 4 ampliado, plugins para Unreal Engine, RTX Kit, Riva ASR en dispositivo y una experiencia GeForce NOW integrada con Discord.
Guía completa para diseñar, compilar y desplegar kernels CUDA de producción usando Hugging Face Kernel Builder, con bindings de PyTorch, builds multi-arquitectura y distribución en Hub.
Guía práctica para desarrollar, compilar para múltiples arquitecturas y desplegar kernels CUDA con Hugging Face Kernel Builder. Aprende a crear un flujo robusto desde desarrollo local hasta distribución en Hub.
Una guía práctica sobre kernel-builder de Hugging Face para desarrollar, compilar y desplegar kernels CUDA listos para producción, con builds reproducibles, soporte multi-arquitectura y distribución en Hub.
Un esfuerzo conjunto entre Salesforce y AWS muestra cómo los componentes de inferencia en SageMaker AI mejoran la utilización de GPU, la eficiencia de recursos y reducen costos, al alojar múltiples modelos en un solo endpoint.
Dynamo 0.4 introduce servicio desagregado, AIConfigurator, autoscalado basado en SLO y observabilidad en tiempo real para escalar despliegues de LLM con costo eficiente. Benchmark muestran hasta 4x más interactividad y 2.5x más throughput en modelos grandes.
NVIDIA presenta Wheel Variants, un enfoque de empaquetado de Python orientado a GPU. La iniciativa, en colaboración con PyTorch, Meta, Astral y Quansight, introduce un formato Wheel Variant para seleccionar artefactos optimizados para GPU durante la instalación, mejorando la fiabilidad y el rendimie
CUDA-QX 0.4 expande flujos de trabajo de corrección de errores cuánticos de extremo a extremo con generación automática de DEM, decodificador de red tensorial, mejoras BP+OSD y un Generative Quantum Eigensolver (GQE) en la biblioteca Solvers.
NVIDIA Cosmos Reason es un VLM de razonamiento abierto y personalizable para IA física y robótica, presentado en GTC 2025. Razona con conocimiento previo y física para entender y actuar en el mundo real, usando tokens de video, un proyector y módulos LLM, reforzados por un fine-tuning supervisado y
Resumen de ND‑Parallel en Accelerate: combinar paralelismo de datos, tensor, sharding y contexto con Axolotl para escalar entrenamiento en multi‑GPU y multi‑nodo.
Recurso sobre cómo componer múltiples estrategias de paralelismo (DP, FSDP, TP, CP) con Accelerate y Axolotl para entrenar modelos grandes en varias GPU, con configuración, casos de uso y trade-offs.
cuDF introduce transformaciones compiladas en tiempo de ejecución para fusionar kernels, aumentando el rendimiento y la eficiencia de memoria en el procesamiento de datos en GPU. A partir de cuDF 25.08, JIT añade operadores como ternario y funciones de cadena find y substring.
XGBoost 3.0 permite entrenar GBDT a escala terabyte en un solo GH200 Grace Hopper Superchip mediante memoria externa, con streaming desde la RAM y hasta 8x más rápido que la CPU, reduciendo la necesidad de clústeres multi-GPU.
CUDA Toolkit 13.0 mejora el rendimiento en las últimas CPU/GPU de NVIDIA, introduce la programación por tiles y unifica la herramienta en plataformas Arm SBSA y embebidas, con compresión de fatbins en Zstandard y Nsight Compute mejorado.
OpenAI presenta GPT OSS, una familia de modelos MoE 120B y 20B con cuantización MXFP4 de 4 bits, con licencia Apache 2.0 y disponibles a través de los Inference Providers de Hugging Face para implementaciones locales y en la nube.
NVIDIA y OpenAI optimizan gpt-oss-20b y gpt-oss-120b para inferencia FP4 acelerada en Blackwell, alcanzando hasta 1.5M tokens por segundo en GB200 NVL72 y habilitando despliegue de cloud a edge.
OpenAI presenta gpt-oss-120b y gpt-oss-20b, dos modelos de lenguaje open-weight con licencia Apache 2.0. Ofrecen razonamiento sólido y uso de herramientas a bajo costo, diseñados para una implementación eficiente en hardware de consumo y dispositivos edge.
vGPU 19.0 extiende GPUs RTX PRO Blackwell habilitadas con MIG para una virtualización de gráficos e IA escalable, con hasta 48 VMs por GPU y nuevas herramientas de IA y seguridad para centros de datos virtualizados.
OpenAI lanza dos modelos de pesos abiertos MoE, GPT OSS 120B y GPT OSS 20B, con cuantización MXFP4 de 4 bits. Licencia Apache 2.0 con política de uso mínima y acceso a través de Hugging Face Inference Providers para despliegues en dispositivo, on‑prem y en la nube.
Dos modelos de peso abierto de OpenAI (gpt-oss-120b y gpt-oss-20b) que usan Mixture-of-Experts y cuantización MXFP4 para inferencia rápida y eficiente en memoria. Licencia Apache 2.0; aptos para despliegues privados/locales y ejecución en dispositivo, con integración a Hugging Face Inference Provide
Muchos kernels CUDA son bound de ancho de banda; accesos de lectura/escritura vectorizados ofrecen mayor uso de la banda con menos instrucciones, siempre que estén alineados y con tamaños de datos adecuados.
OpenAI anuncia Stargate Noruega, su primer proyecto de data center de IA en Europa dentro del programa OpenAI for Countries, con capacidad de cómputo grande y energía renovable para Noruega y Europa.
La infraestructura de IA de Meta abarca centros de datos globales; el artículo describe detección y mitigación de fallas de hardware y corrupciones silenciosas de datos (SDC) para mantener la capacitación y la inferencia fiables a gran escala.
Un análisis de xT, un marco para modelar imágenes gigantes de forma integral en GPUs modernas. Tokenización anidada, codificadores de región y de contexto, y modelos de secuencia larga para conservar detalle y contexto.
Modelado de imágenes extremadamente grandes de extremo a extremo en GPUs modernas mediante tokenización jerárquica y codificadores regionales y de contexto, con contexto amplio y menor uso de memoria.