Modelos base Mercury de Inception Labs disponibles en Amazon Bedrock Marketplace y SageMaker JumpStart

TL;DR

• Mercury y Mercury Coder, modelos base de Inception Labs, ya están disponibles en Amazon Bedrock Marketplace y SageMaker JumpStart.
• Mercury usa generación por difusión para producir múltiples tokens en paralelo, con inferencia más rápida que los modelos autoregresivos tradicionales.
• El acceso a través de Bedrock Marketplace y JumpStart incluye pruebas en el Bedrock playground y despliegue mediante SageMaker Studio o el SageMaker Python SDK.
• Una demostración muestra un juego completo de tic-tac-toe con IA minimax generado en una sola respuesta a 528 tokens por segundo, demostrando la calidad de código generado y la velocidad.
• Mercury admite capacidades avanzadas de uso de herramientas, permitiéndole llamar funciones externas según las consultas del usuario, habilitando agentes de IA que interactúan con API y bases de datos. Para más detalles, consulta el artículo original del AWS ML Blog que describe la disponibilidad y capacidades. AWS ML Blog.

Contexto y antecedentes

Mercury representa la primera familia de modelos de lenguaje basados en difusión a escala comercial, desarrollada por Inception Labs. La generación por difusión difiere de los modelos autoregresivos tradicionales al producir múltiples tokens en paralelo mediante un proceso difuso de fases (coarse-to-fine), lo que permite una inferencia de baja latencia con salidas de alta calidad. Mercury Coder extiende estas capacidades a tareas de generación de código. Estos modelos están diseñados para satisfacer las necesidades empresariales de velocidad, confiabilidad y seguridad al usar IA generativa en AWS. Bedrock Marketplace ofrece acceso a un catálogo amplio de modelos de base, incluyendo Mercury y Mercury Coder, mientras que SageMaker JumpStart propone modelos preentrenados y flujos de trabajo optimizados para implementación y MLOps. Esta combinación facilita a los desarrolladores explorar, desplegar y probar Mercury en un entorno AWS seguro, con opciones para ejecutarlo en VPC del cliente y aprovechar las herramientas de Bedrock mediante la Converse API. Este lanzamiento se alinea con las directrices de AWS para integrar modelos de base a través de Bedrock y JumpStart, destacando el papel de los hubs de modelos en JumpStart (por ejemplo, Mistral para diversas tareas). El objetivo es acelerar la experimentación y la adopción responsable de IA generativa a gran escala en AWS.

Novedades

• Mercury y Mercury Coder ya están disponibles a través de Amazon Bedrock Marketplace y Amazon SageMaker JumpStart. Puedes desplegar estos modelos basados en difusión para construir, experimentar y escalar aplicaciones de IA generativa en AWS.
• Los modelos admiten tamaños Mini y Small, lo que permite elegir la huella del modelo adecuada para requisitos de latencia, costo y rendimiento.
• El acceso se realiza mediante dos rutas integradas:
• Bedrock Marketplace: las páginas de detalles del modelo proporcionan capacidades, estructuras de precios y directrices de implementación. Puedes suscribirte, probar en el Bedrock playground y desplegar endpoints.
• SageMaker JumpStart: Mercury y Mercury Coder aparecen en los hubs de JumpStart y pueden desplegarse a través de SageMaker Studio o programáticamente mediante el SageMaker Python SDK. Los hubs de JumpStart ofrecen un amplio catálogo de modelos preentrenados para diversas tareas.
• El despliegue se realiza en un entorno AWS seguro y en tu VPC, para satisfacer las necesidades de seguridad empresarial. Se indican permisos de IAM necesarios para desplegar el modelo y suscripciones al modelo en AWS Marketplace.
• Después del despliegue, puedes probar el endpoint enviando una carga de prueba o usando las opciones de prueba del SDK. El artículo presenta un ejemplo concreto desplegando Mercury mediante el SageMaker SDK y comprobando sus capacidades con una tarea simple de generación de código.
• Los modelos Mercury incluyen capacidades avanzadas de uso de herramientas, permitiendo determinar cuándo y cómo llamar funciones externas según las consultas de los usuarios. Esto abre la posibilidad de crear agentes de IA que interactúen con sistemas externos, APIs y bases de datos.
• El artículo también ofrece pautas para limpiar recursos y evitar cargos, incluyendo instrucciones para eliminar endpoints cuando ya no se necesiten.

Cómo acceder y desplegar

Puedes acceder a los modelos Mercury tanto en Bedrock Marketplace como en SageMaker JumpStart. Bedrock Marketplace ofrece paquetes de modelos y un playground de pruebas para exploración rápida, mientras que JumpStart propone un flujo de despliegue gestionado dentro de SageMaker Studio o mediante JumpStart. Para desplegar, normalmente se verifican recursos y permisos de IAM, se suscribe al paquete de modelo, se obtiene el ARN del paquete y se utiliza para crear un modelo desplegable mediante código. El artículo describe un ejemplo de despliegue de Mercury mediante el SageMaker SDK y muestra cómo probar el endpoint tras el despliegue. Un ejemplo de tic-tac-toe ilustra las capacidades de generación de código y la velocidad del modelo, con 528 tokens por segundo en ese caso, demostrando el rendimiento de la difusión.

Por qué es importante (impacto para desarrolladores/empresas)

• Los modelos Mercury por difusión ofrecen inferencia rápida al generar múltiples tokens en paralelo, lo que resulta crucial para cargas de IA generativa de baja latencia (chat, asistentes de código, pipelines de generación de contenido).
• La disponibilidad a través de Bedrock Marketplace y JumpStart reduce las barreras de acceso para desarrolladores y empresas, fomentando la experimentación rápida y la iteración sin necesidad de entrenar modelos desde cero ni gestionar infraestructuras complejas.
• La capacidad de ejecutarlos en un entorno AWS seguro y dentro de la VPC del cliente apoya requisitos de seguridad empresariales, algo fundamental para industrias con estrictos controles de datos y red.
• Las capacidades de uso de herramientas permiten a los agentes IA automatizar tareas y llamar a APIs y bases de datos externas, habilitando asistentes más autónomos.
• La integración con características de SageMaker (Pipelines, Debugger y logs de contenedores) ayuda a gestionar el ciclo de vida de los modelos en producción y a mantener la observabilidad y el control de costos.

Detalles técnicos o Implementación

Mercury y Mercury Coder se ofrecen en dos tamaños (Mini y Small) para acomodar consideraciones de latencia y costo. El acceso puede hacerse vía Bedrock Marketplace y SageMaker JumpStart, cada uno con su flujo de despliegue:

• Bedrock Marketplace: páginas de detalle del modelo ofrecen capacidades, estructuras de precios y directrices de implementación. Suscripción, prueba en el Bedrock playground y despliegue de endpoints son posibles. La API Converse puede usarse para invocar el modelo desde las herramientas de Bedrock.
• SageMaker JumpStart: Mercury y Mercury Coder aparecen en los hubs JumpStart y pueden desplegarse a través de SageMaker Studio o programáticamente mediante el SageMaker Python SDK. Tras el despliegue, puedes evaluar rendimiento y controles de MLOps con características de AWS como SageMaker Pipelines, SageMaker Debugger y logs de contenedores. Pasos de despliegue (visión general):
• Asegúrate de que tu rol IAM de SageMaker tenga los permisos adecuados para desplegar el modelo, incluidas las permisos de suscripción a AWS Marketplace si es necesario.
• Suscríbete al paquete del modelo o utiliza una suscripción existente en tu cuenta.
• Obtén el ARN del paquete y utilízalo al crear un modelo desplegable a través del SDK (o mediante la interfaz JumpStart).
• Despliega el endpoint y prueba con cargas de muestra para validar comportamiento y latencia.
• Monitoriza rendimiento y costos; utiliza las guías para limpiar recursos cuando ya hayas terminado para evitar cargos. Un ejemplo del artículo muestra a Mercury generando un juego de tic-tac-toe con código completo (HTML, CSS y JavaScript) en una única respuesta, a 528 tokens por segundo en esa ejecución, lo que ilustra las capacidades de generación de código y la velocidad de difusión.

Tabla rápida

| familia de modelo | Caminos de acceso | Tamaños soportados |---|---|---| | Mercury | Bedrock Marketplace, SageMaker JumpStart | Mini, Small |Mercury Coder | Bedrock Marketplace, SageMaker JumpStart | Mini, Small |

Conclusiones clave

• Mercury acerca la velocidad de difusión a cargas de IA generativa en AWS a través de Bedrock Marketplace y JumpStart.
• El acceso está diseñado para experimentación rápida y despliegue seguro en entornos AWS.
• Las capacidades de uso de herramientas permiten a los agentes de IA interactuar con APIs y bases de datos externas.
• Las herramientas de SageMaker facilitan MLOps, monitoreo y gestión del ciclo de vida de los modelos en producción.