Modelos Falcon-H1 de TII ya disponibles en Amazon Bedrock Marketplace y SageMaker JumpStart

TL;DR

• Los modelos Falcon-H1 de la Technology Innovation Institute (TII) ya están disponibles en Amazon Bedrock Marketplace y Amazon SageMaker JumpStart. Seis modelos con instrucciones: 0,5B, 1,5B, 1,5B-Deep, 3B, 7B y 34B.
• Falcon-H1 utiliza un diseño híbrido paralelo que combina Modelos de Espacio de Estados (SSM) como Mamba con la atención de Transformers para ofrecer inferencia más rápida y menor uso de memoria, manteniendo una sólida comprensión del contexto.
• La familia Falcon-H1 ofrece soporte multilingüe nativo en 18 idiomas y admite hasta 256K de contexto, disponibles bajo la licencia Falcon LLM.
• Las opciones de despliegue incluyen Bedrock Marketplace y SageMaker JumpStart, con pasos guiados, prácticos para pruebas y una integración con Bedrock APIs y herramientas de SageMaker para despliegue seguro y ajuste fino.

Contexto y antecedentes

La familia Falcon-H1 proviene de la Technology Innovation Institute (TII), una institución de investigación con sede en Abu Dhabi y parte del UAE Advanced Technology Research Council (ATRC). TII se centra en IA, computación cuántica, robótica autónoma, criptografía y más. AWS y TII colaboran para ampliar el acceso a modelos de IA de origen UAE a nivel global, permitiendo a profesionales construir y escalar aplicaciones de IA generativa con los modelos Falcon-H1. La arquitectura Falcon-H1 implementa un diseño híbrido paralelo que combina la inferencia rápida y la menor huella de memoria de los SSM con la atención de Transformer para comprender el contexto y generalizar. Este diseño se apoya en conceptos derivados de Mamba y de la arquitectura Transformer para ofrecer eficiencia y capacidad de generalización. La familia Falcon-H1 varía de 0,5 a 34 mil millones de parámetros y ofrece soporte nativo para 18 idiomas. Según TII, variantes más pequeñas muestran eficiencia notable al lograr paridad de rendimiento con modelos más grandes en muchos escenarios. TII publica los modelos Falcon-H1 bajo la licencia Falcon LLM para fomentar la accesibilidad y la colaboración en IA, respaldando al mismo tiempo controles de gobernanza y seguridad. La disponibilidad en Bedrock Marketplace y JumpStart permite a los desarrolladores comparar modelos propietarios y públicos en un entorno unificado y usar la infraestructura de AWS para organizar, escalar y optimizar costos. El artículo describe cómo probar Falcon-H1-0,5B-Instruct en el Bedrock Playground e invocar el modelo mediante la Bedrock Converse API, sustituyendo los marcadores por el ARN del endpoint que comienza con arn:aws:sagemaker. Desde la perspectiva de la plataforma, Bedrock Marketplace ofrece acceso a cientos de modelos a través de APIs unificadas, con opciones para tipos de instancia y configuraciones de seguridad como VPC y llaves de cifrado. JumpStart facilita flujos de trabajo listos para usar a través de SageMaker Studio, el SDK de SageMaker y la consola, lo que facilita la integración en pipelines de ML existentes. El artículo muestra cómo desplegar Falcon-H1-0,5B-Instruct mediante el SDK de Python de SageMaker y, para JumpStart, detalla un flujo de implementación para desplegar el modelo con Studio, con un ejemplo de código para preparar datos de entrada, realizar la inferencia y procesar la respuesta. Para las organizaciones que evalúan cuál opción de implementación elegir entre Bedrock Marketplace o SageMaker JumpStart, el post ofrece orientación sobre cuál se ajusta mejor a sus requisitos específicos según casos de uso, cargas de trabajo y contexto de seguridad. La colaboración entre TII y AWS busca ampliar el acceso a capacidades de IA generativa de UAE a nivel mundial, manteniendo la seguridad y gobernanza. Puedes ampliar información en Bedrock y JumpStart en los recursos y referencias citados. La familia Falcon-H1 enfatiza el soporte multilingüe en 18 idiomas y la capacidad de contextos de hasta 256K, con tamaños de modelo que van desde 0,5B hasta 34B parámetros. Esta combinación busca ofrecer modelos LLM generativos eficientes y potentes para una variedad de aplicaciones dentro de la infraestructura en la nube de AWS con Bedrock y JumpStart. Puedes explorar estos modelos en las regiones de AWS donde Bedrock y JumpStart estén disponibles, de acuerdo con la disponibilidad regional y los requisitos de cumplimiento. Para más contexto sobre los objetivos de esta colaboración, consulta el AWS Machine Learning Blog y los recursos relacionados mencionados en la sección Referencias.

What’s new

• Seis modelos Falcon-H1 con instrucciones están disponibles en Bedrock Marketplace y JumpStart de SageMaker: 0,5B, 1,5B, 1,5B-Deep, 3B, 7B y 34B.
• La arquitectura Falcon-H1 utiliza un diseño híbrido paralelo que combina SSM y la atención Transformer para optimizar la velocidad de inferencia y el uso de memoria.
• Soporte multilingüe nativo en 18 idiomas, con una longitud de contexto de hasta 256K, entre los tamaños de modelo.
• Los modelos se publican bajo la licencia Falcon LLM y son accesibles a través de Bedrock Marketplace APIs o flujos de despliegue de JumpStart, permitiendo descubrimiento, prueba y uso en producción.
• Se proporcionan guías de despliegue para Bedrock Marketplace y JumpStart, incluyendo un Bedrock playground para pruebas y ejemplos usando la Bedrock Converse API, así como un flujo de trabajo del SageMaker Python SDK para despliegues JumpStart.
• Pre-requisitos para el despliegue en Bedrock incluyen tener una cuenta AWS con una cuota suficiente para endpoints ml.g6.xlarge; los aumentos de cuota pueden solicitarse a través de AWS Service Quotas.
• El post muestra un flujo de despliegue de extremo a extremo para Falcon-H1-0,5B-Instruct como ejemplo, con pasos aplicables a otros modelos Falcon-H1 de la familia, sujeto a disponibilidad de cuotas y recursos.

Tabla de visión general del modelo

| Modelo | Parámetros | Longitud de contexto | Idiomas | Arquitectura |---|---|---|---|---| | 0,5B | 0,5B | 256K | 18 | Híbrido SSM (Mamba) + Atención Transformer |1,5B | 1,5B | 256K | 18 | Híbrido SSM + Atención Transformer |1,5B-Deep | 1,5B | 256K | 18 | Híbrido SSM + Atención Transformer |3B | 3B | 256K | 18 | Híbrido SSM + Atención Transformer |7B | 7B | 256K | 18 | Híbrido SSM + Atención Transformer |34B | 34B | 256K | 18 | Híbrido SSM + Atención Transformer |

Por qué importa (impacto para desarrolladores/empresas)

• Accesibilidad y escalabilidad: Bedrock Marketplace y JumpStart ofrecen caminos unificados para descubrir, comparar e implantar modelos LLM avanzados, facilitando la evaluación de Falcon-H1 frente a otros modelos y la selección de la mejor opción para la carga de trabajo.
• Alcance global con IA de origen UAE: la colaboración aporta capacidades de IA de UAE a una audiencia internacional, alineándose con la UAE National AI Strategy 2031 y conduciendo a una adopción global de Falcon-H1.
• Eficiencia y coste-efectividad: el diseño híbrido mejora la inferencia y reduce el uso de memoria en modelos más pequeños, permitiendo despliegues a gran escala con costos más controlados.
• Seguridad y gobernanza: las implementaciones en Bedrock y JumpStart pueden configurarse dentro de una VPC, con opciones de cifrado y etiquetado para cumplir políticas de seguridad.
• Capacidades multilingües: con soporte para 18 idiomas, los modelos Falcon-H1 son aptos para aplicaciones multilingües y para soporte a clientes globales.

Detalles técnicos o Implementación

La familia Falcon-H1 cubre de 0,5B a 34B parámetros y se apoya en un diseño híbrido paralelo que combina SSM y atención Transformer. Los SSM como Mamba permiten inferencia rápida y menor uso de memoria, mientras que la atención del Transformer garantiza comprensión del contexto y generalización. La combinación ofrece ventajas de eficiencia en todos los tamaños de modelo, manteniendo capacidades modernas de LLM. El contexto de hasta 256K es compatible en todos los tamaños y hay soporte para 18 idiomas. Las rutas de despliegue son dos: Bedrock Marketplace y SageMaker JumpStart. Bedrock ofrece un catálogo central con APIs unificadas, opciones de tipo de instancia y configuraciones de seguridad como VPC y claves de cifrado. JumpStart facilita flujos de trabajo listos para usar a través de SageMaker Studio, el SDK de SageMaker y la consola, simplificando la integración en pipelines de ML existentes. Requisitos previos y consideraciones operativas:

• El despliegue en Bedrock requiere una cuenta AWS con cuota suficiente para endpoints ml.g6.xlarge; las aumentos deben solicitarse a través de AWS Service Quotas.
• Después de experimentar con los modelos Falcon-H1, es importante eliminar endpoints y recursos asociados para evitar cargos continuos, siguiendo las directrices oficiales de SageMaker.
• Aunque el artículo usa Falcon-H1-0,5B-Instruct como ejemplo, los mismos pasos de despliegue se aplican a otros modelos Falcon-H1 de la familia, sujeto a cuotas y disponibilidad de recursos.

Puntos clave

• Falcon-H1 ofrece acceso a modelos LLM de origen UAE a través de Bedrock y JumpStart, ampliando las opciones para desarrollo de IA.
• El diseño híbrido SSM/Transformer ofrece eficiencia y rendimiento para una variedad de aplicaciones, con soporte multilingüe en 18 idiomas y hasta 256K de contexto.
• Despliegues a través de Bedrock Playground o JumpStart, con Studio y SDK para integración en pipelines existentes.
• Licencia Falcon LLM facilita una IA colaborativa y segura con controles de gobernanza y seguridad.
• Consideraciones de prerrequisitos y costos; planifique solicitudes de cuota y limpieza de recursos al finalizar pruebas.

Referencias

• AWS ML Blog