Las organizaciones están integrando cada vez más funciones de inteligencia artificial generativa en sus aplicaciones para mejorar la experiencia del cliente, optimizar operaciones y fomentar la innovación. Sin embargo, el crecimiento de las cargas de trabajo de IA plantea desafíos significativos en términos de rendimiento, fiabilidad y disponibilidad. Para superar estos obstáculos, las empresas buscan escalar sus procesos de inferencia de IA a través de múltiples regiones de AWS.
Con este objetivo, Amazon ha introducido una innovadora función en Bedrock: la inferencia cruzada entre regiones (CRIS, por sus siglas en inglés). Esta tecnología permite desviar automáticamente las solicitudes de inferencia a través de distintas regiones, facilitando así el manejo de aumentos de tráfico inesperados y mejorando el rendimiento sin requerir una planificación previa de la demanda por parte de los desarrolladores. CRIS utiliza perfiles de inferencia que definen un modelo base y las regiones adonde pueden dirigirse las solicitudes.
Recientemente se ha lanzado la inferencia cruzada global con Claude Sonnet 4.5 de Anthropic en Amazon Bedrock. Esta nueva capacidad ofrece a los usuarios la posibilidad de elegir entre un perfil específico de geografía o uno global, permitiendo que Amazon Bedrock seleccione automáticamente la región óptima para procesar las solicitudes. Esto mejora la gestión de solicitudes de inferencia a regiones comerciales a nivel mundial, optimizando los recursos y garantizando un mayor rendimiento, especialmente durante picos de uso imprevistos.
La inferencia cruzada global aprovecha recursos computacionales en diversas regiones para manejar estos picos de tráfico, redirigiendo las solicitudes basándose en la disponibilidad del modelo, la capacidad y la latencia. Además, Amazon CloudWatch y AWS CloudTrail siguen registrando actividades solo en la región de origen, lo que simplifica el monitoreo y la gestión general. La seguridad de los datos se mantiene alta, ya que los datos en tránsito se cifran y permanecen dentro de la red segura de AWS.
Los desarrolladores interesados en utilizar la inferencia cruzada global con Claude Sonnet 4.5 deben especificar el ID del perfil de inferencia global en las llamadas API a Amazon Bedrock y configurar los permisos adecuados con AWS Identity and Access Management.
Implementar esta capacidad no solo optimiza el rendimiento y la fiabilidad, sino que también reduce costos en aproximadamente un 10% en comparación con la inferencia cruzada geográfica tradicional. Las empresas pueden así maximizar el valor de su inversión en Amazon Bedrock, logrando un uso más eficiente de los recursos.
Con la evolución de la inferencia cruzada global, las organizaciones podrán mejorar significativamente sus aplicaciones de IA, manejando eficazmente grandes volúmenes de trabajo y potenciando la recuperación ante desastres de manera innovadora.
