Amazon ha anunciado la disponibilidad general de una nueva función en su plataforma Bedrock que optimiza significativamente la generación de respuestas en modelos como Claude 3.5 Haiku y Claude 3.7 Sonnet. La nueva capacidad, conocida como «prompt caching», promete reducir la latencia de respuesta en hasta un 85% y los costos operativos hasta en un 90%, marcando un avance importante en la eficiencia operativa de los servicios AI.
El sistema de «prompt caching» permite a los usuarios identificar y marcar secciones específicas de sus solicitudes, denominadas «prompt prefixes», para ser almacenadas en caché. Cuando una solicitud contiene un «prompt prefix» que coincide con la memoria caché, el modelo evita el procesamiento completo y reutiliza la información almacenada, reduciendo el tiempo de respuesta y optimizando el uso de hardware. Esta mejora se traduce en beneficios de costos significativos, que se trasladan a los usuarios finales.
Amazon Bedrock ha integrado este componente para mejorar el procesamiento de tokens de entrada, un paso crítico en el rendimiento de los modelos de lenguaje a gran escala. Mediante el uso de puntos de control de caché, los desarrolladores pueden estructurar sus solicitudes para maximizar coincidencias en la memoria caché, mejorando así el rendimiento general del sistema.
El uso de esta funcionalidad es particularmente ventajoso para aplicaciones que requieren «prompts» de contexto largo y repetido. Ejemplos de tales aplicaciones incluyen asistentes virtuales de chat, herramientas para programadores y flujos de trabajo donde se prioriza la coherencia y eficiencia. Para obtener el máximo provecho, se recomienda a los desarrolladores organizar sus «prompts» de manera estratégica, colocando instrucciones y ejemplos estáticos al principio y dejando la información específica del usuario para el final.
Las métricas sobre el uso de la memoria caché, incluyendo los conteos de tokens leídos y escritos, serán accesibles a través de la API, permitiendo a los desarrolladores afinar su estrategia de caché y asegurar que sus aplicaciones respondan de manera óptima. Sin embargo, es importante destacar que en situaciones donde se emplean «prompts» muy largos y dinámicos, puede disminuir la efectividad de esta funcionalidad, requiriendo un análisis cuidadoso por parte de los desarrolladores para mantener el rendimiento deseado.
Esta innovación en Amazon Bedrock también es compatible con el servicio de inferencia interregional, que ayuda en la selección de la región de AWS más adecuada para procesar las solicitudes, maximizando la disponibilidad de recursos durante períodos de alta demanda. Con estos avances, Amazon sigue consolidándose como líder en la provisión de tecnologías de inteligencia artificial más eficientes y accesibles.
