AWS ha anunciado el lanzamiento de AppSync Events, una nueva funcionalidad destinada a mejorar la creación de APIs Websocket, haciéndolas más seguras y escalables. Esta herramienta facilita la transmisión de eventos en tiempo real a un gran número de suscriptores, garantizando además una baja latencia en la propagación de eventos desde modelos de inteligencia artificial generativa hacia los usuarios. La innovación está pensada para mejorar la experiencia de usuario en aplicaciones de IA, asegurando respuestas prácticamente instantáneas.
En su reciente artículo, AWS detalla cómo AppSync Events puede ser la base para diseñar una arquitectura de gateway de IA sin servidor. La funcionalidad se integra con varios servicios de AWS, ofreciendo una cobertura completa para arquitecturas de gateway de IA. Con el fin de ayudar a los desarrolladores en esta transición, AWS proporciona código de ejemplo listo para ser implementado en cuentas de usuario, facilitando así el inicio de nuevos proyectos.
El concepto de AI Gateway se presenta como un patrón arquitectónico de middleware, orientado a mejorar la disponibilidad, seguridad y visibilidad de los grandes modelos de lenguaje (LLMs). Esta arquitectura considera las diversas necesidades dentro de una organización: los usuarios quieren respuestas rápidas, los desarrolladores buscan flexibilidad, el personal de seguridad demanda gobernanza y el equipo de ingeniería necesita soluciones de monitoreo efectivas.
Las capacidades del AI Gateway incluyen autenticación y autorización con Amazon Cognito, acceso a APIs con baja latencia y gestión de autorizaciones. Además, incluye limitación de tasa y medición para el manejo del tráfico de bots, acceso a distintos modelos de IA y soluciones para el registro y análisis del comportamiento de la aplicación. Estas funcionalidades permiten un monitoreo efectivo, permitiendo al personal reaccionar rápidamente a los eventos.
La arquitectura propuesta se centra en crear canales de comunicación entre usuarios y modelos de LLM mediante el uso de AppSync Events, que asegura que solo usuarios autorizados puedan acceder a sus respectivos canales. Esto se logra mediante funciones Lambda que validan la autorización del usuario.
Asimismo, se pone énfasis en la limitación de tasa y el control de uso de tokens, crucial para empresas que implementan IA generativa. La integración de Amazon DynamoDB permite mantener contadores atómicos para rastrear el consumo de tokens, asegurando que los límites diarios o mensuales no sean excedidos.
AWS también aborda la necesidad de análisis de datos, ofreciendo una solución que permite la extracción de información valiosa de los registros generados por la aplicación. Esta arquitectura, que incluye Amazon Firehose, S3 y Amazon Athena, facilita la transformación de datos en tablas estructuradas y consultables.
Con AppSync Events, AWS sigue promoviendo el desarrollo de soluciones de AI Gateway, no solo para mejorar el acceso a modelos de lenguaje, sino también para asegurar una mayor transparencia y control. Esta innovación está diseñada para adaptarse a las crecientes necesidades de empresas que buscan aprovechar la inteligencia artificial de forma segura y eficiente.
