Evaluación Innovadora De Chatbots: La Plataforma De Tealium Con Ragas Y Auto-Instruct Usando AWS AI

Elena Digital López

En un esfuerzo innovador, Tealium, en colaboración con el AWS Generative AI Innovation Center, ha desarrollado un marco para evaluar y mejorar los sistemas de Generación Aumentada por Recuperación (RAG). Este avance busca optimizar las funciones de un chatbot de preguntas y respuestas que ha sido desarrollado por Tealium, reconocida por su liderazgo en la integración de datos de clientes en tiempo real. La sinergia estratégica ha permitido aprovechar Amazon Bedrock, una plataforma de inteligencia artificial generativa, para incrementar la precisión y relevancia de las respuestas del chatbot.

La arquitectura del innovador sistema se compone de varios pasos comenzando por la introducción de una consulta en el bot de Tealium. A través del sistema FAISS, el bot recupera el contexto pertinente y genera una respuesta adecuada. Este proceso es luego evaluado por la biblioteca Ragas, la cual mide la fidelidad de la respuesta, precisión y el recuerdo del contexto, entre otros parámetros críticos.

Un componente esencial del proyecto es la aplicación de Auto-Instruct, que genera instrucciones automáticas para perfeccionar las respuestas del bot. Estas instrucciones son evaluadas y clasificadas para seleccionar aquellas que resultan más eficientes. Además, se incorporó un sistema de retroalimentación que permite que un experto humano valide o rechace los resultados del modelo, garantizando así la exactitud y calidad de las respuestas.

El uso de Amazon Bedrock se distingue por su capacidad para gestionar modelos fundamentales mediante una API, lo que facilita personalizaciones y despliegues ágiles sin la necesidad de lidiar con infraestructuras complejas. Esto ha permitido a Tealium no solo mejorar significativamente las respuestas de su bot, sino también mantener un control robusto y seguro sobre los datos utilizados y generados.

Este proyecto ha puesto de relieve no solo la utilidad de los modelos de inteligencia artificial generativa para automatizar procesos, sino también la importancia de integrar soluciones tecnológicas avanzadas con la intervención humana para asegurar la calidad de los resultados. De cara al futuro, se contempla la posibilidad de explorar modelos alternativos, diferentes estrategias de segmentación y evaluación de costos para seguir optimizando la propuesta.

En resumen, esta colaboración no solo reafirma el compromiso de Tealium con sus clientes mediante la innovación continua, sino que también ilustra el potencial de Amazon Bedrock para facilitar la creación y mejora de aplicaciones de inteligencia artificial generativa, con un firme énfasis en la seguridad y flexibilidad.

Scroll al inicio