En un esfuerzo por optimizar el tiempo de respuesta ante consultas de clientes, Amazon ha desarrollado un asistente de chat basado en inteligencia artificial generativa en su plataforma Amazon Bedrock. Tradicionalmente, los analistas de Cuentas por Pagar y Cuentas por Cobrar de las operaciones financieras de Amazon se enfrentaban a un proceso laborioso al recibir solicitudes de clientes, ya que requerían contactar a expertos en la materia y revisar numerosos documentos de políticas. Este proceso podía extenderse por horas o incluso días, debido a la falta de acceso inmediato a la información necesaria por parte de los analistas, especialmente de los nuevos empleados.
La nueva solución implementada por Amazon utiliza un modelo de lenguaje grande (LLM) que permite a los analistas obtener respuestas rápidamente dentro del mismo hilo de comunicación, lo que ha reducido drásticamente el tiempo necesario para resolver las consultas de los clientes.
El asistente de question-answering (Q&A) está construido sobre un pipeline de generación aumentada por recuperación (RAG), que opera en Amazon Bedrock. Este sistema recupera documentos relevantes de una base de conocimientos y genera respuestas con el modelo de lenguaje utilizando la información recuperada. Entre los elementos clave del sistema se encuentran una base de conocimientos gestionada por Amazon OpenSearch Service, un modelo de generación de respuestas proporcionado por Amazon Bedrock, y varios componentes diseñados para garantizar la validez y seguridad de las respuestas, como un motor de validación que previene respuestas incorrectas o alucinaciones.
La precisión del asistente de chat es una métrica de desempeño crucial para las operaciones financieras de Amazon. En la fase inicial del desarrollo, solo el 49% de las respuestas fueron consideradas correctas por los expertos. Para remediar esto, Amazon implementó varias estrategias, como la segmentación semántica de documentos y la ingeniería de prompts, lo que elevó la precisión al 86%.
Este avance refleja un cambio significativo en cómo Amazon emplea tecnologías de inteligencia artificial generativa para optimizar sus procesos financieros internos, logrando un notable progreso al reducir los tiempos de respuesta y mejorar la eficiencia operativa. A través de la mejora continua y la evaluación iterativa, Amazon ha abordado desafíos comunes al procesamiento automatizado de idiomas, posicionándose como líder en la aplicación de inteligencia artificial en operaciones financieras.
