Un reciente estudio de McKinsey & Company ha revelado el enorme potencial económico de la inteligencia artificial generativa, estimando que podría aportar entre 2.6 y 4.4 billones de dólares a la economía global. Esta proyección está impulsando a miles de empresas a desarrollar aplicaciones de inteligencia artificial generativa en la plataforma Amazon Web Services (AWS), destacando su utilidad en áreas como operaciones con clientes, marketing, ventas, ingeniería de software e investigación y desarrollo.
Sin embargo, ante el auge en la adopción de estas tecnologías, surge una preocupación creciente entre los líderes de gestión de productos y arquitectura empresarial: cómo entender y optimizar los costos asociados. Se requiere un análisis detallado de estas consideraciones financieras, especialmente para aquellos con conocimientos básicos sobre modelos de lenguaje grandes, tokens y bases de datos vectoriales en el entorno de AWS.
Uno de los enfoques más populares en la implementación de soluciones de IA generativa es la Generación Aumentada por Recuperación (RAG). Este método permite que los modelos de lenguaje respondan a preguntas específicas usando datos corporativos, incluso si esos datos no formaron parte del entrenamiento original. La optimización de costos y rendimiento en este contexto se apoya en varios pilares clave, entre ellos, la selección, elección y personalización de modelos, el uso eficiente de tokens y la estructuración de planes de precios de inferencia.
La selección del modelo implica identificar el más adecuado que satisfaga las diversas necesidades empresariales. Luego, su validación con conjuntos de datos de alta calidad asegura la precisión de las respuestas. La elección del modelo no solo se basa en tales características, sino también en los costos asociados y el rendimiento esperado, mientras que la personalización busca maximizar la eficiencia mediante la modificación de modelos preexistentes con nuevos datos de entrenamiento.
El costo operativo de un modelo de IA generativa está directamente relacionado con el número de tokens procesados. Por ello, es vital analizar el uso de tokens y considerar limitar su número o implementar estrategias de almacenamiento en caché para reducir gastos.
AWS ofrece distintos planes de precios de inferencia, como la modalidad bajo demanda o el rendimiento provisionado. Aunque esta última puede garantizar un nivel específico de rendimiento, generalmente viene con un costo más elevado. Además, deben considerarse medidas de seguridad, costes de bases de datos vectoriales y estrategias de fragmentación de datos, todo lo cual puede influir en la precisión y en el costo global de las aplicaciones.
El costo anual de operar un asistente virtual puede variar sustancialmente según el volumen de consultas recibidas. Por ejemplo, se observa que utilizando el modelo de lenguaje Claude 3 de Anthropic, los costos podrían oscilar entre los 12,577 y los 134,252 dólares al año, dependiendo del uso.
Finalmente, se subrayan las ventajas de servicios como Amazon Bedrock, que proveen acceso a modelos de alto rendimiento, y de implementar guardrails para mejorar la seguridad y controlar el contenido generado por las aplicaciones, fundamental para evitar resultados inadecuados en interacciones con los usuarios.
En conclusión, mientras la inteligencia artificial generativa sigue su avance tecnológico, es esencial que las organizaciones se mantengan al tanto de cómo gestionar los costos para maximizar su valor. En futuras publicaciones, se abordarán más aspectos sobre la estimación del valor comercial y los múltiples factores que lo afectan.
