Las empresas de diversos sectores están adoptando modelos de lenguaje grandes (LLMs) con el fin de desarrollar aplicaciones de inteligencia artificial generativa que ofrezcan experiencias innovadoras tanto para clientes como empleados. No obstante, el desarrollo y ajuste de estos modelos preentrenados implica un considerable consumo de recursos computacionales y un esfuerzo significativo en ingeniería. Conforme se agrandan estos modelos, la personalización se convierte en un proceso más complejo, prolongado y costoso, inaccesible para algunas organizaciones por falta de infraestructura y talento especializado.
Para enfrentar estos desafíos, Amazon ha presentado una solución que utiliza su entorno gestionado de Amazon SageMaker para facilitar el ajuste fino del modelo Mixtral 8x7B. Mediante el uso de PyTorch Fully Sharded Data Parallel (FSDP) y Quantized Low Rank Adaptation (QLoRA), se optimiza el uso de memoria, reduciendo la huella del modelo.
El modelo Mixtral 8x7B es conocido por su arquitectura de «mezcla escasa de expertos» (SMoE). Esta estructura permite altas prestaciones en variadas tareas al activar solo un subconjunto de sus parámetros durante el entrenamiento, utilizando aproximadamente el 18.5% de sus parámetros totales durante la inferencia, lo que optimiza su eficiencia.
Otra de las dificultades que enfrentan las empresas es adaptar estos modelos para tareas específicas ya que los modelos generales carecen de información de dominio específico, limitando su desempeño. Implementar estrategias de ajuste fino se vuelve esencial para optimizar el rendimiento en aplicaciones concretas; sin embargo, es un proceso intensivo en memoria que requiere experiencia avanzada en inteligencia artificial.
La propuesta de Amazon SageMaker emplea técnicas avanzadas para optimizar el uso de memoria y abordar estos problemas. QLoRA, un método que congela los pesos originales del modelo y añade parámetros entrenables de baja jerarquía a las capas de transformadores, permite la compresión del modelo y reduce la huella de memoria. Esto facilita tanto el entrenamiento como el ajuste fino de LLMs en sistemas con recursos de memoria limitados, manteniendo un rendimiento comparable al ajuste fino de media precisión.
La aplicación de QLoRA, en combinación con SageMaker, ofrece una solución eficaz y rentable para empresas que buscan implementar modelos LLM personalizados. Esta estrategia permite a las organizaciones centrarse en desarrollar y perfeccionar el modelo con la infraestructura de entrenamiento completamente gestionada que proporciona SageMaker.
