
Despliega y Gestiona Adaptadores LoRA con Inferencia Eficiente en SageMaker
Amazon SageMaker ha presentado una innovadora función de inferencia multiadaptador que promete transformar la manera en que los clientes emplean modelos ajustados. Esta función permite la gestión y despliegue eficiente de numerosos adaptadores de baja adaptación de rango (LoRA), aprovechando las APIs de SageMaker. Esta tecnología permite cargar dinámicamente adaptadores afinados desde la memoria GPU, CPU o un disco local