En un esfuerzo por optimizar la productividad de los centros de operaciones de seguridad (SOC), SophosAI ha llevado a cabo un estudio que examina el rendimiento de los modelos de lenguaje grande (LLM) en tareas críticas de ciberseguridad mediante la utilización de Amazon Bedrock y Amazon SageMaker. La investigación se centró en tareas específicas como la conversión de lenguaje natural a SQL, la predicción de la severidad de incidentes y el resumen de los mismos, utilizando el modelo Claude 3 Sonnet de Anthropic.
El estudio reveló que los modelos LLM tienen un notable potencial para asistir a los analistas de seguridad en diversas tareas. En la conversión de comandos en lenguaje natural a consultas SQL, Claude alcanzó una precisión del 88%, lo que indica que estos modelos pueden extraer eficazmente información clave durante la investigación de amenazas. Sin embargo, al evaluar la habilidad de los LLM para clasificar la severidad de eventos de seguridad, el estudio encontró que, aunque los modelos son capaces de identificar patrones sospechosos, tienen dificultades para determinar la criticidad de un incidente, alcanzando una precisión del 71% sin entrenamiento específico en datos de ciberseguridad.
Por otro lado, al resumir incidentes de seguridad, Claude mostró un desempeño adecuado, aunque el informe recomienda el afinamiento de los LLM para mejorar los resultados, dado que estos modelos tendrían a omitir detalles importantes. SophosAI subraya la necesidad de ajustes finos y la implementación de barreras de seguridad para prevenir usos indebidos de estos modelos. Según el estudio, un modelo especializado entrenado en datos de ciberseguridad podría mejorar significativamente la evaluación precisa de incidentes.
La plataforma Amazon Bedrock permitió a los investigadores evaluar múltiples LLMs de manera eficiente y económica, sin la necesidad de desplegar modelos localmente. Al mismo tiempo, SageMaker ofreció flexibilidad para desplegar modelos personalizados y optimizar costos mediante puntos finales asincrónicos.
Este análisis subraya el potencial de los LLMs para mejorar la eficiencia en el análisis de amenazas en aplicaciones de ciberseguridad, pero también resalta la importancia de una implementación cuidadosa y potencialmente un entrenamiento especializado para maximizar su efectividad. SophosAI planea continuar evaluando y afinando estos modelos para garantizar que cumplan con las demandas específicas del sector.
