Publicado en: Dec 8, 2020
HAQM SageMaker Model Monitor monitorea continuamente los modelos de aprendizaje automático para detectar la deriva de los conceptos (es decir, los cambios en la distribución de los datos y las características a lo largo del tiempo) y le alerta si hay alguna desviación para que pueda tomar medidas correctivas. A partir de hoy, también puede usar HAQM SageMaker Model Monitor para detectar la deriva en la calidad del modelo, el sesgo y la importancia de las características. Con estas nuevas capacidades completamente administradas, HAQM SageMaker Model Monitor le ayuda a mantener modelos de aprendizaje automático de alta calidad en producción.
HAQM SageMaker Model Monitor actualmente admite la detección de la desviación en la calidad de los datos mediante el rastreo de la diferencia entre los datos que se usaron para entrenar los modelos versus los datos que se presentan en el modelo para calificar y el envío de alertas sobre las desviaciones para ayudarlo a tomar acciones oportunas, como la auditoría de los datos o el perfeccionamiento de los modelos. Hoy, agregamos tres nuevas capacidades a HAQM SageMaker Model Monitor, lo que le permite detectar la desviación en la calidad del modelo, el sesgo del modelo y la importancia de las características.
Con el monitoreo de la calidad de los modelos, puede controlar las características de los modelos (como la precisión, la exactitud, el recuerdo y más) de sus modelos de ML en tiempo real. HAQM SageMaker Model Monitor registra la precisión en la que un modelo de ML predice los resultados mediante la comparación de la predicción del modelo con los datos reales. A medida que se monitorea el modelo, puede ver informes y gráficos exportables que detallan la calidad del modelo en HAQM S3, HAQM SageMaker Studio y la instancia SageMaker Notebook. También puede configurar HAQM CloudWatch para recibir notificaciones si se observa un cambio en la calidad del modelo.
El monitoreo del sesgo le ayuda a detectar el sesgo en sus modelos de ML de forma regular. HAQM SageMaker Model Monitor determina periódicamente cuando las métricas de sesgo se desvían hacia niveles que, por estadística, exceden los umbrales preestablecidos. Con las capacidades de monitoreo de sesgos en Model Monitor, puede ver las métricas y visualizar los resultados en SageMaker Studio. También puede configurar alertas automatizadas para saber inmediatamente cuando su modelo excede los umbrales métricos de sesgo que ha establecido.
Después de que los modelos se implementan en la producción, la importancia y el impacto de ciertas características del modelo pueden cambiar con el tiempo. El monitoreo de la explicabilidad de los modelos le ayuda a comprender e interpretar si las predicciones hechas por sus modelos de ML se basan en las mismas características y en la misma proporción que cuando su modelo fue entrenado. Cuando habilita el seguimiento de la explicabilidad, SageMaker Model Monitor detecta automáticamente la deriva en la importancia relativa de las características, le permite visualizar estos cambios en SageMaker Studio y, como todas las demás características de SageMaker Model Monitor, puede configurarse con HAQM CloudWatch para que le avise proactivamente cuando se detecte la deriva.
HAQM SageMaker Model Monitor se puede habilitar para puntos de enlace de interferencia en tiempo real nuevos o existentes. Una vez habilitado, SageMaker Model Monitor guarda las solicitudes de predicción y las respuestas en HAQM S3, compara las predicciones del modelo con los datos reales que usted proporciona, ejecuta reglas incorporadas o personalizadas para detectar la deriva en comparación con una referencia y le alerta cuando hay desviaciones. Como resultado, puede monitorear cientos de modelos para determinar la desviación en la calidad de los datos, la calidad y el sesgo del modelo, y la importancia de las características de una manera estandarizada en toda su organización sin tener que crear ninguna herramienta adicional. Los trabajos de monitoreo pueden programarse para que se ejecuten a una cadencia regular (por ejemplo, cada hora o cada día) y envíen informes y métricas a HAQM CloudWatch y HAQM S3. Los resultados del monitoreo también están disponibles en HAQM SageMaker Studio para su inspección visual. También puede analizar de forma más detallada los resultados mediante una instancia HAQM SageMaker Notebook.
SageMaker Model Monitor ya está disponible en todas las regiones comerciales donde HAQM SageMaker se encuentre disponible. También puede obtener hasta 30 horas de monitoreo agregado en todos los puntos de enlace por mes, sin costo alguno, cuando use las reglas de control incorporadas con la instancia predeterminada ml.m5.xlarge. Consulte la documentación para obtener más información y para los bloc de notas de muestra.