DagsHub es una plataforma para que los científicos de datos y los ingenieros de aprendizaje automático versionen y sincronicen sus datos, modelos, experimentos y códigos. Le permite a usted y a su equipo compartir, revisar y reutilizar fácilmente su trabajo, brindando una experiencia similar a GitHub para el aprendizaje automático. DagsHub se basa en herramientas y formatos populares de código abierto, lo que facilita la integración con las herramientas que ya utiliza, como New Relic.
New Relic incluye un monitoreo del rendimiento de los modelos de integración con DagsHub para monitor y analizar su capacitación en aprendizaje automático métrica en tiempo real.
Integrar DagsHub con New Relic
La integración de DagsHub y New Relic le permite analizar y monitor la capacitación métrica de aprendizaje automático en tiempo real. Puede visualizar su métrica en un dashboard de New Relic, crear métricas personalizadas y configurar alertas para notificarle sobre eventos e incidentes que ocurran durante sus carreras de entrenamiento.
Para recibir datos de DagsHub en New Relic, necesita su número de cuenta y una clave especial que puede obtener de la siguiente manera:
Log into your New Relic account
: Vaya a
one.newrelic.com > All capabilities > +Add more data
.
Click on DagsHub:
Escribe DagsHub en la barra de búsqueda.
Select the account ID
desea que DagsHub se integre.
Create an access token
: Una vez que haya seleccionado un ID de cuenta, en
real-time training metrics
, haga clic en
Create an API key
. Esta será tu nueva clave de API de telemetría. Mantenga abierta la página New Relic para pasos futuros.
Log into the DagsHub portal:
Una vez que haya iniciado sesión, seleccione el repositorio en el que está trabajando. Haga clic en
Settings
y seleccione el botón
integrations
en el menú de la izquierda. Haga clic en el mosaico
New Relic
. Para aprender cómo crear un proyecto con monitoreo de experimentos en tiempo real, lea la página de documentación de DagsHub MLflow.
Copy and paste the token in DagsHub
. Regrese al dashboard de integración de New Relic y copie el token que creó haciendo clic en el ícono
copy
al lado de la clave de inserción. En el portal de DagsHub, pegue la clave de inserción debajo de
New Relic Insight insert key
y finalice haciendo clic en
Next
. Se verificará el token y aparecerá una pantalla de confirmación.
¿Te ha ayudado este documento con la instalación?
Vea y explore sus modelos de DagsHub en el panel de New Relic
Una vez que configuras la integración de New Relic en DagsHub, todo el log métrico de entrenamiento a DagsHub en tiempo real se envía a New Relic.
Vaya a DagsHub integration dashboard: una vez que haya probado su token y haya confirmado que la integración está configurada correctamente, regrese al dashboard integración de New Relic y haga clic en See your data. Serás redirigido a un dashboard de New Relic generado automáticamente con tecnología de DagsHub.
Analyze the DagsHub dashboard: El dashboard de DagsHub contiene un gráfico, Loss metric by repository, que muestra la pérdida de sus modelos, agrupados por su respectivo repositorio. Funciona para cualquier modelo que haya entrenado.
Display customized metrics: Puedes personalizar fácilmente el entrenamiento métrico proveniente de DagsHub. Para obtener más información sobre el uso de NRQL y la creación de consultas para rastrear sus datos, consulte la referencia de NRQL.
Set up alerts notifications: Una vez que haya creado algunos gráficos dentro de uno o varios dashboard, podrá recibir alertas sobre sus datos. Para crear condiciones NRQL a partir de un gráfico, haga clic en el menú del gráfico ... y luego haga clic en Create alert condition. Una vez que haya nombrado y personalizado su condición, puede agregarla a una póliza existente o crear una nueva.
Get notified: Una vez que haya creado una condición de alerta, puede elegir cómo desea recibir notificaciones. Consulte nuestros documentos sobre cómo configurar el canal de notificación.
Ahora ha integrado con éxito New Relic con DagsHub. Las alertas recién creadas se correlacionan con su alerta New Relic y verá datos sobre las predicciones recientemente informadas.