DagsHub é uma plataforma para cientistas de dados e engenheiros de aprendizado de máquina para versionar e sincronizar seus dados, modelos, experimentos e códigos. Ele permite que você e sua equipe compartilhem, revisem e reutilizem facilmente seu trabalho, proporcionando uma experiência semelhante ao GitHub para aprendizado de máquina. O DagsHub é baseado em ferramentas e formatos populares de código aberto, facilitando a integração com as ferramentas que você já usa, como o New Relic.
New Relic inclui monitoramento de desempenho do modelo de integração com DagsHub para monitor e analisar suas métricas de treinamento de machine learning em tempo real.
Integre DagsHub com New Relic
A integração do DagsHub e do New Relic permite analisar e monitor métricas de treinamento de aprendizado de máquina em tempo real. Você pode visualizar sua métrica em um dashboard New Relic, criar métrica personalizada e definir alertas para notificá-lo sobre eventos e incidentes ocorridos durante seus treinos.
Para receber dados do DagsHub no New Relic, você precisa do número da sua conta e de uma chave especial que pode ser obtida da seguinte forma:
Log into your New Relic account
: Vá para
one.newrelic.com > All capabilities > +Add more data
.
Click on DagsHub:
Digite DagsHub na barra de pesquisa.
Select the account ID
você deseja que o DagsHub se integre.
Create an access token
: depois de selecionar um ID de conta, em
real-time training metrics
, clique em
Create an API key
. Esta será sua nova chave de API de telemetria. Mantenha a página da New Relic aberta para etapas futuras.
Log into the DagsHub portal:
Depois de fazer login, selecione o repositório em que você está trabalhando. Clique em
Settings
e selecione o botão
integrations
no menu à esquerda. Clique no bloco
New Relic
. Para saber como criar um projeto com monitoramento de experimentos em tempo real, leia a página de documentação do DagsHub MLflow.
Copy and paste the token in DagsHub
. Volte para o dashboard de integração do New Relic e copie o token que você criou clicando no ícone
copy
próximo à chave de inserção. No portal do DagsHub, cole a chave de inserção em
New Relic Insight insert key
e finalize clicando em
Next
. O token será verificado e uma tela de confirmação aparecerá.
Este documento ajudou você na instalação?
Visualize e explore seus modelos DagsHub no painel do New Relic
Depois de configurar a integração do New Relic no DagsHub, todos os logs de métricas de treinamento para o DagsHub em tempo real são enviados para o New Relic.
Vá para DagsHub integration dashboard: depois de testar seu token e confirmar que a integração está configurada corretamente, retorne ao dashboard de integração do New Relic e clique em See your data. Você será redirecionado para um dashboard New Relic gerado automaticamente com tecnologia DagsHub.
Analyze the DagsHub dashboard: O dashboard do DagsHub contém um gráfico, Loss metric by repository, que exibe a perda de seus modelos, agrupados por seus respectivos repositórios. Funciona para qualquer modelo que você treinou.
Display customized metrics: Você pode personalizar facilmente as métricas de treinamento provenientes do DagsHub. Para obter mais informações sobre como usar o NRQL e criar consultas para rastrear seus dados, consulte a referência do NRQL.
Set up alerts notifications: depois de criar alguns gráficos dentro de um (s) dashboard(s), você pode receber alertas sobre seus dados. Para criar condições NRQL a partir de um gráfico, clique no menu do gráfico ... e, em seguida, clique em Create alert condition. Depois de nomear e personalizar sua condição, você poderá adicioná-la a uma política existente ou criar uma nova.
Get notified: Depois de criar uma condição do alerta, você pode escolher como deseja ser notificado. Veja nossa documentação sobre como configurar o canal de notificação.
Agora você integrou com sucesso o New Relic ao DagsHub. Os alertas recém-criados são correlacionados ao alerta do New Relic e você verá dados sobre as previsões relatadas recentemente.