TruEra integração

TruEra preenche uma lacuna crítica em sua pilha de IA, explicando e testando a qualidade do modelo durante todo o ciclo de vida. As soluções de IA da TruEra explicam, depuram e monitor modelos de aprendizado de máquina, levando a maior qualidade e confiabilidade, bem como a uma implantação mais rápida. A solução funciona em todo o ciclo de vida do modelo, é independente da plataforma de desenvolvimento do modelo e é facilmente incorporada à sua pilha de IA existente.

TruEra inclui monitoramento de desempenho de integração de modelo com New Relic para ajudar as equipes de MLOps a correlacionar sinais em todo o ciclo de vida de ML e ir além da precisão padrão e monitor desvios de entrada e saída.

Integre o TruEra com o New Relic

Adicione um modelo de aprendizado de máquina ao TruEra

TruEra fornece uma interface de linha de comando (CLI) e um cliente Python para ingerir o modelo de aprendizado de máquina e outros dados. As etapas para adicionar um modelo usando a CLI incluem a criação de um novo projeto, coleta de dados, adição de dados de treinamento, empacotamento e ingestão do modelo e adição de dados de produção.

Essas etapas podem ser encontradas na página de documentação técnica do TruEra.

Transmita dados do TruEra para o New Relic

Sempre que um novo conjunto de dados é ingerido no sistema de monitoramento Truera, ele calcula métricas relevantes e as armazena. Essas métricas computacionais podem ser enviadas periodicamente para o New Relic usando o exportador de dados truera2newrelic . Este exportador precisa de chave de API gerada pelos consoles Truera e New Relic.

As instruções a seguir mostrarão como criar essas chaves:

1. Faça login em sua conta New Relic: Vá para

   one.newrelic.com > All capabilities > + Add more data

   .

2. Clique em TruEra: Na barra de pesquisa, digite

   TruEra

   .

3. Selecione um ID de conta: Selecione o ID da conta com a qual deseja que o TruEra se integre.

4. Selecione ou crie uma chave de API: você precisa de um

   Active dashboard key

   para gerenciamento de painel e de um

   Model metrics data key

   para ingestão de métricas. Essas chaves referem-se ao

   chave de licença

   . Crie uma nova chave ou selecione uma existente nas duas seções de chave.

5. Crie uma chave no TruEra: log no console do TruEra e vá para a página do usuário. Clique em

   Generate Credentials

   para criar um

   Auth token

   .

6. Verifique a execução de exportação de dados e configure o exportador em lote: Agora vá para a documentação do TruEra para encontrar etapas sobre como verificar a primeira execução de exportação de dados usando comandos em seu terminal. Em seguida, configure o exportador de dados em lote em uma máquina virtual.

Visualize o painel pronto para uso do New Relic usando TruEra

Para visualizar métricas de monitoramento de aprendizado de máquina, o TruEra fornece um painel de esqueleto para monitor e detalhar problemas usando temas como integridade do modelo, detalhamento de segmento, valores de recursos, qualidade de dados, justiça e muito mais.

Eles dashboardspodem ser configurados usando a ferramenta dashboard truera2newrelic. Para fazer isso, siga estas etapas:

1. Verifique a métrica do seu modelo: Em one.newrelic.com, acesse o menu de navegação e clique na aba dashboard no menu de navegação principal. Você verá uma configuração dashboard gerada automaticamente para o modelo de ML fornecido. Verifique se as métricas do modelo exportado recentemente estão visíveis.

   

2. Configure alerta notificação: Depois de criar algum painel, você pode receber alertas sobre seus dados. Para criar uma condição NRQL alertasa partir de um gráfico, clique no widget de gráfico e, em seguida, clique em Create alert condition. Depois de nomear e personalizar sua condição, você poderá adicioná-la a uma política existente ou criar uma nova.

   

3. Seja notificado: Depois de criar uma condição de alerta, você pode escolher como deseja ser notificado. Veja nossa documentação sobre como configurar o canal de notificação.

4. Correlacione seu incidente: Além da notificação, você pode utilizar a inteligência de incidente para correlacionar seu incidente. Veja nossos documentos sobre como correlacionar incidentes usando decisões.

Agora você integrou com sucesso o New Relic ao TruEra. Os alertas recém-criados agora estão correlacionados com o alerta do New Relic e você poderá ver dados sobre as previsões recém-relatadas.