As operações de aprendizado de máquina são um conjunto de práticas projetadas para aumentar a qualidade, simplificar o processo de gerenciamento e automatizar a implantação de modelos de aprendizado de máquina em ambientes de produção em larga escala.
À medida que mais empresas investem em inteligência artificial e aprendizado de máquina, há uma lacuna no entendimento entre as equipes de ciência de dados que desenvolvem modelos de aprendizado de máquina e as equipes de DevOps que operam os aplicativos que alimentam esses modelos. Atualmente, apenas 15% das empresas implantam IA para abranger todas as suas atividades. Não ajuda o fato de 75% dos modelos de aprendizado de máquina em produção nunca serem usados devido a problemas de implantação, monitoramento, gerenciamento e governança. Em última análise, isto leva a uma enorme perda de tempo para os engenheiros e cientistas de dados que trabalham nos modelos, a uma grande perda líquida de dinheiro investido pela empresa e a uma falta geral de confiança quando os modelos de aprendizagem automática permitem um crescimento quantificável.
Nosso monitoramento de desempenho do modelo fornece aos cientistas de dados e usuários MLOps visibilidade sobre o desempenho de seu aplicativo de aprendizado de máquina, monitorando o comportamento e a eficácia dos modelos em produção. Ele permite que as equipes de dados colaborem diretamente com as equipes de DevOps, o que cria um processo contínuo de desenvolvimento, teste e monitoramento operacional.
Como monitor seus modelos de aprendizado de máquina
Para usar o monitoramento de desempenho do modelo nos alertas da New Relic, você tem algumas opções diferentes:
Bring your own data (BYOD): Esta é a abordagem recomendada pela New Relic. Nosso monitoramento de desempenho do modelo de ML fornece observabilidade aprofundada de como seus modelos de ML operam na produção. O BYOD pode ser utilizado a partir de qualquer ambiente (script Python, container, função do Lambda, SageMaker, etc.) e pode ser facilmente integrado com qualquer framework de machine learning (Scikit-learn, Keras, Pytorch, Tensorflow, Jax, etc.). Usando BYOD, você pode trazer seu próprio modelo de telemetria de ML para o New Relic e começar a obter valor dos dados do seu modelo de ML. Em apenas alguns minutos, você pode obter distribuição de recursos, dados estatísticos e distribuição de previsão junto com qualquer outra métrica personalizada que você gostaria de monitor. Leia mais sobre BYOD em nossos documentos.
Integrations: A New Relic também fez parceria com o Amazon SageMaker, oferecendo uma visão das métricas de desempenho do SageMaker para o New Relic e expandindo o acesso à observabilidade para engenheiros de ML e equipes de ciência de dados. Leia mais sobre nossa integração com o Amazon SageMaker.
Partnerships: A New Relic fez parceria com sete fornecedores diferentes de MLOps que oferecem casos de uso e recursos de monitoramento específicos. Os parceiros são uma ótima maneira de obter acesso a desempenho selecionado e outras ferramentas de observabilidade, fornecendo um painel pronto para uso que oferece visibilidade instantânea dos seus modelos.
Atualmente temos parceria com:
Para começar a medir o desempenho do modelo de machine learning em minutos usando qualquer uma dessas opções, confira os guias de início rápido de monitoramento de desempenho do modelo.
Como monitor aplicativos OpenAI GPT
Com a integração de aplicativos da série GPT, você poderá monitor consultas de conclusão do OpenAI e log estatísticas úteis em um dashboard personalizável da New Relic sobre suas solicitações. Ao adicionar apenas duas linhas de código, você pode obter acesso às principais métricas de desempenho, como custo, tempo de resposta e amostras de entradas/saídas. O dashboard totalmente personalizável também permite que o usuário rastreie o total de solicitações, a média token/solicitações e nomes de modelos. Leia mais ou instale a integração visitando nosso início rápido do New Relic OpenAI.