AI Monitoring é a nossa solução para Monitoramento do desempenho de aplicativos (APM) para IA. Ao habilitar o Monitoramento de IA, nosso agente APM pode lhe dar visibilidade de ponta a ponta sobre desempenho, custo e qualidade de modelos suportados por fornecedores como OpenAI e BedRock. Explore como o usuário interage com um assistente de IA, investigue detalhes em nível de tracesobre a resposta de um modelo a um evento de IA e compare o desempenho de diferentes modelos em ambientes de aplicativos.
Acesse one.newrelic.com > AI monitoring > AI responses.
Como funciona AI Monitoring ?
Para começar a usar o monitoramento de IA, você equipará seu aplicativo com tecnologia de IA com um de nossos agentes APM. Depois de instrumentar seu aplicativo, você pode habilitar o Monitoramento de IA para que o agente possa capturar dados de observabilidade do LLM.
Quando seu assistente de IA recebe um prompt e retorna uma resposta, o agente captura dados métricos e de eventos gerados de LLMs externos e armazenamentos de vetores. Nosso agente pode:
- Analisar informações sobre conclusão, prompt e token de resposta
- Rastreie solicitações e respostas que passam por qualquer um dos nossos modelos suportados
- Correlacione feedback negativo ou positivo sobre uma resposta do seu usuário final
Você pode acessar todas essas informações e muito mais na plataforma New Relic e, então, criar alertas e painéis para ajudar a gerenciar seus dados de IA de forma eficaz e melhorar o desempenho.
Melhore o desempenho da IA com o AI Monitoring
Para ter uma visão geral do desempenho do seu aplicativo com tecnologia de IA: Acesse one.newrelic.com > AI Monitoring > AI Responses.
AI Monitoring pode ajudá-lo a responder perguntas críticas sobre o desempenho do aplicativo de IA: seu usuário final está esperando muito por uma resposta? Houve um aumento recente no uso token ? Existem padrões de feedback negativo dos usuários sobre determinados tópicos? Com AI Monitoring, você pode ver dados específicos da camada AI:
- Identifique erros em interações específicas de prompt e resposta na tabela de respostas. Se você deseja fazer melhorias em seu modelo de IA, aprenda a analisar seu modelo com dados em nível de trace.
- Se você estiver usando modelos diferentes em ambientes de aplicativos, poderá comparar o custo e o desempenho dos seus aplicativos antes de implantá-los.
- Você está preocupado com a conformidade dos dados? Aprenda como criar filtros para descartar dados confidenciais antes de enviá-los para a New Relic.
Comece com AI Monitoring
Pronto para começar? Certifique-se de confirmar se você pode instrumentalizar sua biblioteca ou frameworkde IA. Talvez seja necessário atualizar o agente se você já tiver instrumentado seu aplicativo.
Quando estiver pronto, use nosso documento para instalar manualmente AI Monitoring. Este documento direciona você para os procedimentos relevantes para instalação de um agente APM e, em seguida, orienta você na configuração do agente para AI Monitoring.