Quando as pessoas falam sobre inteligência artificial, elas podem significar coisas diferentes. Na New Relic, quando dizemos IA, queremos dizer a camada do seu ambiente que utiliza um grande modelo de linguagem (LLM) para gerar uma resposta quando recebe um prompt final do usuário. AI Monitoring é uma solução APM que oferece visibilidade ponta a ponta do seu aplicativo com tecnologia de IA.
Com AI Monitoring, você pode medir o desempenho do mecanismo que alimenta seu aplicativo de IA, para garantir que seu usuário tenha a melhor experiência possível. Para começar, tudo que você precisa é instalar um de nossos agentes APM e habilitar AI Monitoring.
Acesse one.newrelic.com > AI Monitoring > Respostas de IA e selecione uma linha de resposta.
Como funciona AI Monitoring ?
Para começar a usar AI Monitoring, você instalará um de nossos agentes APM para instrumentar seu aplicativo. instrumentação significa que seu aplicativo pode ser medido, o que permite ao agente capturar dados sobre o comportamento do aplicativo. Uma vez instrumentado, você precisa habilitar AI Monitoring no nível de configuração.
Habilitar AI Monitoring permite que o agente reconheça metadados de IA associados ao evento de IA. Quando sua IA recebe um prompt e retorna uma resposta, o agente pode reconhecer dados gerados de LLMs externos e armazenamentos de vetores e analisar informações sobre o uso de tokens.
Melhore o desempenho da IA com o AI Monitoring
Para ter uma visão geral do desempenho do seu aplicativo com tecnologia de IA: Acesse one.newrelic.com > AI Monitoring > AI Responses.
AI Monitoring pode ajudá-lo a responder perguntas críticas sobre o desempenho do aplicativo de IA: seu usuário final está esperando muito por uma resposta? Houve um aumento recente no uso token ? Existem padrões de feedback negativo dos usuários sobre determinados tópicos? Com AI Monitoring, você pode ver dados específicos da camada AI:
- Identifique erros na interação específica prompt e resposta na tabela de respostas. Se ocorrer um erro, abra a visualização em cascata de rastreamento para definir o escopo dos métodos e chamadas que seu aplicativo com tecnologia de IA faz ao gerar uma resposta.
- Se o seu prompt engenheiro atualizou o parâmetro prompt para sua IA, você pode rastrear se o uso token aumentou ou caiu após a atualização. Use AI Monitoring para ajudá-lo a tomar decisões que mantenham os custos baixos.
- Talvez você esteja ajustando seu aplicativo no desenvolvimento, mas deseja eficiência de custo e desempenho antes de ir para produção. Se você estiver usando modelos diferentes em ambientes de aplicativos diferentes, poderá comparar o custo e o desempenho dos seus aplicativos antes de implantar o.
Comece com AI Monitoring
Pronto para começar? Certifique-se de confirmar se você pode instrumentalizar sua biblioteca ou frameworkde IA. Talvez seja necessário atualizar o agente se você já tiver instrumentado seu aplicativo.
Quando estiver pronto, use nosso documento para instalar manualmente AI Monitoring. Este documento direciona você para os procedimentos relevantes para instalação de um agente APM e, em seguida, orienta você na configuração do agente para AI Monitoring.