SetLlmTokenCountingCallback (API do agente .NET)

Sintaxe

NewRelic.Api.Agent.NewRelic.SetLlmTokenCountingCallback(Func<string, string, int> callback);

Forneça um método de retorno de chamada que calcule a contagem token .

Requisitos

Esta chamada de API é compatível com:

• Versões do agente >= 10.23.0
• Todos os tipos de aplicativos

Descrição

Defina um método de retorno de chamada que o agente usará para determinar a contagem token para um evento LLM. No modo de alta segurança ou quando a gravação de conteúdo estiver desabilitada, este método será chamado para determinar a contagem token para o evento LLM.

O método de retorno de chamada deve aceitar dois argumentos do tipo string e retornar um número inteiro. O primeiro argumento de string é o nome do modelo LLM e o segundo argumento de string é a entrada para o LLM. O método de retorno de chamada deve retornar a contagem token para o evento LLM. Valores de 0 ou menos serão ignorados.

Parâmetro

Exemplo

Func<string, string, int> llmTokenCountingCallback = (modelName, modelInput) => {

  int tokenCount = 0;
  // split the input string by spaces and count the tokens
  if (!string.IsNullOrEmpty(modelInput))
  {
    tokenCount = modelInput.Split(' ').Length;
  }

    return tokenCount;
};

NewRelic.Api.Agent.NewRelic.SetLlmTokenCountingCallback(llmTokenCountingCallback);