SetLlmTokenCountingCallback (API del agente .NET)

Sintaxis

NewRelic.Api.Agent.NewRelic.SetLlmTokenCountingCallback(Func<string, string, int> callback);

Proporcione un método de devolución de llamada que calcule el recuento token .

Requisitos

Esta llamada API es compatible con:

• Versiones del agente >= 10.23.0
• Todos los tipos de aplicaciones

Descripción

Establezca un método de devolución de llamada que el agente utilizará para determinar el recuento token para un evento LLM. En el modo de alta seguridad o cuando la grabación de contenido está deshabilitada, se llamará a este método para determinar el recuento token para el evento LLM.

El método de devolución de llamada debe aceptar dos argumentos de tipo string y devolver un número entero. El primer argumento de cadena es el nombre del modelo LLM y el segundo argumento de cadena es la entrada al LLM. El método de devolución de llamada debe devolver el recuento token para el evento LLM. Se ignorarán los valores de 0 o menos.

Parámetros

Ejemplo

Func<string, string, int> llmTokenCountingCallback = (modelName, modelInput) => {

  int tokenCount = 0;
  // split the input string by spaces and count the tokens
  if (!string.IsNullOrEmpty(modelInput))
  {
    tokenCount = modelInput.Split(' ').Length;
  }

    return tokenCount;
};

NewRelic.Api.Agent.NewRelic.SetLlmTokenCountingCallback(llmTokenCountingCallback);