Sintaxis
NewRelic.Api.Agent.NewRelic.SetLlmTokenCountingCallback(Func<string, string, int> callback);
Proporcione un método de devolución de llamada que calcule el recuento token .
Requisitos
Esta llamada API es compatible con:
- Versiones del agente >= 10.23.0
- Todos los tipos de aplicaciones
Descripción
Establezca un método de devolución de llamada que el agente utilizará para determinar el recuento token para un evento LLM. En el modo de alta seguridad o cuando la grabación de contenido está deshabilitada, se llamará a este método para determinar el recuento token para el evento LLM.
El método de devolución de llamada debe aceptar dos argumentos de tipo string
y devolver un número entero. El primer argumento de cadena es el nombre del modelo LLM y el segundo argumento de cadena es la entrada al LLM. El método de devolución de llamada debe devolver el recuento token para el evento LLM. Se ignorarán los valores de 0 o menos.
Parámetros
Parámetro | Descripción |
---|---|
'_Func<string, string, int>_' | La devolución de llamada para determinar el recuento token . |
Ejemplo
Func<string, string, int> llmTokenCountingCallback = (modelName, modelInput) => {
int tokenCount = 0; // split the input string by spaces and count the tokens if (!string.IsNullOrEmpty(modelInput)) { tokenCount = modelInput.Split(' ').Length; }
return tokenCount;};
NewRelic.Api.Agent.NewRelic.SetLlmTokenCountingCallback(llmTokenCountingCallback);