構文
NewRelic.Api.Agent.NewRelic.SetLlmTokenCountingCallback(Func<string, string, int> callback);トークン数を計算するコールバック メソッドを提供します。
要件
このAPI呼び出しは、次のものと互換性があります。
- エージェント バージョン >= 10.23.0
- すべてのアプリタイプ
説明
エージェントが LLM イベントのトークン数を決定するために使用するコールバック メソッドを設定します。 高セキュリティ モードの場合、またはコンテンツの記録が無効になっている場合は、このメソッドが呼び出され、LLM イベントのトークン数が決定されます。
コールバック メソッドは、 string型の 2 つの引数を受け入れ、整数を返す必要があります。 最初の文字列引数は LLM モデル名であり、2 番目の文字列引数は LLM への入力です。 コールバック メソッドは、LLM イベントのトークン数を返す必要があります。 0 以下の値は無視されます。
パラメーター
パラメータ | 説明 |
|---|---|
'_Func_' | トークン数を決定するコールバック。 |
例
Func<string, string, int> llmTokenCountingCallback = (modelName, modelInput) => {
int tokenCount = 0; // split the input string by spaces and count the tokens if (!string.IsNullOrEmpty(modelInput)) { tokenCount = modelInput.Split(' ').Length; }
return tokenCount;};
NewRelic.Api.Agent.NewRelic.SetLlmTokenCountingCallback(llmTokenCountingCallback);