構文
newrelic.agent.record_llm_feedback_event(trace_id, rating, category=None, message=None, metadata=None)AI 大規模言語モデル(LLM) アプリケーションのカスタム フィードバック イベントを記録します。
要件
Python エージェント バージョン 9.8.0 以降。
説明
この API は、New Relic UI で表示およびクエリできるフィードバック イベントLlmFeedbackMessageを記録します。 フィードバック イベントは、AI が生成したメッセージと、それに関してエンドユーザーが送信したフィードバックとの間のトレース ID を関連付けます。 メッセージとフィードバックを関連付けるには、AI メッセージを生成する呼び出しの直後にcurrent_trace_idを呼び出すことにより、アクティブなトランザクションのトレース ID を取得できます。 後でユーザーがフィードバックを提供するときに、トレース ID をフィードバック呼び出しに渡します。
多くの場合、AI メッセージのエンドポイントは、フィードバック エンドポイントとは異なる場所に記録されます。 これらは別のトランザクションで発生する可能性があります。 次の点が重要です:
- AI メッセージを生成するエンドポイント内でトレース ID がキャプチャされていることを確認します。
- フィードバックを記録するエンドポイント内でそのトレース ID を渡します。
パラメーター
パラメータ | 説明 |
|---|---|
ストリング | 必須。 フィードバックに関連するチャット完了が発生したトレースの ID。 この ID は、 |
文字列または整数 | 必須。 エンドユーザーによって提供される評価 (例: 「良い/悪い」、「1-10」)。 |
ストリング | オプション。 エンドユーザーによって提供されたフィードバックのカテゴリ (例: 「有益」、「不正確」)。 |
ストリング | オプション。 エンドユーザーからの自由形式のテキストフィードバック。 |
ディクト | オプション。 フィードバック イベントとともに送信するその他の必要なデータを保存するためのキーの値のペアのセット。 |
戻り値
なし。
例
トレース ID を取得し、フィードバックを記録する
フィードバック イベントの記録の例:
import newrelic.agent
def get_message(request): trace_id = newrelic.agent.current_trace_id()
def post_feedback(request): newrelic.agent.record_llm_feedback_event(trace_id=request.trace_id, rating=request.rating, metadata= {"my_key": "my_val"})```