OpenTelemetry 、一般的なアプリケーション データ (トレース、メトリック、ログ) を収集するための強力な標準を提供しますが、AI モデルに固有の主要パフォーマンス指標 (KPI) を取得する機能がありません。 これには、モデル名、バージョン、プロンプトと完了トークン、温度などの重要なメトリックが含まれます。 これらの詳細は、効果的な監視とパフォーマンスに不可欠です。
OpenLLMetry は、AI モデルの耐久性におけるこのギャップを解決するために特別に設計されたソリューションとして登場しました。 OpenTelemetryフレームワーク上に構築された OpenLLMetry は、シームレスな統合を提供し、その機能を拡張します。 OpenAI、HuggingFace、Pinecone、LangChain などの一般的な AI フレームワークをサポートしています。
Key Benefits of OpenLLMetry:
Standardized Collection of AI Model KPIs:
OpenLLMetry は、重要なモデルパフォーマンス メトリックの一貫したキャプチャを保証し、多様なフレームワークにわたる包括的な可用性を実現します。
Deeper Insights into LLM Applications:
OpenLLMetry の OSS SDK を使用すると、大規模言語モデル (LLM) アプリケーションを徹底的に理解できるようになります。 このページでは、 を使用したOpenTelemetry ベースのAPM 監視の一般的なセットアップ手順について説明します。New Relic
OpenLLMetry により、開発者はOpenTelemetryの強みを活用しながら、効果的な AI モデルの監視とパフォーマンスの最適化に必要な追加機能を獲得できるようになります。
始める前に
OpenLLMetryでLLMモデルを計測する
New Relic OpenTelemetryをネイティブでサポートしているため、トレースをNew Relicの インターフェース にルーティングし、 APIキーを設定するだけです。
TRACELOOP_BASE_URL = https://otlp.nr-data.net:443TRACELOOP_HEADERS = "api-key=<YOUR_NEWRELIC_LICENSE_KEY>"- OpenTelemetry Protocol (OTLP) エクスポーターは、 New Relic OTLP エンドポイントにデータを送信します。
Example: OpenAI LLM Model with LangChain
from traceloop.sdk import Traceloopimport osimport timefrom langchain_openai import ChatOpenAIfrom traceloop.sdk.decorators import workflow, task
os.environ['OPENAI_API_KEY'] = 'OPENAI_API_KEY'os.environ['TRACELOOP_BASE_URL'] = 'https://otlp.nr-data.net:443'os.environ['TRACELOOP_HEADERS'] = 'api-key=YOUR_NEWRELIC_LICENSE_KEY'
Traceloop.init(app_name="llm-test", disable_batch=True)
def add_prompt_context(): llm = ChatOpenAI( model="gpt-3.5-turbo", temperature=0) chain = llm return chain
def prep_prompt_chain(): return add_prompt_context()
def prompt_question(): chain = prep_prompt_chain() return chain.invoke("explain the business of company Newrelic and it's advantages in a max of 50 words")
if __name__ == "__main__": print(prompt_question())NewRelicUIでデータを表示する
アプリがインストゥルメントされ、 New Relicにデータをエクスポートするように構成されると、 New Relic UIでデータを見つけることができるようになります。
All entities -> Services - OpenTelemetryでエンティティを見つけます。 エンティティ名は、アプリの
service.nameリソース属性の値に設定されます。 New RelicサービスエンティティがOpenTelemetryリソース属性からどのように派生するかの詳細については、サービスを参照してください。詳細については、OpenTelemetry APM UIを参照してください。
エンティティが見つからず、NRQL でデータが表示されない場合は、 「OTLP トラブルシューティング」を参照してください。
このドキュメントはインストールの役に立ちましたか？