OpenLLMetry를 갖춘 Traceloop LLM 옵저버빌리티

OpenTelemetry 일반 데이터(트레이스, 지표, 로그) 수집을 위한 강력한 표준을 제공하지만, AI 모델별 핵심 성과 지표(KPI)를 캡처하는 기능은 부족합니다. 여기에는 모델 이름, 버전, 체중 및 완료 대상, 온도 보고서와 같은 중요한 지표가 포함됩니다. 이러한 세부 사항은 효과적인 모니터링 및 문제 해결 AI 모델 성능에 필수적입니다.

OpenLLMetry는 AI 모델 옵저버빌리티의 이러한 격차를 해소하기 위해 특별히 설계된 솔루션으로 등장합니다. OpenTelemetry 프레임워크를 기반으로 구축된 OpenLLMetry는 원활한 통합을 제공하고 기능을 확장합니다. OpenAI, HuggingFace, Pinecone 및 LangChain과 같은 인기 있는 AI 프레임워크에 대한 지원을 제공합니다.

Key Benefits of OpenLLMetry:

• Standardized Collection of AI Model KPIs:

  OpenLLMetry는 필수 모델 성능 지표의 일관된 캡처를 보장하여 다양한 프레임워크 전반에 걸쳐 포괄적인 옵저버빌리티를 가능하게 합니다.

• Deeper Insights into LLM Applications:

  오픈 소스 SDK를 통해 OpenLLMetry는 귀하가 궁전 버전(LLM)(LLM) 제작에 대해 철저하게 이해할 수 있도록 지원합니다. 이 페이지에서는 뉴렐릭을 사용한 OpenTelemetry 기반 APM 모니터링의 일반적인 설정 단계를 설명합니다.

OpenLLMetry는 개발자가 OpenTelemetry의 장점을 활용하는 동시에 효과적인 AI 모델 모니터링 및 성능 최적화에 필요한 추가 기능을 얻을 수 있도록 지원합니다.

시작하기 전에

• New Relic 계정에 가입 하세요.
• 데이터를 보고하려는 New Relic 계정의 라이선스 키 를 가져옵니다.

TRACELOOP_BASE_URL = https://otlp.nr-data.net:443
TRACELOOP_HEADERS = "api-key=<YOUR_NEWRELIC_LICENSE_KEY>"

from traceloop.sdk import Traceloop
import os
import time
from langchain_openai import ChatOpenAI
from traceloop.sdk.decorators import workflow, task

os.environ['OPENAI_API_KEY'] = 'OPENAI_API_KEY'
os.environ['TRACELOOP_BASE_URL'] = 'https://otlp.nr-data.net:443'
os.environ['TRACELOOP_HEADERS'] = 'api-key=YOUR_NEWRELIC_LICENSE_KEY'

Traceloop.init(app_name="llm-test", disable_batch=True)

def add_prompt_context():
  llm = ChatOpenAI(
      model="gpt-3.5-turbo",
      temperature=0)
  chain = llm
  return chain

def prep_prompt_chain():
  return add_prompt_context()

def prompt_question():
  chain = prep_prompt_chain()
  return chain.invoke("explain the business of company Newrelic and it's advantages in a max of 50 words")

if  __name__ == "__main__":
  print(prompt_question())