OpenLIT를 갖춘 LLM 옵저버빌리티

OpenTelemetry 일반 데이터(트레이스, 지표, 로그) 수집을 위한 강력한 표준을 제공하지만, AI 모델별 핵심 성과 지표(KPI)를 캡처하는 기능은 부족합니다. 성능 추적, 사용자 의미 사용량, 비용, LLM 모듈 및 응답 형태의 인스턴스 결합 데이터와 같은 필수 지표는 효과적인 LLM 모델링 및 문제 해결에 매우 중요합니다.

LLM 옵저버빌리티의 이러한 격차를 메우기 위해 OpenLIT이 맞춤형 솔루션으로 등장했습니다. OpenTelemetry 프레임워크를 기반으로 하는 OpenLIT은 원활하게 통합되고 기능을 확장하는 오픈소스 도구입니다. OpenAI, Anthropic, Pinecone, LangChain 등 널리 사용되는 AI 프레임워크를 지원합니다. 또한 이 제품은 기본적으로 OpenTelemetry 기반 GPU 모니터링 기능을 제공합니다.

OpenLIT의 주요 이점:

• LLM 및 VectorDB 성능에 대한 고급 모니터링: OpenLIT은 LLM 및 VectorDB 사용에 대한 심층적인 성능 및 비용 분석을 위한 트레이스와 지표를 자동으로 생성하여 운영과 같은 다양한 환경에서 리소스 사용을 최적화하고 효율적으로 확장할 수 있도록 지원합니다.

• 맞춤형 및 세부 조정된 모델에 대한 비용 추적: 맞춤형 JSON 파일을 통해 정확한 비용 추적이 가능하므로 정확한 예산 책정과 프로젝트별 요구 사항에 따른 조정이 가능합니다.

• OpenTelemetry- 네이티브 및 고유한 비종속 SDK: OpenLIT은 OpenTelemetry 를 기본적으로 지원하도록 구축되어 있어 프로젝트와 완벽하게 조화를 이룹니다. 이 공급 업체 비종속 접근 방식은 통합에 대한 장벽을 줄여 OpenLIT를 추가적인 복잡성이 아닌 소프트웨어 그리드의 직관적인 부분으로 만듭니다.

OpenLIT은 개발자가 OpenTelemetry의 장점을 활용하는 동시에 효과적인 LLM 모니터링과 성능 최적화에 필요한 추가 기능을 얻을 수 있도록 지원합니다.

시작하기 전에

• New Relic 계정에 가입 하세요.
• 데이터를 보고하려는 New Relic 계정의 라이선스 키 를 가져옵니다.

OpenLIT를 사용하여 LLM 모델을 작성하세요

뉴렐릭을 사용하여 OpenTelemetry기반 APM 모니터링을 위한 일반적인 설정 단계를 따르세요.

OTEL_EXPORTER_OTLP_ENDPOINT = https://otlp.nr-data.net:443
OTEL_EXPORTER_OTLP_HEADERS = "api-key=YOUR_NEWRELIC_LICENSE_KEY"

import openlit
import os
from langchain_openai import ChatOpenAI

os.environ['OPENAI_API_KEY'] = 'OPENAI_API_KEY'
os.environ['OTEL_EXPORTER_OTLP_ENDPOINT'] = 'https://otlp.nr-data.net:443'
os.environ['OTEL_EXPORTER_OTLP_HEADERS'] = 'api-key=YOUR_NEWRELIC_LICENSE_KEY'

openlit.init()

def add_prompt_context():
  llm = ChatOpenAI(
      model="gpt-3.5-turbo",
      temperature=0)
  chain = llm
  return chain

def prep_prompt_chain():
  return add_prompt_context()

def prompt_question():
  chain = prep_prompt_chain()
  return chain.invoke("explain the business of company Newrelic and it's advantages in a max of 50 words")

if  __name__ == "__main__":
  print(prompt_question())