OpenAI 통합

GPT 시리즈 애플리케이션 통합을 통해 사용자는 OpenAI 완성 쿼리를 원활하게 모니터링하고 동시에 New Relic 사용자 지정 가능한 대시보드에 유용한 통계를 기록할 수 있습니다.

두 줄의 코드만 추가하면 사용자는 비용, 응답 시간 및 샘플 입력/출력과 같은 주요 성능 메트릭에 액세스할 수 있습니다. 또한 대시보드를 통해 사용자는 총 요청, 평균 토큰/요청 및 모델 이름을 추적할 수 있습니다.

New Relic의 완전히 사용자 정의 가능한 대시보드를 사용하여 사용자는 특정 비즈니스 요구 사항 및 요구 사항에 따라 추가 메트릭을 추가할 수 있습니다.

전반적으로 New Relic의 GPT 통합은 기업이 사용량을 최적화하고 비용을 절감하며 더 나은 결과를 얻을 수 있도록 실시간 지표를 제공합니다.

설치

설치는 간단하고 모든 Python 라이브러리와 유사합니다.

pip install nr-openai-observability

시작하기

이 가이드는 OpenAI GPT 애플리케이션을 통합하고 사용량 모니터링을 시작하는 데 필요한 모든 것을 단계별로 안내합니다.

1단계. 환경 변수 설정

당신의 ( ingest - license라고도 함) 환경 변수로 설정: NEW_RELIC_LICENSE_KEY. 자세한 내용과 지침을 보려면여기를 클릭하십시오 .

import os
os.environ["NEW_RELIC_LICENSE_KEY"] = "<license key>"

NEW_RELIC_LICENSE_KEY monitor.initialization() 호출에서 매개변수로 보낼 수도 있습니다.

2단계. 코드 수정

코드에 다음 두 줄을 추가합니다.

from nr_openai_observability import monitor
monitor.initialization()

3단계. 대시보드 추가

지침에 따라 New Relic 계정에 대시보드를 추가하십시오.

import os

import openai
from nr_openai_observability import monitor

monitor.initialization()

openai.api_key = os.getenv("OPENAI_API_KEY")
openai.Completion.create(
    model="text-davinci-003",
    prompt="What is Observability?",
    max_tokens=20,
    temperature=0 
)

EU 계정 사용자

New Relic EU 지역에 데이터를 보고하고 있습니까? 자세한 지침을 보려면 여기를 클릭하십시오. EU 계정을 사용하는 경우 EVENT_CLIENT_HOST 도 설정해야 합니다.

import os
os.environ["EVENT_CLIENT_HOST"] = "insights-collector.eu01.nr-data.net"

EVENT_CLIENT_HOST monitor.initialization() 호출에서 매개변수로 보낼 수도 있습니다.

데모 비디오

다음은 이 통합을 설정하는 데모입니다.