Observabilidad de Traceloop LLM con OpenLLMetry

Si bien OpenTelemetry ofrece un estándar poderoso para recopilar datos de aplicaciones generales (traza, métrica, log), carece de la capacidad de capturar indicadores de clave de rendimiento (KPI) específicos del modelo de IA. Esto incluye métricas cruciales como el nombre del modelo, la versión, el símbolo y el token de finalización, y el parámetro de temperatura. Estos detalles son esenciales para un monitoreo y resolución de problemas efectivos del modelo de rendimiento de IA.

OpenLLMetry surge como una solución, diseñada específicamente para abordar esta brecha en la observabilidad del modelo de IA. Construido sobre el OpenTelemetry framework, OpenLLMetry proporciona una integración perfecta y amplía sus capacidades. Ofrece soporte para marcos de IA populares como OpenAI, HuggingFace, Pinecone y LangChain.

Key Benefits of OpenLLMetry:

• Standardized Collection of AI Model KPIs:

  OpenLLMetry garantiza una captura consistente del rendimiento métrico del modelo esencial, lo que permite una observabilidad integral en diversos marcos.

• Deeper Insights into LLM Applications:

  Con su SDK de código abierto, OpenLLMetry le permite obtener una comprensión profunda de su aplicación de modelo de lenguaje extenso (LLM). Esta página describe los pasos de configuración comunes para el monitoreo de APM basado en OpenTelemetry con New Relic.

OpenLLMetry permite a los desarrolladores aprovechar las fortalezas de OpenTelemetry mientras obtienen las funcionalidades adicionales necesarias para un modelo de monitoreo IA efectivo y optimización del rendimiento.

Antes de que empieces

• Regístrese para obtener una cuenta New Relic.
• Obtenga la clave de licencia para la cuenta New Relic a la que desea reportar datos.

TRACELOOP_BASE_URL = https://otlp.nr-data.net:443
TRACELOOP_HEADERS = "api-key=<YOUR_NEWRELIC_LICENSE_KEY>"

from traceloop.sdk import Traceloop
import os
import time
from langchain_openai import ChatOpenAI
from traceloop.sdk.decorators import workflow, task

os.environ['OPENAI_API_KEY'] = 'OPENAI_API_KEY'
os.environ['TRACELOOP_BASE_URL'] = 'https://otlp.nr-data.net:443'
os.environ['TRACELOOP_HEADERS'] = 'api-key=YOUR_NEWRELIC_LICENSE_KEY'

Traceloop.init(app_name="llm-test", disable_batch=True)

def add_prompt_context():
  llm = ChatOpenAI(
      model="gpt-3.5-turbo",
      temperature=0)
  chain = llm
  return chain

def prep_prompt_chain():
  return add_prompt_context()

def prompt_question():
  chain = prep_prompt_chain()
  return chain.invoke("explain the business of company Newrelic and it's advantages in a max of 50 words")

if  __name__ == "__main__":
  print(prompt_question())