Traceloop LLM observabilidade com OpenLLMetry

Embora OpenTelemetry ofereça um padrão poderoso para coletar dados gerais de aplicativos (trace, métrica, log), ele não tem a capacidade de capturar os principais indicadores de desempenho (KPIs) específicos do modelo de IA. Isso inclui métricas cruciais como nome do modelo, versão, token prompt e conclusão e parâmetro de temperatura. Esses detalhes são essenciais para um monitoramento eficaz e resolução de problemas do modelo de desempenho de IA.

OpenLLMetry surge como uma solução projetada especificamente para resolver essa lacuna na observabilidade do modelo de IA. Construído com base na OpenTelemetry framework, o OpenLLMetry fornece integração perfeita e amplia seus recursos. Ele oferece suporte para estruturas de IA populares como OpenAI, HuggingFace, Pinecone e LangChain.

Key Benefits of OpenLLMetry:

• Standardized Collection of AI Model KPIs:

  OpenLLMetry garante captura consistente de métricas essenciais de desempenho do modelo, permitindo observabilidade abrangente em diversas estruturas.

• Deeper Insights into LLM Applications:

  Com seu SDK de código aberto, o OpenLLMetry permite que você obtenha um entendimento completo do seu aplicativo de grande modelo de linguagem (LLM). Esta página descreve etapas comuns de configuração para monitoramento de APM baseado em OpenTelemetry com New Relic.

OpenLLMetry capacita os desenvolvedores a aproveitar os pontos fortes do OpenTelemetry enquanto obtêm as funcionalidades adicionais necessárias para monitoramento eficaz do modelo de IA e otimização de desempenho.

Antes que você comece

• Cadastre-se para uma conta New Relic.
• Obtenha a chave de licença da conta New Relic para a qual deseja relatar dados.

TRACELOOP_BASE_URL = https://otlp.nr-data.net:443
TRACELOOP_HEADERS = "api-key=<YOUR_NEWRELIC_LICENSE_KEY>"

from traceloop.sdk import Traceloop
import os
import time
from langchain_openai import ChatOpenAI
from traceloop.sdk.decorators import workflow, task

os.environ['OPENAI_API_KEY'] = 'OPENAI_API_KEY'
os.environ['TRACELOOP_BASE_URL'] = 'https://otlp.nr-data.net:443'
os.environ['TRACELOOP_HEADERS'] = 'api-key=YOUR_NEWRELIC_LICENSE_KEY'

Traceloop.init(app_name="llm-test", disable_batch=True)

def add_prompt_context():
  llm = ChatOpenAI(
      model="gpt-3.5-turbo",
      temperature=0)
  chain = llm
  return chain

def prep_prompt_chain():
  return add_prompt_context()

def prompt_question():
  chain = prep_prompt_chain()
  return chain.invoke("explain the business of company Newrelic and it's advantages in a max of 50 words")

if  __name__ == "__main__":
  print(prompt_question())