Integración OpenAI

Con nuestra integración de OpenAI, tiene la capacidad de monitor sin problemas todas las consultas de OpenAI. Al agregar solo dos líneas de código, su equipo puede obtener acceso a métricas clave de rendimiento, como costo, tiempo de respuesta, límites de tasa, tasa de errores, historial de chat y muestras de entradas y salidas. Nuestra integración OpenAI proporciona métricas en tiempo real para ayudar a las empresas a optimizar el uso, reducir costos y lograr mejores resultados.

Esta guía le mostrará cómo integrar su aplicación OpenAI para que pueda comenzar a monitorear sus datos.

Instalar OpenAI con pip

Una vez que haya completado su importación de OpenAI, ejecute:

bash

$pip install nr-openai-observability

Establece tu variable de entorno

Obtenga su y configúrelo como variable de entorno: NEW_RELIC_LICENSE_KEY.

Para obtener más detalles e instrucciones, consulte nuestra documentación de la API REST.

bash

$export NEW_RELIC_LICENSE_KEY=<license key>

import os
os.environ["NEW_RELIC_LICENSE_KEY"] = "<license key>"

Su NEW_RELIC_LICENSE_KEY también se puede enviar como parámetro en la llamada monitor.initialization() .

Modifica tu código

Agregue las siguientes dos líneas a su código:

from nr_openai_observability import monitor
monitor.initialization()

Añade tu dashboard

Para agregar el dashboard a su cuenta New Relic:

import os

import openai
from nr_openai_observability import monitor

monitor.initialization()

openai.api_key = os.getenv("OPENAI_API_KEY")
openai.Completion.create(
    model="text-davinci-003",
    prompt="What is Observability?",
    max_tokens=20,
    temperature=0 
)

Instalar OpenAI

Utilice npm y ejecute:

bash

$npm install @newrelic/openai-observability openai

Modifica tu código

Llame a monitorOpenAI con su cliente OpenAI configurado.

Aquí hay un código de ejemplo:

import { Configuration, OpenAIApi } from 'openai';
import { monitorOpenAI } from '@newrelic/openai-observability';

const configuration = new Configuration({
  apiKey: 'OPENAI_API_KEY',
});

const openAIApi = new OpenAIApi(configuration);

monitorOpenAI(openAIApi, {
  applicationName: 'MyApp',
  newRelicApiKey: 'NEW_RELIC_LICENSE_KEY',
});

const response = await openAIApi.createChatCompletion({
  model: 'gpt-3.5-turbo',
  messages: [{ role: 'user', content: 'What is Observability?' }],
});

console.log(response.data.choices[0].message);

Cerciorar de agregar el tipo de módulo a package.json:

"type": "module"

Opciones de inicialización

export interface MonitorOpenAIOptions {
  /**
   * Your application name in New Relic, must provided.
   */
  applicationName: string;
  /**
   * API key with insert access used to authenticate the request.
   * For more information on creating keys, please see:
   * https://docs.newrelic.com/docs/insights/insights-data-sources/custom-data/introduction-event-api#register
   */
  newRelicApiKey?: string;
  /**
   * Optional host override for event endpoint.
   */
  host?: string;
  /**
   * Optional port override for trace endpoint.
   */
  port?: number;
}

Usuario de cuenta UE

Si está utilizando una cuenta de la UE, debe configurar su EVENT_CLIENT_HOST de la siguiente manera:

bash

$export EVENT_CLIENT_HOST="insights-collector.eu01.nr-data.net"

import os
os.environ["EVENT_CLIENT_HOST"] = "insights-collector.eu01.nr-data.net"

Encuentra tus datos

Una vez que haya integrado OpenAI, siga estos pasos para encontrar datos de observabilidad:

De one.newrelic.com.
Haga clic en
Model Performance
.
Busque en
Applications
.

Mira como funciona

Si tiene dificultades con estas instrucciones, le recomendamos que vea este vídeo de demostración.

Te ofrecemos esta traducción automática para facilitar la lectura.

Instalar para la aplicación Python

Instalar OpenAI con pip

Establece tu variable de entorno

Modifica tu código

Añade tu dashboard

Instalar con Node.js

Instalar OpenAI

Modifica tu código

Opciones de inicialización

Usuario de cuenta UE

Encuentra tus datos

Mira como funciona