NVIDIA 트리톤 통합

인프라 에이전트 설치

NVIDIA Triton 통합을 사용하려면 동일한 호스트에 인프라 에이전트도 설치 해야 합니다. 클라이언트 에이전트는 호스트 자체를 모니터링하는 반면, 다음 단계에서 설치하게 될 통합은 NVIDIA Triton 관련 데이터로 모니터링을 확장합니다.

NVIDIA Triton 통합을 활성화합니다. nri-prometheus

Triton 서버 지표는 URL http://localhost:8002/metrics 에 표시됩니다.

NVIDIA Triton 통합을 설정하려면 다음 단계를 따르세요.

1. 다음 명령을 실행하여 통합 디렉터리에 nri-prometheus-config.yml 이라는 파일을 만듭니다.

   bash

   카피

   $
   touch /etc/newrelic-infra/integrations.d/nri-prometheus-config.yml

2. 에이전트가 NVIDIA Triton 데이터를 캡처할 수 있도록 하려면 다음 스니펫을 nri-prometheus-config.yml 파일에 추가하세요.

   integrations:
     - name: nri-prometheus
       config:
         # When standalone is set to false nri-prometheus requires an infrastructure agent to work and send data. Defaults to true
         standalone: false
   
         # When running with infrastructure agent emitters will have to include infra-sdk
         emitters: infra-sdk
   
         # The name of your cluster. It's important to match other New Relic products to relate the data.
         cluster_name: "YOUR_DESIRED_CLUSTER_NAME"
   
         targets:
           - description: NVIDIA Triton metrics list
             urls: ["http://localhost:8002/metrics"]
   
         #     tls_config:
         #     ca_file_path: "/etc/etcd/etcd-client-ca.crt"
         #     cert_file_path: "/etc/etcd/etcd-client.crt"
         #      key_file_path: "/etc/etcd/etcd-client.key"
   
         # Whether the integration should run in verbose mode or not. Defaults to false
         verbose: false
   
         # Whether the integration should run in audit mode or not. Defaults to false.
         # Audit mode logs the uncompressed data sent to New Relic. Use this to log all data sent.
         # It does not include verbose mode. This can lead to a high log volume, use with care
         audit: false
   
         # The HTTP client timeout when fetching data from endpoints. Defaults to 30s.
         # scrape_timeout: "30s"
   
         # Length in time to distribute the scraping from the endpoints
         scrape_duration: "5s"
   
         # Number of worker threads used for scraping targets.
         # For large clusters with many (>400) endpoints, slowly increase until scrape
         # time falls between the desired `scrape_duration`.
         # Increasing this value too much will result in huge memory consumption if too
         # many metrics are being scraped.
         # Default: 4
         # worker_threads: 4
   
         # Whether the integration should skip TLS verification or not. Defaults to false
         insecure_skip_verify: true
       timeout: 10s

   카피

NVIDIA Triton 로그인 설정

NVIDIA Triton 로그를 구성하려면 아래 설명된 단계를 따르세요.

1. 다음 docker 명령을 실행하여 실행 중인 컨테이너의 상태를 확인하세요.

   bash

   카피

   $
   sudo docker ps

2. nvidia-triton 컨테이너의 컨테이너 ID를 복사하고 다음 명령을 실행합니다.

   bash

   카피

   $
   sudo docker logs -f <container_id> &> /tmp/triton.log &

   그런 다음 /tmp/ 디렉터리에 triton.log 이라는 로그 파일이 있는지 확인합니다.

NVIDIA Triton 로그를 뉴렐릭으로 전달하는 중

우리의 로그 포워딩을 사용하여 NVIDIA Triton 로그를 뉴롤릭으로 전달할 수 있습니다. Linux 시스템에서는 logging.yml 이라는 로그 파일이 다음 경로에 있어야 합니다.

$
cd /etc/newrelic-infra/logging.d/

위 경로에서 로그 파일을 찾으면 다음 스크립트를 logging.yml 파일에 포함합니다.

logs:
  - name: triton.log
    file: /tmp/triton.log
    attributes:
      logtype: triton_logs

New Relic 인프라 에이전트 다시 시작

인프라 에이전트를 다시 시작 하려면 다음 명령을 실행하세요.

$
sudo systemctl restart newrelic-infra.service

몇 분 안에 NVIDIA Triton 서버가 메트릭을 one.newrelic.com 으로 보냅니다.

데이터 찾기

NVIDIA Triton 서버 지표를 모니터링하려면 NVIDIA Triton 이라는 사전 구축된 대시보드 템플릿을 선택하세요. 사전 구축된 대시보드 템플릿을 사용하려면 다음 단계를 따르세요.

1. one.newrelic.com > + Add data 으로 이동하여 하고 NVIDIA Triton 을 입력하세요.

2. Dashboards [대시보드] 에서 NVIDIA Triton을 클릭합니다.

3. 열린 팝업 창에서 계정을 변경하려면 Edit [편집을] 클릭하세요.

4. Setup NVIDIA Triton [NVIDIA Triton 설정을] 클릭하거나 이 데이터 소스를 이미 설정한 경우 Skip this step [이 단계를 건너뛰십시오].

5. View dashboard [대시보드 보기를] 클릭하고 뉴렐릭에서 NVIDIA Triton 데이터를 확인하세요.

   Dashboards UI에서 맞춤형 NVIDIA Triton 대시보드를 찾을 수 있습니다. 자세한 내용은 대시보드 섹션을 참조하세요.

   다음은 NVIDIA Triton CPU 메모리를 확인하는 NRQL 쿼리 입니다.

   SELECT latest(nv_cpu_memory_total_bytes) / 1e+6 AS 'memory (MB)' FROM Metric

   카피