사람들이 인공 지능에 대해 이야기할 때 의미하는 바는 다를 수 있습니다. 뉴롤릭에서 AI라는 말은 임시 사용자 모델을 수신할 때 응답을 생성하기 위해 LLM(거북 언어 모델)을 사용하는 환경 계층을 의미합니다. AI 모니터링은 AI 기반 앱에 대한 엔드투엔드 가시성을 제공하는 APM 솔루션입니다.
AI 모니터링을 사용하면 AI 앱을 구동하는 엔진의 성능을 측정하여 사용자에게 최상의 경험을 제공할 수 있습니다. 시작하려면 APM 에이전트 중 하나를 설치하고 AI 모니터링을 활성화하기만 하면 됩니다.
one.newrelic.com > AI monitoring > AI responses 이동한 후 응답 행을 선택하세요.
AI 모니터링은 어떻게 작동하나요?
AI 모니터링을 시작하려면 APM 에이전트 중 하나를 설치하여 앱을 소모하세요. 측정, 사용량은 앱을 측정할 수 있으며 에이전트가 앱 동작에 대한 데이터를 캡처할 수 있음을 의미합니다. 로그가 적용된 후에는 설정 수준에서 AI 모니터링을 활성화해야 합니다.
AI 모니터링을 활성화하면 에이전트가 AI 이벤트와 관련된 AI 메타데이터를 인식할 수 있습니다. AI가 프롬프트를 수신하고 응답을 반환하면 에이전트는 외부 LLM 및 벡터 저장소에서 생성된 데이터를 인식하고 토큰 사용에 대한 정보를 구문 분석할 수 있습니다.
AI 모니터링으로 AI 성능 향상
AI 기반 앱의 성능을 개요하려면 one.newrelic.com > AI monitoring > AI responses 으로 이동하세요.
AI 모니터링은 AI 앱 성능에 대한 중요한 질문에 답하는 데 도움이 될 수 있습니다. 최종 사용자가 응답을 너무 오래 기다리고 있습니까? 최근 토큰 사용량이 급증했나요? 특정 주제에 대해 부정적인 사용자 피드백 패턴이 있습니까? AI 모니터링을 사용하면 AI 계층과 관련된 데이터를 볼 수 있습니다.
- 응답 테이블 에서 특정 모듈과 응답 복합체의 오류를 식별합니다 . 오류가 발생하면 트레이스 워터폴 보기를 열어 응답 생성 시 AI 기반 앱이 수행하는 메소드 및 호출 범위를 지정하세요.
- 귀하의 AI에 대한 피트니스 기관이 활동하는 경우, 업데이트 이후 사용량이 급증했거나 감소했는지 추적 할 수 있습니다. AI 모니터링을 사용하면 비용을 절감하는 결정을 내릴 수 있습니다.
- 개발 단계에서 앱을 미세 조정하고 있지만 프로덕션에 들어가기 전에 비용 및 성능 효율성을 원할 수도 있습니다. 다양한 앱 환경에서 다양한 모델을 사용하는 경우 구현하다, 배포하기 전에 앱의 비용과 성능을 비교할 수 있습니다.
AI 모니터링 시작하기
시작할 준비가 되셨나요? AI 라이브러리 또는 프레임워크를 사용할 수 있는지 확인 하세요. 이미 앱을 다운로드한 경우 에이전트를 업데이트해야 할 수도 있습니다.
준비가 되면 당사 문서를 사용하여 AI 모니터링을 수동으로 설치하십시오. 이 문서에서는 APM 에이전트 설치 관련 절차를 안내한 다음 AI 모니터링을 위한 에이전트 구성 과정을 안내합니다.