AI 모니터링은 AI에 대한 성능 모니터링(APM)을 위한 솔루션입니다. AI 모니터링을 활성화하면 APM 에이전트가 OpenAI 및 BedRock과 같은 공급업체가 지원하는 모델 의 성능, 비용 및 품질에 대한 종단 간 가시성을 제공할 수 있습니다. 사용자가 AI 어시스턴트와 상호 작용하는 방법을 살펴보고, AI 이벤트에 대한 모델의 응답에 대한 트레이스 수준의 세부 정보를 살펴보고, 앱 환경 전반에서 다양한 모델의 성능을 비교하세요.
one.newrelic.com > AI monitoring > AI responses 으로 이동합니다.
AI 모니터링은 어떻게 작동하나요?
AI 모니터링을 시작하려면 APM 에이전트 중 하나를 사용하여 AI 기반 앱을 다운로드하세요. 앱을 축소한 후에 에이전트가 LLM 옵저버빌리티 데이터를 캡처할 수 있도록 AI 모니터링을 활성화할 수 있습니다.
AI 비서가 프롬프트를 받고 응답을 반환하면 에이전트는 외부 LLM 및 벡터 저장소에서 생성된 메트릭 및 이벤트 데이터를 수집합니다. 저희 에이전트는:
- 완료, 프롬프트 및 응답 토큰에 대한 정보 구문 분석
- 지원되는 모델을 통과하는 요청 및 응답 추적
- 최종 사용자의 응답에 대한 부정적 또는 긍정적 피드백을 연관시킵니다.
이 모든 정보와 뉴렐릭 플랫폼에서 더 많은 정보에 액세스한 다음 알림 및 대시보드를 만들어 AI 데이터를 효과적으로 관리하고 성능을 향상시킬 수 있습니다.
AI 모니터링으로 AI 성능 향상
AI 기반 앱의 성능을 개요하려면 one.newrelic.com > AI monitoring > AI responses 으로 이동하세요.
AI 모니터링은 AI 앱 성능에 대한 중요한 질문에 답하는 데 도움이 될 수 있습니다. 최종 사용자가 응답을 너무 오래 기다리고 있습니까? 최근 토큰 사용량이 급증했나요? 특정 주제에 대해 부정적인 사용자 피드백 패턴이 있습니까? AI 모니터링을 사용하면 AI 계층과 관련된 데이터를 볼 수 있습니다.
- 응답 표에서 특정 프롬프트 및 응답 상호작용의 오류를 식별합니다 . AI 모델을 개선하고 싶다면 트레이스 수준 데이터로 모델을 분석하는 방법을 알아보세요.
- 앱 환경 전반에 걸쳐 다양한 모델을 사용하는 경우 구현하다, 배포하기 전에 앱의 비용과 성능을 비교할 수 있습니다.
- 데이터 규정 준수가 걱정되나요? 민감한 데이터를 뉴렐릭으로 보내기 전에 삭제하는 삭제 필터를 만드는 방법을 알아보세요 .
AI 모니터링 시작하기
시작할 준비가 되셨나요? AI 라이브러리 또는 프레임워크를 사용할 수 있는지 확인 하세요. 이미 앱을 다운로드한 경우 에이전트를 업데이트해야 할 수도 있습니다.
준비가 되면 당사 문서를 사용하여 AI 모니터링을 수동으로 설치하십시오. 이 문서에서는 APM 에이전트 설치 관련 절차를 안내한 다음 AI 모니터링을 위한 에이전트 구성 과정을 안내합니다.