AI 모니터링을 활성화하면 에이전트가 앱의 AI 계층에 대한 성능 지표 및 트레이스 데이터를 인식하고 캡처할 수 있습니다. AI 모니터링을 사용하면 AI 기반 앱에서 토큰 사용량, 완료 횟수 및 AI 응답 시간을 추적할 수 있습니다. 오류나 부정확한 응답이 표시되는 경우, 주어진 문자열-응답에 대한 트레이스 수준 보기로 범위를 지정하여 AI 서비스 논리의 문제를 식별할 수 있습니다.
one.newrelic.com > All Capabilities > AI monitoring 으로 이동하여 데이터를 볼 수 있습니다. 다음 세 가지 페이지에서 데이터를 볼 수 있습니다.
AI responses
: 모든 AI 분해에서 집계된 데이터를 개요합니다. AI 응답 시간 및 의미를 추적하거나 개별 활동 및 응답에 대한 데이터를 확인하세요.
AI entities
: 전체 보고 AI 데이터의 테이블 요약을 확인합니다. 오류율, 처리량, 앱 응답 시간 등 표준 APM 데이터를 참조하세요. 부분을 선택하면 APM AI responses 페이지 탐색을 시작할 수 있습니다.
Compare models
: 서로 다른 모델 간의 사용법, 응답 시간 및 오류를 비교합니다. A/B 테스트를 수행하는 경우 AI 기반 앱에 대한 결정을 내리는 데 필요한 모든 정보를 얻을 수 있습니다.
AI 응답 페이지
최상위 AI responses 페이지에는 AI 데이터가 집계되어 표시됩니다. 집계된 데이터는 모든 보고 AI 데이터에 걸쳐 평균 총 응답, 응답 시간 및 응답당 사용량을 취합니다. 이 페이지에서 응답은 프롬프트가 제공될 때 AI 기반 앱의 출력을 나타냅니다.
다양한 AI 프레임워크를 다양하게 구현한 여러 앱을 소유하고 있다면 AI 모델의 성능에 대한 일반적인 이해를 얻을 수 있습니다.
총 응답, 평균 응답 시간 및 의미 사용량을 추적합니다.
세 개의 타일은 AI의 반응에 대한 일반적인 성능 지표를 보여줍니다. 이러한 타일은 문제의 정확한 원인을 알려주지 못할 수도 있지만 앱의 성능에서 이상 작용을 식별하는 데 유용합니다.
- 총 응답 수가 감소하거나 평균 응답 시간이 증가한 경우 AI 도구 체인의 일부 기술로 인해 AI 기반 앱이 응답을 게시하지 못했음을 의미할 수 있습니다.
- 응답당 평균 의미 사용량이 감소하거나 증가하면 모델이 응답을 생성하는 방법을 알 수 있습니다. 어쩌면 너무 많은 맥락을 끌어당겨 응답을 생성하는 동안 토큰 비용이 상승할 수도 있습니다. 어쩌면 응답이 너무 빈약하여 토큰 비용이 낮아지고 도움이 되지 않는 응답이 발생할 수도 있습니다.
시계열 그래프 조정
시계열 그래프를 참조하면 비정상적인 행동이 처음 나타나는 시기를 더 잘 시각화할 수 있습니다.
- 스파이크 또는 드롭 위로 드래그하여 시계열 그래프를 조정합니다. 이는 시계열의 범위를 특정 기간으로 지정합니다.
- 다양한 성능에 대한 비교 분석을 실행하려면 드롭다운을 선택하세요. 총 응답, 평균 응답 시간 또는 응답당 평균 응답 중에서 선택할 수 있습니다.
- 피드백 기능을 활성화한 경우 그래프 범위를 지정하여 긍정적인 피드백과 부정적인 피드백을 기준으로 응답을 분석할 수 있습니다.
개별 AI 응답 평가
귀하의 AI 응답 테이블은 귀하의 최적 사용자와 AI 앱 사이의 블록결합에 대한 데이터를 정리합니다. 모듈 결합이 발생한 시기, 해당 응답과 쌍을 이루는 모듈, 완료 및 단위 개수, 모듈을 수신한 모델을 볼 수 있습니다.
오른쪽 상단의 톱니바퀴 아이콘을 클릭하여 테이블 열을 조정할 수 있습니다. 이를 통해 분석하려는 데이터 종류를 선택할 수 있습니다.
응답 테이블은 개별 응답에 대한 트레이스 데이터를 보기 위한 시작점입니다. 특정 응답의 트레이스 보기를 열려면 테이블의 행을 클릭하세요.
AI 트레이스 보기
AI 응답 트레이스 보기는 앱이 응답을 생성하는 방법에 대한 트레이스 수준 인사이트를 제공합니다. 오류가 발생한 위치를 식별하기 위해 트레이스 보기를 보고 싶을 수도 있고, 높은 응답에서 부정적인 피드백을 초래한 원인을 이해하고 싶을 수도 있습니다. 트레이스 보기에서는 다음을 수행할 수 있습니다.
트레이스나 로그인 중에서 선택하세요. 로그를 선택할 때 추가로 조사하려는 텍스트 문자열이나 속성을 로그 내에서 쿼리합니다.
응답 세부정보 또는 메타데이터 간을 전환합니다. 응답 세부 정보 열에는 트레이 및 범위에 대한 컨텍스트를 유지할 수 있도록 사용자 요청 및 AI 응답이 표시됩니다. 메모데이터는 부품 GUID, 모델, 역할, 공급업체에 대한 목록 보기를 제공합니다.
오류가 발생하면 폭포 보기에서 해당 행이 빨간색으로 강조 표시됩니다. 범위의 오류 세부정보를 포함하여 범위 데이터를 열려면 행을 선택하세요.
AI 분할 페이지
AI 분리 페이지는 현재 보고 중인 AI 데이터를 모두 테이블로 정리합니다. 이 페이지에는 응답 시간, 처리량, 오류율과 함께 AI 앱이 표시됩니다.
AI 데이터를 보고하는 부분 보기: one.newrelic.com > All Capabilities > AI Monitoring으로 이동합니다.
AI 부분을 선택하면 해당 앱의 APM 요약 페이지로 이동됩니다. APM summary page 의 왼쪽 탐색 메뉴에서 AI monitoring 선택합니다.
APM AI 응답 페이지
AI 부분을 선택하면 APM 요약 페이지로 이동합니다. AI 데이터를 찾으려면 왼쪽 탐색 메뉴에서 AI responses 선택하세요. 특정 AI가 이상 작동에 기여한 것을 확인한 경우 이 페이지를 사용하는 것이 좋습니다.
- APM 버전의 AI 응답에는 최상위 AI 응답 페이지와 동일한 타일, 시계열 그래프, 응답 테이블이 포함되어 있습니다.
- APM AI 응답 페이지에는 집계된 데이터를 표시하는 대신 AI 분해에서 선택한 서비스로 범위가 지정된 데이터가 표시됩니다.
- 최상위 AI 응답 페이지에서는 모든 AI 부분에 걸쳐 서비스별로 필터링할 수 있지만, APM AI 응답 페이지에서는 필터 기능을 앱 자체 속성으로 제한합니다.
AI 데이터를 탐색하는 방법을 검토하려면 이전 AI 응답 섹션 에서 설명한 것과 동일한 패턴을 따를 수 있습니다.
모델 비교 페이지
모델 비교 페이지에서는 테스트 중인 사용 사례에 따라 성능을 분석할 수 있는 유연성을 제공합니다. 다음을 수행할 수 있습니다.
- 모든 서비스의 평균 성능과 앱 내에서 한 모델의 성능을 비교해 보세요.
- 구성원 엔지니어링 중 다양한 구성원을 테스트할 때 A/B 테스트를 수행합니다. 예를 들어, 하나의 프롬프트 세트가 있는 한 기간 동안 모델의 성능과 정확성을 두 번째 프롬프트 세트가 있는 다른 기간과 비교합니다.
- 고객 트래픽이 최고조에 달했던 특정 기간 동안 모델의 성능을 평가합니다.
이 페이지에서는 모델 비교 데이터의 범위를 단일 계정으로 지정한다는 점을 명심하세요. 조직에 여러 AI 기반 앱을 소유한 여러 계정이 있는 경우 해당 계정 간의 모델 데이터를 비교할 수 없습니다.
모델 비용 이해
모델 비용 열은 완료 이벤트를 두 부분, 즉 모델에 제공되는 프롬프트와 모델이 최종 사용자에게 전달하는 최종 응답으로 분류합니다.
Tokens per completion
: 모든 완료 이벤트에 대한 토큰 평균입니다.
Prompt tokens
: 프롬프트의 토큰 평균입니다. 이 평균에는 헤드폰 엔지니어 및 최적 사용자가 만든 항목이 포함됩니다.
Completion tokens
: 최종 사용자에게 전달되는 응답을 생성할 때 모델이 소비하는 토큰 수입니다.
이 열을 분석할 때 완료 토큰 및 프롬프트 토큰 값은 완료당 토큰 값과 동일해야 합니다.
다음은 뭐지?
이제 데이터를 찾는 방법을 알았으므로 AI 모니터링이 제공하는 다른 기능을 탐색할 수 있습니다.
- 민감한 정보가 걱정되시나요? 드롭 필터를 설정하는 방법을 알아보세요.
- 앱의 AI 응답에 대한 사용자 피드백 정보를 뉴렐릭으로 전달하려면 안내에 따라 앱 코드를 업데이트하여 UI에서 사용자 피드백을 받으세요.