• EnglishEspañol日本語한국어Português
  • 로그인지금 시작하기

이 한글 문서는 사용자의 편의를 위해 기계 번역되었습니다.

영문본과 번역본이 일치하지 않는 경우 영문본이 우선합니다. 보다 자세한 내용은 이 페이지를 방문하시기 바랍니다.

문제 신고

Kafka 모니터링 통합

New Relic Kafka 온-호스트 통합 은 Kafka 서비스의 메트릭 및 구성 데이터를 보고합니다. 브로커(ZooKeeper 및 Bootstrap 모두), 생산자, 소비자 및 주제를 포함하여 클러스터의 모든 핵심 요소를 계측합니다.

Kafka 모니터링 통합을 설치하려면 다음 단계를 실행해야 합니다.

  1. 설치를 준비합니다 .
  2. 통합을 설치하고 활성화합니다 .
  3. 통합을 구성합니다 .
  4. 데이터를 찾아 사용합니다 .
  5. 선택적으로 Kafka의 구성 설정 을 참조하십시오.

호환성 및 요구 사항

카프카 버전

통합은 Kafka 버전 3 이하와 호환됩니다.

수명 종료 Kafka 버전을 사용하는 경우 예기치 않은 결과가 발생할 수 있으므로 Apache Kafka EOL 정책 에 유의하십시오.

지원되는 운영 체제

  • 윈도우

    Windows
  • 리눅스

    Linux

특정 Windows 및 Linux 버전의 전체 목록은 호환되는 운영 체제 표를 확인하세요.

시스템 요구 사항

  • New Relic 계정. 하나가 없습니까? 무료 가입! 신용 카드가 필요하지 않습니다.

  • Kafka가 Kubernetes 또는 Amazon ECS에서 실행되지 않는 경우 Linux 또는 Windows OS 호스트 또는 Kafka가 설치된 위치에 원격으로 액세스할 수 있는 호스트에 인프라 에이전트를 설치할 수 있습니다. 그렇지 않으면:

  • 자바 버전 8 이상.

  • 모든 브로커에서 활성화된 JMX.

  • Java 기반 소비자 및 생산자 전용이며 JMX가 활성화되어 있습니다.

  • 모니터링되는 총 주제 수는 10000개 미만이어야 합니다.

연결 요구 사항

다음 항목에 연결하려면 통합을 구성하고 허용해야 합니다.

  • autodiscover_strategyzookeeper 로 설정된 경우 Zookeeper 인증 메커니즘을 사용하여 Zookeeper 프로토콜을 통해 zookeeper_hosts 에 나열된 호스트.
  • autodiscover_strategybootstrap 로 설정된 경우 Kafka 브로커의 인증/전송 메커니즘을 사용하여 Kafka 프로토콜을 통해 bootstrap_broker_host 에 정의된 호스트
  • Kafka 브로커의 인증/전송 메커니즘을 사용하는 Kafka 프로토콜 및 포트를 통한 클러스터의 모든 브로커.
  • 브로커의 JMX 구성에 지정된 인증/전송 메커니즘을 사용하는 JMX 프로토콜 및 포트를 통한 클러스터의 모든 브로커.
  • 생산자/소비자 모니터링을 원하는 경우 JMX 프로토콜 및 포트를 통해 생산자 및 소비자에 지정된 모든 생산자/소비자. 소비자에 대한 JMX 설정은 브로커에 대한 설정과 동일해야 합니다.

중요

기본적으로 AWS의 다른 클라우드 공급자에 있는 보안 그룹 및 이에 상응하는 항목에는 기본적으로 필요한 포트가 열려 있지 않습니다. JMX가 작동하려면 JMX 포트와 RMI 포트라는 두 개의 포트가 필요합니다. JMX를 사용하도록 JVM을 구성할 때 동일한 값으로 설정할 수 있으며 브로커에 연결하고 브로커에서 메트릭을 수집할 수 있도록 통합을 위해 열려 있어야 합니다.

설치 준비

Kafka는 분산 시스템으로 구축된 복잡한 소프트웨어입니다. 이러한 이유로 데이터가 올바르게 수집되도록 통합에서 필요한 모든 호스트 및 서비스에 연결할 수 있는지 확인해야 합니다.

통합 설치 및 활성화

Kafka 통합을 설치하려면 환경에 대한 지침을 따르세요.

리눅스 설치

  1. 통합 설치 지침을 따르고 INTEGRATION_FILE_NAME 변수를 nri-kafka 로 바꿉니다.

  2. 다음을 실행하여 디렉토리를 통합 구성 폴더로 변경하십시오.

    bash
    $
    cd /etc/newrelic-infra/integrations.d
  3. 다음을 실행하여 샘플 구성 파일을 복사합니다.

    bash
    $
    sudo cp kafka-config.yml.sample kafka-config.yml
  4. 선호하는 편집기로 kafka-config.yml 구성 파일을 편집합니다. 일부 구성 파일 예제를 확인하십시오..

기타 환경

추가 참고 사항:

이 문서가 설치하는데 도움이 되셨나요?

통합 구성

설치 방법에 따라 통합을 구성하는 몇 가지 방법이 있습니다.

  • 다음을 통해 활성화된 경우

    Kubernetes

    Kubernetes, Kubernetes에서 실행 중인 모니터링 서비스 참조.

  • 다음을 통해 활성화된 경우

    ECS

    Amazon ECS, ECS에서 실행되는 모니터링 서비스 참조 .

  • 호스트에 설치된 경우 통합의 YAML 구성 파일 kafka-config.yml 에서 구성을 편집합니다. 통합의 YAML 형식 구성은 필수 로그인 자격 증명을 배치하고 데이터 수집 방법을 구성할 수 있는 곳입니다. 변경하는 옵션은 설정 및 기본 설정에 따라 다릅니다. 구성 파일에는 interval , timeout , inventory_source 같은 모든 통합에 적용할 수 있는 공통 설정이 있습니다. 이러한 공통 설정에 대한 모든 내용을 읽으려면 구성 형식 문서를 참조하십시오.

중요

레거시 구성 및 정의 파일을 계속 사용하는 경우 이 문서 에서 도움말을 참조하세요.

다른 통합과 마찬가지로 하나의 kafka-config.yml 구성 파일에는 다양한 브로커, 소비자 및 생산자 측정항목을 수집하는 통합 인스턴스가 여러 개 있을 수 있습니다.kafka-config.yml 샘플 파일 에서 하나 이상의 인스턴스가 있는 구성 예를 볼 수 있습니다.

Kafka와 관련된 특정 설정은 kafka-config.yml 구성 파일에 있는 각 인스턴스의 env 섹션을 사용하여 정의됩니다.이러한 설정은 Brokers, Zookeeper 및 JMX에 대한 연결과 기타 보안 설정 및 기능을 제어합니다.유효한 설정 목록은 Kafka의 구성 설정 에 설명되어 있습니다.

통합에는 각 인스턴스에 대해 상호 배타적인 두 가지 작동 모드가 있으며 CONSUMER_OFFSET 매개변수로 설정할 수 있습니다.

중요

소비자 오프셋 수집은 실행하는 데 오랜 시간이 걸리고 고성능 요구 사항이 있기 때문에 이러한 모드는 상호 배타적입니다. 두 샘플 그룹을 수집하려면 각 모드에 하나씩 두 개의 인스턴스를 설정합니다.

이러한 설정의 값은 여러 가지 방법으로 정의할 수 있습니다.

  • 구성 파일에 직접 값을 추가합니다. 이것은 가장 일반적인 방법입니다.
  • {{ }} 표기법을 사용하여 환경 변수의 값을 바꿉니다. 온호스트 통합과 함께 환경 변수 패스스루 사용 에 대해 자세히 알아보거나 환경 변수 대체에 대한 예제를 참조하십시오.
  • 비밀 관리를 사용합니다. 이를 사용하여 구성 파일에서 일반 텍스트로 노출될 암호와 같은 민감한 정보를 보호하십시오. 자세한 내용은 비밀 관리 를 참조하십시오.

오프셋 모니터링

CONSUMER_OFFSET = true 을 설정하면 기본적으로 활성 소비자(및 소비자 측정항목)가 있는 소비자 그룹의 측정항목만 수집됩니다.또한 비활성 소비자가 있는 소비자 그룹에서 측정항목을 수집하려면 INACTIVE_CONSUMER_GROUP_OFFSETtrue 로 설정해야 합니다.

소비자 그룹이 둘 이상의 주제를 모니터링할 때, 특히 주제 중 하나에 비활성 소비자가 있는 경우 소비자 그룹 메트릭을 주제별로 구분하는 것이 중요합니다. 그러면 소비자 그룹에 지연이 있는 주제와 해당 소비자 그룹 및 주제에 대한 활성 소비자입니다.

주제별로 구분된 소비자 그룹 측정항목을 가져오려면 CONSUMER_GROUP_OFFSET_BY_TOPICtrue (기본값은 false )로 설정해야 합니다.

오프셋 모니터링을 설정하는 방법에 대한 자세한 내용은 KafkaOffsetSample 컬렉션 구성 을 참조하세요.

kafka-config.yml 샘플 파일

통합을 위한 구성 옵션

데이터를 찾고 사용하는 방법에 대한 자세한 내용은 Kafka의 구성 설정 을 참조하십시오.

데이터 찾기 및 사용

이 서비스의 데이터는 통합 대시보드 에 보고됩니다.

Kafka 데이터는 다음 이벤트 유형 에 첨부됩니다.

문제 해결을 위해 또는 차트 및 대시보드를 생성하기 위해 이 데이터를 쿼리 할 수 있습니다.

데이터를 찾고 사용하는 방법에 대한 자세한 내용은 통합 데이터를 이해 하는 방법을 참조하세요.

통합으로 수집된 측정항목

Kafka 통합은 다음 메트릭을 수집합니다. 각 측정항목 이름 앞에는 카테고리 표시기 및 마침표(예: broker. 또는 consumer. )가 붙습니다.

Copyright © 2024 New Relic Inc.

This site is protected by reCAPTCHA and the Google Privacy Policy and Terms of Service apply.