Dockerコンテナ監視のトラブルシューティング

問題: OpenTelemetry Collector が起動に失敗するか、すぐにクラッシュします。

診断:

$
# Check collector status
$
sudo systemctl status otelcol-contrib
$

$
# View recent logs
$
journalctl -u otelcol-contrib --since "1 hour ago" -f
$

$
# Test configuration syntax
$
otelcol-contrib --config-validate --config=/etc/otelcol-contrib/config.yaml

解決策:

• 設定エラー: YAML 構文エラーを修正し、すべての必須フィールドが存在することを確認します
• 権限がありません: コレクターユーザーが設定ファイルへの読み取りアクセス権を持っていることを確認してください
• 環境変数: NEWRELIC_LICENSE_KEYとNEWRELIC_OTLP_ENDPOINTが正しく設定されていることを確認してください

問題: Dockerコンテナは実行されていますが、10 分以上経過してもNew Relicにメトリクスが表示されません。

診断:

$
# Verify collector is running and processing data
$
journalctl -u otelcol-contrib | grep -i "docker\|error\|export"
$

$
# Check Docker daemon accessibility
$
docker info
$

$
# Test Docker socket permissions
$
ls -l /var/run/docker.sock
$

$
# Verify containers are running
$
docker ps

解決策:

1. Docker ソケット アクセス: コレクター ユーザーを docker グループに追加します。

   bash

   コピー

   $
   sudo usermod -aG docker otelcol-contrib
   $
   sudo systemctl restart otelcol-contrib

2. ライセンスキーの問題: ライセンスキーが正しく、適切な権限があることを確認してください。

   bash

   コピー

   $
   echo $NEWRELIC_LICENSE_KEY
   $
   # Should be 40-character NRAK-prefixed key for US, or EU equivalent

3. ネットワーク接続: OTLP エンドポイントのアクセシビリティをテスト:

   bash

   コピー

   $
   # For US region
   $
   curl -v -H "api-key: $NEWRELIC_LICENSE_KEY" https://otlp.nr-data.net/v1/metrics
   $
   
   $
   # For EU region
   $
   curl -v -H "api-key: $NEWRELIC_LICENSE_KEY" https://otlp.eu01.nr-data.net/v1/metrics

4. Docker API バージョン: Docker API バージョンが 1.25 以上であることを確認します。

   bash

   コピー

   $
   docker version --format '{{.Client.APIVersion}}'

問題: Dockerソケットにアクセスすると、 Collectorログに「権限が拒否されました」と表示されます。

診断:

$
# Check socket ownership and permissions
$
ls -la /var/run/docker.sock
$

$
# Check collector user membership
$
groups otelcol-contrib

解決策:

$
# Option 1: Add collector user to docker group (recommended)
$
sudo usermod -aG docker otelcol-contrib
$
sudo systemctl restart otelcol-contrib
$

$
# Option 2: Adjust socket permissions (less secure)
$
sudo chmod 666 /var/run/docker.sock
$

$
# Option 3: Run collector as root (not recommended for production)
$
# Modify systemd service file User= setting

問題: 一部のコンテナではメトリクスが表示されますが、他のコンテナでは表示されないか、またはメトリクスが散発的に表示されます。

診断:

$
# Check for containers with networking issues
$
docker inspect $(docker ps -q) | grep -A5 "NetworkSettings"
$

$
# Review collector configuration
$
grep -A20 "docker_stats:" /etc/otelcol-contrib/config.yaml
$

$
# Check for resource constraints
$
docker stats --no-stream

解決策:

• コンテナの可視性: コレクターで構成されたDockerソケット パスを介してすべてのコンテナにアクセスできることを確認します。

• リソース制限: コンテナの応答が遅い場合は、コレクターのタイムアウト値を増やします。

  docker_stats:
    timeout: 10s  # Increase from default 5s
    collection_interval: 30s  # Reduce frequency if needed

  コピー

• ネットワークネームスペース: 制限されたネットワークネームスペース内の一部のコンテナはアクセスできない可能性があります

問題: OpenTelemetry Collector が過剰なシステム リソースを消費します。

診断:

$
# Monitor collector resource usage
$
top -p $(pgrep otelcol-contrib)
$

$
# Check metric collection frequency
$
grep -A10 "docker_stats:" /etc/otelcol-contrib/config.yaml
$

$
# Count active containers
$
docker ps --format 'table {{.Names}}\t{{.Status}}' | wc -l

解決策:

• 収集間隔を調整する: コンテナ数の多い環境では監視頻度を減らします。

  docker_stats:
    collection_interval: 30s  # Increase from 15s

  コピー

• 高価なメトリクスを無効にする: 必要がない場合は、CPU ごとのメトリクスをオフにします。

  docker_stats:
    metrics:
      container.cpu.usage.percpu:
        enabled: false

  コピー

• バッチ処理を構成する: 環境に合わせてバッチ処理を最適化します。

  batch:
    timeout: 60s
    send_batch_size: 1024

  コピー

問題: ログ収集が設定されているが、コンテナログがNew Relicに表示されません。

診断:

$
# Check log directory permissions
$
ls -la /var/lib/docker/containers/
$

$
# Verify receiver creator is discovering containers
$
journalctl -u otelcol-contrib | grep -i "receiver.*creator\|docker.*observer"
$

$
# Check if containers have exposed ports (required for discovery)
$
docker ps --format 'table {{.Names}}\t{{.Ports}}'

解決策:

1. ファイル権限: ログディレクトリへのアクセスを許可:

   bash

   コピー

   $
   sudo chmod -R 755 /var/lib/docker/containers/
   $
   # Or add collector to docker group
   $
   sudo usermod -aG docker otelcol-contrib

2. コンテナ ポートの公開: コンテナ検出のためにポートを公開します:

   bash

   コピー

   $
   # When running containers, expose at least one port
   $
   docker run -p 8080:8080 my-app:latest
   $
   # Or use --expose flag
   $
   docker run --expose 80 my-app:latest

3. オブザーバー構成: Docker オブザーバー設定を確認します。

   docker_observer:
     endpoint: unix:///var/run/docker.sock
     use_hostname_if_present: true
     use_container_labels: true

   コピー

問題: メトリクスが間違ったNew Relicアカウントまたは組織に表示されます。

診断:

$
# Verify license key format and region
$
echo $NEWRELIC_LICENSE_KEY | cut -c1-4
$
# Should show "NRAK" for US accounts
$

$
# Check configured endpoint
$
echo $NEWRELIC_OTLP_ENDPOINT

解決策:

• 米国のアカウント：使用 https://otlp.nr-data.net
• EUアカウント：使用 https://otlp.eu01.nr-data.net
• ライセンスキーの確認: 正しいアカウントのライセンスキーを使用していることを確認してください