DataBricks の統合

New Relic Databricks 統合は、Databricks 上で実行されている Spark だけでなく、Databricks 上で実行されていない Spark デプロイメントからもテレメトリーを収集できます。

デフォルトでは、統合は、指定されたワークスペースのUIまたはAPIを通じて作成されたすべてのクラスタ内の Spark デプロイメントに自動的に接続し、テレメトリーを収集します。この統合は、Collect Spark テレメトリー機能をサポートします。

インテグレーションの設定

この統合では、 New Relicの実験的なリポジトリのスタンドアロンツールを使用します。この統合はホスト上で実行することも、テストのためにローカルで実行することもできます。この統合は、次のホストプラットフォーム上で実行されます。

詳細については、この統合に関するGitHub ReadMeを参照してください。

この統合をホスト (例: EC2) 上でデプロイするには、次の手順に従います。

最新リリースから、プラットフォームに適したアーカイブをダウンロードします。
アーカイブを新しいディレクトリまたは既存のディレクトリに抽出します。
同じディレクトリにconfigsという名前のディレクトリを作成します。
configs ディレクトリにconfig.ymlという名前のファイルを作成し、このリポジトリ内のconfigs/config.template.ymlファイルの内容をそのファイルにコピーします。
config.ymlファイルを編集して、環境に合わせて統合を適切に構成します。
アーカイブを解凍したディレクトリから、次のコマンドを使用して統合バイナリを実行します。必要に応じてコマンドラインオプションをコピーします。

bash

$# Linux
$ ./newrelic-databricks-integration 
$ 
$ # Windows
$ .\newrelic-databricks-integration.exe

New Relic Databricks 統合は、クラスタスコープの init スクリプトを使用して、Databricks クラスタのドライバノード上でデプロイできます。 init スクリプトはカスタム環境変数を使用して、統合設定に必要な設定を指定します。

init スクリプトをインストールするには、次の手順に従います。

Databricks アカウントにログインし、目的のワークスペースに移動します。
init スクリプトの推奨事項に従って、推奨される方法でcluster_init_integration.shスクリプトをワークスペース内に保存します。たとえば、ワークスペースで Unity カタログが有効になっている場合は、init スクリプトをUnity カタログボリュームに保存する必要があります。
Compute [計算]タブに移動し、目的の汎用計算またはジョブ計算を選択して、計算の詳細UI開きます。
Edit [編集]ボタンをクリックして計算の設定を編集します。
手順に従って、UI を使用してクラスタースコープの init スクリプトを構成し、上記の手順 2 で init スクリプトを保存した場所を指定します。
クラスターが実行されていない場合は、 Confirm [確認]ボタンをクリックして変更を保存します。次に、クラスターを再起動します。クラスターがすでに実行されている場合は、 Confirm and restart [確認して再起動]ボタンをクリックして変更を保存し、クラスターを再起動します。

さらに、環境変数を設定する手順に従って、次の環境変数を追加します。

NEW_RELIC_API_KEY: New RelicユーザーAPIキー。
NEW_RELIC_LICENSE_KEY: New Relicライセンスキー。
NEW_RELIC_ACCOUNT_ID: New Relic アカウント ID 。
NEW_RELIC_REGION: New Relic アカウントの地域。USまたはEUのいずれかです。
NEW_RELIC_DATABRICKS_WORKSPACE_HOST: ターゲット Databricks インスタンスのインスタンス名。
NEW_RELIC_DATABRICKS_ACCESS_TOKEN: 個人アクセストークンを使用して認証するには、個人アクセストークンを使用します。
NEW_RELIC_DATABRICKS_OAUTH_CLIENT_ID: サービスプリンシパルを使用してDatabricks (OAuth M2M) で認証するには、サービスプリンシパルの OAuth クライアント ID が必要です。
NEW_RELIC_DATABRICKS_OAUTH_CLIENT_SECRET: サービスプリンシパルを使用してDatabricks (OAuth M2M) で認証するには、サービスプリンシパルに関連付けられた OAuth クライアントシークレットが必要です。

NEW_RELIC_API_KEYとNEW_RELIC_ACCOUNT_IDは現在使用されていませんが、統合で使用されるnew-relic-client-goモジュールに必要であることに注意してください。

さらに、個人アクセストークンまたは OAuth 資格情報のいずれか一方のみを指定する必要があり、両方を指定する必要はないことに注意してください。両方が指定されている場合は、OAuth 資格情報が優先されます。

最後に、環境変数の設定に従ってクラスターを再起動してください。

アプリケーションメトリクスを監視するために事前に構築された DataBricks ダッシュボードを設定するには、 DataBricks ダッシュボードの説明にアクセスし、指示に従ってください。インストールすると、ダッシュボードにメトリクスが表示されるはずです。

ダッシュボードに関するヘルプが必要な場合は、以下を参照してください。