A integração do New Relic Databricks pode coletar telemetria do Spark em execução no Databricks, bem como de qualquer implantação do Spark que não esteja em execução no Databricks.
Por padrão, a integração se conecta automaticamente e coleta telemetria da implantação do Spark em todos os clusters criados por meio da interface ou API no espaço de trabalho especificado. Esta integração oferece suporte ao recurso de telemetria do Collect Spark.
Configure a integração
Esta integração usa uma ferramenta autônoma do repositório experimental do New Relic. Essa integração pode ser executada em um host ou localmente para testes. Esta integração é executada nestas plataformas de host:
- Linux amd64
- Windows amd64
Dica
Para obter mais informações, consulte o GitHub ReadMe para esta integração.
Implantar no hospedeiro
Para implantar esta integração em um host (exemplo: EC2), siga estas etapas:
Baixe o arquivo apropriado para sua plataforma na versão mais recente.
Extraia o arquivo para um diretório novo ou existente.
Crie um diretório chamado configs no mesmo diretório.
Crie um arquivo chamado
config.ymlno diretório configs e copie o conteúdo do arquivoconfigs/config.template.ymlneste repositório para ele.Edite o arquivo
config.ymlpara configurar a integração adequadamente para seu ambiente.No diretório onde o arquivo foi extraído, execute o binário de integração usando o comando a seguir, copiando quaisquer opções de linha de comando conforme necessário:
$# Linux$ ./newrelic-databricks-integration $ $ # Windows$ .\newrelic-databricks-integration.exeimplantar em um clusterdatabricks
A New Relic integração do Databricks pode ser implantada no nó do driver de um Databricks cluster usando um clusterinit com escopo script. O script de inicialização usa variáveis de ambiente customizadas para especificar o parâmetro de configuração necessário para a configuração de integração.
Para instalar o script init, siga estas etapas:
Faça login na sua conta Databricks e navegue até o espaço de trabalho desejado.
Siga as recomendações do script init para armazenar o script
cluster_init_integration.shno seu espaço de trabalho da maneira recomendada. Por exemplo, se seu espaço de trabalho estiver habilitado para o catálogo Unity, você deverá armazenar o script init em um volume do catálogo Unity.Vá para a aba Compute e selecione o computador multifuncional ou de trabalho desejado para abrir a interface de detalhes do computador.
Clique no botão Edit para editar a configuração do computador.
Siga as etapas para usar a interface do usuário para configurar um script init com escopo de cluster e aponte para o local onde você armazenou o script init na etapa 2 acima.
Se o seu cluster não estiver em execução, clique no botão Confirm para salvar suas alterações. Em seguida, reinicie o cluster. Se o seu cluster já estiver em execução, clique no botão Confirm and restart para salvar suas alterações e reinicie o cluster.
Além disso, siga as etapas para definir variáveis de ambiente para adicionar as seguintes variáveis de ambiente:
NEW_RELIC_API_KEY: Sua chave de API de usuário do New Relic.NEW_RELIC_LICENSE_KEY: Sua chave de licença do New Relic.NEW_RELIC_ACCOUNT_ID: Seu ID de conta New Relic.NEW_RELIC_REGION: A região da sua conta New Relic; EUA ou UE.NEW_RELIC_DATABRICKS_WORKSPACE_HOST: o nome da instância do destino Databricks.NEW_RELIC_DATABRICKS_ACCESS_TOKEN: Para autenticar com um token de acesso pessoal, seu token de acesso pessoal.NEW_RELIC_DATABRICKS_OAUTH_CLIENT_ID: Para usar uma entidade de serviço para autenticação com o Databricks (OAuth M2M), o ID do cliente OAuth para a entidade de serviço.NEW_RELIC_DATABRICKS_OAUTH_CLIENT_SECRET: Para usar uma entidade de serviço para autenticação com o Databricks (OAuth M2M), um segredo de cliente OAuth associado à entidade de serviço.
Dica
Observe que NEW_RELIC_API_KEY e NEW_RELIC_ACCOUNT_ID não estão sendo usados no momento, mas são necessários para o módulonew-relic-client-go usado pela integração.
Além disso, observe que apenas o token de acesso pessoal ou as credenciais do OAuth precisam ser especificados, mas não ambos. Se ambos forem especificados, as credenciais do OAuth terão precedência.
Por fim, certifique-se de reiniciar o cluster seguindo a configuração das variáveis de ambiente.
Instale nosso dashboardde monitoramento DataBricks
Para configurar nosso dashboard DataBricks pré-criado para monitor seu aplicativo métrico, acesse a instalação dashboard DataBricks e siga as instruções. Uma vez instalado, o dashboard deverá exibir o métrica.
Se precisar de ajuda com o painel, consulte:
- Introdução aos dashboards para personalizar seu dashboard e realizar diversas ações.
- Gerencie seu dashboard para ajustar o modo de exibição ou para adicionar mais conteúdo ao dashboard.