La integración de New Relic con Databricks puede recopilar telemetría de Spark que se ejecuta en Databricks, así como de cualquier implementación de Spark que no se ejecute en Databricks.
De forma predeterminada, la integración se conecta automáticamente y recopila telemetría del despliegue de Spark en todos los clústeres creados a través de la UI o API en el espacio de trabajo especificado. Esta integración admite la capacidad de telemetría de Collect Spark.
Configurar la integración
Esta integración emplea una herramienta independiente del repositorio experimental New Relic . Esta integración se puede ejecutar en un host o localmente para realizar pruebas. Esta integración se ejecuta en estas plataformas host:
- Linux amd64
- Ventanas amd64
Sugerencia
Para obtener más información, consulte el archivo ReadMe de GitHub para esta integración.
Desplegar en el host
Para implementar esta integración en un host (ejemplo: EC2), siga estos pasos:
Descargue el archivo apropiado para su plataforma desde la última versión.
Extraiga el archivo a un directorio nuevo o existente.
Crea un directorio llamado configs en el mismo directorio.
Cree un archivo llamado
config.ymlen el directorio de configuraciones y copie en él el contenido del archivoconfigs/config.template.ymlde este repositorio.Edite el archivo
config.ymlpara configurar la integración adecuadamente para su entorno.Desde el directorio donde se extrajo el archivo, ejecute el binario de integración empleando el siguiente comando copiando cualquier opción de línea de comando según sea necesario:
$# Linux$ ./newrelic-databricks-integration $ $ # Windows$ .\newrelic-databricks-integration.exeDesplegar en un clúster de databricks
La integración New Relic con Databricks se puede implementar en el nodo controlador de un clúster Databricks usando un script de inicio con ámbito de clúster. El script de inicio emplea variables de entorno personalizadas para especificar el parámetro de configuración necesario para la configuración de integración.
Para instalar el script de inicio, siga estos pasos:
Inicie sesión en su cuenta de Databricks y navegue hasta el espacio de trabajo deseado.
Siga las recomendaciones del script de inicio para almacenar el script
cluster_init_integration.shdentro de su espacio de trabajo de la manera recomendada. Por ejemplo, si su espacio de trabajo está habilitado para el catálogo de Unity, debe almacenar el script de inicio en un volumen del catálogo de Unity.Vaya a la pestaña Compute y seleccione el calcular multipropósito o de trabajo deseado para abrir la UI de detalles de Calcular.
Haga clic en el botón Edit para editar la configuración del calcular.
Siga los pasos para usar la UI para configurar un scriptde inicio con ámbito de clúster y señalar la ubicación donde almacenó el script de inicio en el paso 2 anterior.
Si su clúster no está en ejecución, haga clic en el botón Confirm para almacenar los cambios. Luego, resetear el clúster. Si su clúster ya está en ejecución, haga clic en el botón Confirm and restart para almacenar los cambios y resetear el clúster.
Además, siga los pasos para configurar las variables de entorno para agregar las siguientes variables de entorno:
NEW_RELIC_API_KEY: Su New Relic clave de usuario API.NEW_RELIC_LICENSE_KEY:Su clave de licencia de New Relic.NEW_RELIC_ACCOUNT_ID:Su ID de cuenta de New Relic.NEW_RELIC_REGION:La región de su cuenta New Relic; una de EE. UU. o la UE.NEW_RELIC_DATABRICKS_WORKSPACE_HOST: el nombre de la instancia de Databricks de destino.NEW_RELIC_DATABRICKS_ACCESS_TOKEN:Para autenticar con un token de acceso personal, su token de acceso personal.NEW_RELIC_DATABRICKS_OAUTH_CLIENT_ID:Para emplear una entidad de servicio para autenticar con Databricks (OAuth M2M), el ID de cliente OAuth para la entidad de servicio.NEW_RELIC_DATABRICKS_OAUTH_CLIENT_SECRET:Para emplear una entidad de servicio para autenticar con Databricks (OAuth M2M), un secreto de cliente OAuth asociado con la entidad de servicio.
Sugerencia
Tenga en cuenta que NEW_RELIC_API_KEY y NEW_RELIC_ACCOUNT_ID no se emplean actualmente, pero son requeridos por el módulonew-relic-client-go empleado por la integración.
Además, tenga en cuenta que solo es necesario especificar el token de acceso personal o las credenciales OAuth, pero no ambos. Si se especifican ambos, las credenciales de OAuth tienen prioridad.
Por último, cerciorar de resetear el clúster siguiendo la configuración de las variables de entorno.
Instala nuestro dashboardde monitoreo DataBricks
Para configurar nuestro dashboard DataBricks prediseñado para monitor su aplicación métrica, vaya a la instalación dashboard DataBricks y siga las instrucciones. Una vez instalado, el dashboard debería mostrar métrica.
Si necesita ayuda con el panel de control, consulte:
- Introducción al panel para personalizar tu dashboard y realizar diferentes acciones.
- Administre su dashboard para ajustar su modo de visualización o para agregar más contenido a su dashboard.