Monitoring de l’IA eBPF

L’agent eBPF de New Relic étend la même approche sans code et indépendante du langage qu’il utilise pour l’ APM eBPF à la couche IA de votre stack. Une fois l’agent installé, il détecte automatiquement les appels sortants que vos services effectuent vers les fournisseurs de LLM directement depuis le noyau Linux, et rapporte la télémétrie de performance, de coût, et de fiabilité de l’IA générative (GenAI) sans aucun SDK, ni modification de code, ni agent de monitoring de l’IA dédié.

Cette télémétrie apparaît sur la même entité eBPF auto-découverte qui rapporte déjà vos données APM, réseau, et de log, vous offrant une vue unique et unifiée de la santé d’un service ainsi que de son utilisation de l’IA. Ceci est particulièrement utile pour repérer les workloads d’IA générative (GenAI) dont vous ignoriez l’existence : les services tiers, les applications legacy, ou le code que vous ne possédez pas et qui font discrètement appel à un fournisseur de LLM.

Fonctionnalité clé

• Détection d'IA générative (GenAI) sans code: découvre automatiquement les appels sortants vers les fournisseurs de LLM (tels qu'OpenAI, Azure OpenAI, et Amazon Bedrock) au niveau du noyau, sans SDK, bibliothèques wrapper, ou modification de code requise.

• Fonctionne de manière transparente aux côtés de l’APM eBPF: il est fourni avec l’agent eBPF, vous n’avez donc pas besoin de déployer ou de gérer un agent distinct pour commencer à collecter la télémétrie de l’IA générative (GenAI). Vous avez la possibilité d’activer/désactiver le monitoring de workload d’IA eBPF (désactivé par défaut).

• Détection automatique et retrait: supprime sa propre télémétrie d’IA lorsqu’un agent APM de langage est déjà instrumenté et rapporte des données de monitoring de l’IA pour le même service, évitant ainsi les données en double. Il s’agit du même modèle que l’agent eBPF utilise déjà pour les données APM, réseau, et de log.

• Capture facultative du prompt et de la réponse: lorsqu’elle est activée, l’agent capture uniquement les métadonnées de l’IA générative (GenAI), telles que le modèle, le fournisseur, l’utilisation des jetons, la latence, et les erreurs. Un paramètre distinct vous permet de capturer également le contenu complet du prompt et de la complétion lorsque vous en avez besoin pour le débogage, ou le contrôle qualité.

• Vue unifiée de l’entité: la télémétrie de l’IA générative (GenAI) apparaît sur la même entité que votre eBPF APM, vos métriques réseau et vos données de logs, vous n’avez donc pas besoin de faire de corrélation entre plusieurs entités pour comprendre le comportement d’un service.

Fournisseurs de LLM pris en charge

Le monitoring de l’IA eBPF détecte et rapporte actuellement les appels sortants vers ces fournisseurs de LLM :

• Google Gemini
• OpenAI
• Claude Anthropique
• Amazon Bedrock

La détection s’effectue au niveau du noyau, sur la base des appels HTTP que vos services effectuent vers les API de ces fournisseurs, aucun SDK fournisseur, ni bibliothèque client n’est donc requis. Les appels vers d’autres fournisseurs ne sont pas rapportés en tant que télémétrie de l’IA générative (GenAI).

Cas d'utilisation

• Pour les ingénieurs de plateforme: obtenez un inventaire de chaque service de votre environnement qui appelle un fournisseur de LLM, y compris ceux que vous ne possédez pas, ou dont vous ignoriez qu’ils étaient dotés d’IA.

• Pour les équipes avec des workloads opaques ou tiers: monitorez l’utilisation, le coût, et la latence de l’IA générative (GenAI) pour les applications legacy ou les binaires de fournisseurs que vous ne pouvez pas instrument directement.

• Pour la surveillance des coûts et des performances de l’IA: identifiez les appels d’IA générative (GenAI) gourmands en jetons ou lents à répondre dans l’ensemble de votre parc avant de décider où investir dans une instrumentation de monitoring de l’IA plus approfondie, au niveau du code.

• Pour la visibilité sur la sécurité et la conformité: comprenez lesquels de vos services envoient des données à des fournisseurs d’IA externes, afin de pouvoir décider où appliquer des règles d’obfuscation ou de suppression. Reportez-vous à la section Données sensibles et monitoring de l’IA eBPF ci-dessous.

Activer le monitoring de l'IA eBPF

Bien que la fonctionnalité soit désactivée par défaut, vous pouvez l’activer facilement - avec un contrôle distinct pour capturer le contenu complet du prompt et de la réponse, depuis le flux d’installation guidée, ou en modifiant directement la configuration de votre agent.

Installation guidée

Les flux d’installation guidée de l’hôte Linux et de Kubernetes incluent chacun deux commutateurs pour le monitoring de l’IA :

• Enable eBPF AI Monitoring: Active le monitoring de workload d'IA générative (GenAI). Désactivé par défaut.
• Enable recording model inputs and outputs: Capture le contenu complet des messages (prompts et complétions) pour les interactions d’IA générative (GenAI). Désactivé par défaut, et disponible uniquement une fois que Enable eBPF AI Monitoring est activé. À utiliser avec précaution, car cela envoie le texte réel du prompt et de la réponse à New Relic.

Le configurer manuellement

Si vous n’utilisez pas l’installation guidée, définissez ces paramètres dans la configuration de votre agent :

• ai_monitoring.enabled: contrôle le reporting de la télémétrie de l’IA générative (GenAI). Valeurs acceptées : "true" (toujours envoyer), "false" (ne jamais envoyer), "auto" (envoyer uniquement lorsqu’aucun agent APM de langage ou OTel ne rapporte déjà des données de monitoring de l’IA pour l’entité).
• ai_monitoring.genAICaptureMessageContent: lorsque true, capture le contenu complet du prompt et de la complétion pour les interactions d’IA générative (GenAI). Ne prend effet que lorsque ai_monitoring.enabled est true ou auto. Utilisez avec précaution.

Sur les hôtes Linux utilisant le script d’installation, définissez plutôt les variables d’environnement ai_monitoring.enabled et ai_monitoring.genAICaptureMessageContent équivalentes. Cela reflète le modèle déjà utilisé par reportApmData, reportNetworkMetrics, et reportLogs. Pour la liste complète des paramètres, consultez la section des paramètres de configuration du guide d’ installation Linux ou d’ installation Kubernetes.

Consultez vos données de monitoring de l’IA eBPF

Vous pouvez visualiser les données de monitoring de l’IA eBPF dans l’interface utilisateur New Relic APM :

1. Allez à one.newrelic.com > APM & Services.
2. Sélectionnez l’entité eBPF pour le service qui appelle un fournisseur LLM.
3. Cliquez sur AI monitoring dans la navigation de gauche, puis sélectionnez AI traces.

Données sensibles et monitoring de l’IA eBPF

Si vous laissez Enable recording model inputs and outputs désactivé (par défaut), l’agent ne capture jamais le contenu du prompt ou de la complétion, uniquement des métadonnées telles que le modèle, le fournisseur, le nombre de jetons, et la latence. Cela évite d’envoyer en premier lieu du texte de prompt ou de réponse sensible à New Relic.

Si vous activez l’enregistrement parce que vous avez besoin de ce contenu pour le débogage ou l’examen de la qualité, l’obfuscation et la suppression des données pour les informations sensibles ne sont disponibles que via le Gateway de Contrôle de pipeline (PCG) en utilisant le langage de transformation OpenTelemetry (OTTL). Le flux de données direct d’eBPF vers New Relic n’inclut pas d’obfuscation intégrée pour les données de monitoring de l’IA. Contactez votre représentant de compte pour ajouter PCG à votre commande.

Par exemple, cette configuration masque le contenu de complétion capturé à partir d’une interaction d’IA générative (GenAI) (ajustez le nom de l’attribut pour qu’il corresponde à ce que votre agent eBPF rapporte. Consultez la référence des attributs de l’agent eBPF pour connaître les noms exacts des attributs) :

transform/Traces:
  trace_statements:
  - statements:
    - replace_pattern(attributes["gen_ai.completion"], ".+", "***REDACTED***")
    conditions:
    - attributes["gen_ai.completion"] != nil

Cet exemple masque uniquement l’attribut de complétion affiché. Pour des règles d’obfuscation et de suppression supplémentaires ou personnalisables, y compris des règles pour le contenu du prompt, des fournisseurs de modèles spécifiques, ou d’autres attributs, configurez directement le Processeur de transformation OTTL pris en charge par PCG. Reportez-vous à Masquer les PII pour plus d'exemples.

Articles connexes