OpenTelemetry pour la surveillance de l’agent

Découvrez comment Copilot les agents effectuent et interagissent avec des modèles et des outils.

Dans cet article

OpenTelemetry (OTel) est un framework d’observabilité open source. Il fournit un moyen standard de collecter des événements et des métriques de télémétrie et de les exporter vers des outils d’observabilité compatibles. Pour plus d’informations, consultez Présentation d’OpenTelemetry sur le site web OTel.

Lorsque vous activez la supervision OTel, vous pouvez envoyer des données des clients des Copilot utilisateurs à un back-end compatible OTel. Cela vous permet d’analyser les sessions d’agent et de comprendre l’utilisation de l’agent dans votre entreprise.

Quelles données Copilot envoie-t-il ?

Copilot envoie trois types de données :

  • Les traces montrent le flux d’une session d’agent et connectent chaque étape, y compris les appels de modèle et l’utilisation de l’outil. Par exemple, une trace peut afficher un agent appelant un modèle, à l’aide de l’outil readFile et appeler à nouveau le modèle pour produire une réponse.
  • Les métriques sont des mesures numériques qui vous aident à identifier les modèles au fil du temps. Par exemple, les métriques d’utilisation des jetons suivent le nombre de jetons d’entrée et de sortie utilisés dans les appels de modèle.
  • Les événements enregistrent des actions individuelles à un point spécifique dans le temps. Par exemple, un événement de commentaires de modification enregistre si un utilisateur a accepté ou rejeté une modification de l’agent.

Par défaut, les données n’incluent pas des attributs directement identifiants, des invites, des réponses, des arguments d’outil, des résultats de l’outil ou des détails bruts de la politique. Les administrateurs d’entreprise peuvent activer indépendamment les classes de capture suivantes via les paramètres gérés :

  • L’identité ajoute le nom du compte authentifié Copilot , le compte de système d’exploitation local et le nom de l’ordinateur. Cela vous permet d’attribuer une activité sans collecter de contenu de conversation ou d’outil.
  • Prompts incluent le contenu de prompt utilisateur, système et développeur, ainsi que l’entrée du modèle associée.
  • Les réponses incluent la réponse de l’Assistant et le contenu de raisonnement pris en charge.
  • Les arguments d’outil incluent des arguments bruts, des commandes, des schémas d’outil et des identificateurs pour les outils, les serveurs MCP, les plug-ins et les hooks.
  • La sortie de l’outil inclut les résultats de l’outil et les détails de l’erreur d’exécution.
  • Les détails de la politique incluent des informations de politique non bornées telles que des chemins bruts du système de fichiers du bac à sable. La posture de politique limitée et les résultats restent disponibles lorsque cette classe est désactivée.

Les contrôles de capture affinés sont pris en charge dans les sessions Copilot CLI, VS Code et GitHub Copilot app utilisant l’hôte de l’agent. Le composant de l’agent local VS Code prend en charge la capture d’identité et le paramètre hérité de capture de contenu tout ou rien, mais n’applique pas indépendamment les cinq classes de capture de contenu.

Le contenu capturé peut contenir des informations sensibles, notamment du code source, du contenu de fichier, des invites utilisateur, des commandes, des résultats de l’outil et des chemins d’accès à l’espace de travail ou au profil utilisateur. Activez uniquement les classes requises pour votre cas d’usage.

Activation d’OpenTelemetry

Pour collecter des données OTel à partir des clients Copilot des utilisateurs :

  1. Configurez un back-end d’observabilité. Choisissez un back-end sécurisé qui prend en charge le protocole OTLP (OpenTelemetry Protocol). Certains back-ends peuvent recevoir des données OTLP directement. Pour d’autres back-ends, déployez un collecteur OpenTelemetry pour recevoir, traiter et transférer les données. Pour des exemples, consultez Utilisation avec des systèmes back-end d’observabilité dans la documentation VS Code.
  2. Configurez les clients des utilisateurs. Définissez les valeurs de configuration pour activer OTel dans chaque client et configurez-le pour envoyer des données à votre point de terminaison OTLP en configurant le point de terminaison, les en-têtes et le jeton d’authentification.
  3. Interpréter les données. Utilisez les données collectées pour analyser les sessions et identifier les tendances. Pour obtenir un exemple d’implémentation, consultez Surveiller les agents de codage IA avec Grafana dans la documentation Microsoft.

Configuration des clients des utilisateurs

Les entreprises peuvent appliquer la configuration OTel sur les clients pris en charge avec des paramètres managés. Les valeurs managées explicites sont prioritaires sur les paramètres locaux, la configuration du SDK et les variables d’environnement. La telemetry propriété inclut des clés permettant d’activer et de router OpenTelemetry et de contrôler indépendamment l’identité et la capture de contenu sensible.

Pour plus d’informations, consultez « Prise en main des paramètres gérés par l’entreprise » et « Paramètres gérés par l’entreprise ».

Documentation du client

Pour plus d’informations sur l’utilisation d’OpenTelemetry sur les clients, consultez :