Lorsque votre entreprise déploie un nouvel outil tel que GitHub Copilot, vous souhaiterez mesurer l’impact de l’outil sur vos systèmes d’ingénierie et évaluer la contribution de l’outil aux objectifs de votre entreprise.
GitHubLe Playbook sur la réussite du système d’ingénierie (ESSP) fournit des stratégies et des métriques pour générer des améliorations significatives et mesurables. Le Playbook recommande un processus en trois étapes pour résoudre les problèmes d’ingénierie :
- Identifiez les obstacles actuels au succès.
- Évaluez ce qui doit être fait pour atteindre vos objectifs.
- Implémentez vos modifications, surveillez les résultats et ajustez.
Définissez vos objectifs
Choisissez un résultat d’ingénierie avant de choisir les Copilot métriques à suivre. Les signaux d’utilisation et d’adoption indiquent uniquement si les utilisateurs utilisent l’outil. Les mesures de résultat de vos systèmes d’ingénierie et commentaires des développeurs vous aident à évaluer si les modifications souhaitées se produisent.
Commencez par un ou deux objectifs et communiquez-les à vos équipes. Enregistrez une ligne de base avant de modifier votre déploiement. Utilisez les conseils existants pour chaque objectif pour planifier la formation et sélectionner des mesures de résultats.
Les signaux d’utilisation n’indiquent pas si une interaction particulière a produit un test, résolu une vulnérabilité ou empêché un incident. Utilisez-les pour comprendre l’adoption en même temps que vos mesures de résultat, et non comme substitut de ces mesures. Par exemple, le code généré en plus ne garantit pas une meilleure couverture de test, et un taux d’acceptation plus élevé ne garantit pas la qualité du code ou la satisfaction des développeurs.
Augmenter la couverture de tests
Si les lacunes dans les tests retardent les versions ou réduisent la confiance, effectuez le suivi de la couverture de ligne et de branche à partir de vos rapports d’intégration continue. Suivez également le temps consacré à l’écriture de tests et le niveau de confiance du développeur. Comparez ces résultats avec les tendances d’utilisation du chat et des agents parmi les équipes participantes. Consultez « Augmentation de la couverture des tests dans votre entreprise avec GitHub Copilot ».
Accélérer les demandes de tirage
Si les retards de révision ralentissent la livraison, effectuez le suivi du délai de traitement des pull requests et des cycles de révision, tout en vérifiant les défauts après le déploiement. Utilisez des cohortes d’adoption, des pull requests fusionnées par utilisateur et le temps de fusion dans le tableau de bord d’impact pour explorer la façon dont l’adoption est liée à la livraison. Consultez « Accélérer les pull requests dans votre entreprise avec GitHub Copilot ».
Réduire la dette de sécurité
Si des vulnérabilités non résolues s’accumulent, suivez le backlog des alertes de sécurité et le temps de correction dans la vue d’ensemble de la sécurité. Envisagez d’examiner les tendances d’utilisation de l’agent et de la revue de code parmi les équipes travaillant sur la correction en même temps que ces résultats. Consultez « Réduction de la dette de sécurité dans votre entreprise avec GitHub Copilot ».
Améliorer la qualité du code
Si les problèmes de maintenance ou de fiabilité augmentent, passez en revue l’intégrité du code au niveau de l’organisation et les observations ouvertes au fil du temps dans Code Quality. Comparez-les aux tendances d’adoption et d’utilisation des fonctionnalités parmi les équipes travaillant sur ces problèmes. Consultez « Exploration des résultats de la qualité du code GitHub dans votre organisation ».
Conservez la cohérence de l’ensemble des dépôts analysés. Le nombre de résultats ouverts peut changer lorsque l’analyse est activée sur plusieurs référentiels ou lorsque des résultats sont ignorés, et non seulement lorsque le code est amélioré.
Réduire les incidents de production
Si le travail de refactorisation et de maintenance vise à améliorer la stabilité, suivez les incidents de production liés au code refactorisé à l’aide de vos enregistrements d’incidents. Passez en revue ces résultats en même temps que les tendances d’utilisation des équipes qui utilisent Copilot pour ce travail. Consultez « Utilisation de GitHub Copilot pour réduire la dette technique ».
Améliorer l’expérience des développeurs
Si votre objectif est de réduire les frictions dans le flux de travail, rassemblez des commentaires sur l’utilité, la confiance et la satisfaction par le biais d’enquêtes ou de rétrospectives. Utilisez les tendances d’utilisation continue, l’adoption des fonctionnalités et les tendances du taux d’acceptation pour identifier les questions à explorer avec les développeurs, plutôt que de déduire la satisfaction de l’activité seule. Consultez « Mesure du succès d’un essai copilot GitHub ».
Comparer les résultats de manière responsable
Utilisez la même approche de comparaison chaque fois que vous passez en revue la progression :
-
Aligner la portée et la période. Comparez l’utilisation et les résultats pour les mêmes équipes et les mêmes dates de reporting. Enregistrez les référentiels et les outils inclus et conservez les définitions de métriques cohérentes avec votre base de référence.
Le tableau de bord d’impact compare les utilisateurs dans différentes cohortes d’adoption, pas les mêmes utilisateurs avant et après l’adoption. Les différences entre les cohortes peuvent refléter leur travail ou leur expérience, ainsi que leur utilisation de Copilot. Consultez « Interprétation des métriques d’utilisation et d’adoption pour GitHub Copilot ».
-
Vérifiez ce qui a changé d’autre. Enregistrez les changements de dotation, de complexité du projet, de planification des mises en production, de formation ou de pratiques d’ingénierie. Celles-ci peuvent affecter les résultats indépendamment de Copilot.
-
Vérifiez la qualité sans sacrifier la rapidité. Si les pull requests sont fusionnées plus rapidement, examinez également les défauts, les incidents et les commentaires des développeurs. L’augmentation de la production seule n’établit pas d’amélioration des résultats d’ingénierie.
-
Analysez avant d’attribuer les résultats. Passez en revue les tendances sur plusieurs périodes et demandez aux équipes comment elles ont utilisé Copilot. Décrivez les modifications observées en tant qu’associations, sauf si vous avez des preuves supplémentaires qui prennent en charge une conclusion causale.
Utilisez les résultats combinés pour choisir une action suivante. Par exemple, si la couverture des tests reste inchangée malgré une utilisation croissante, demandez aux équipes si elles utilisent Copilot pour écrire des tests. Résolvez les obstacles de formation ou de flux de travail avant d’étendre cette approche.