Когда ваша компания запускает новый инструмент, например GitHub Copilot, вы захотите измерить влияние этого инструмента на инженерные системы и оценить его вклад в достижение целей вашей компании.
GitHub Руководство по успеху инженерных систем (ESSP) предлагает стратегии и метрики для достижения значимых и измеримых улучшений. Сборник схем рекомендует трехэтапный процесс решения инженерных задач:
- Определите текущие барьеры для успеха.
- Оцените, что необходимо сделать для достижения ваших целей.
- Реализуйте изменения, отслеживайте результаты и корректируйте их.
Определяйте свои цели
Выберите результаты проектирования, прежде чем решать, какие Copilot метрики следует отслеживать. Сигналы об использовании и внедрении показывают, используются ли пользователи. Меры результатов от инженерных систем и отзывов разработчиков помогают оценить, происходят ли изменения, которые вы хотите на самом деле.
Начните с одной или двух целей и сообщите им своим командам. Запишите базовый план перед изменением развертывания. Используйте существующие рекомендации для каждой цели, чтобы спланировать обучение и выбрать меры результатов.
Сигналы об использовании не определяют, производится ли определенное взаимодействие с тестом, исправлена уязвимость или не удалось предотвратить инцидент. Используйте их для понимания внедрения вместе с результатами мер, а не в качестве замены этих мер. Например, более созданный код не устанавливает лучшее покрытие тестов, и более высокая частота принятия не устанавливает качество кода или удовлетворенность разработчика.
Увеличение охвата тестов
Если пробелы в тестировании задерживают выпуски или снижают достоверность, отслеживайте покрытие строк и ветвей из отчетов непрерывной интеграции. Также отслеживайте время, затраченное на написание тестов и уверенность разработчика. Сравните эти результаты с тенденциями использования чата и агента среди участвующих команд. См . раздел AUTOTITLE.
Ускорение запросов на вытягивание
Если задержки проверки замедляют доставку, отслеживайте время выполнения запроса на вытягивание и циклы проверки при проверке дефектов после развертывания. Используйте кохорты внедрения, запросы на вытягивание, объединенные на пользователя, и время слияния на панели мониторинга влияния, чтобы изучить, как внедрение связано с доставкой. См . раздел AUTOTITLE.
Сокращение задолженности по обеспечению безопасности
Если неразрешенные уязвимости накапливаются, отслеживайте невыполненный журнал оповещений системы безопасности и время, чтобы устранить их в обзоре безопасности. Рассмотрим тенденции использования агента и кода среди команд, работающих над исправлением вместе с этими результатами. См . раздел AUTOTITLE.
Улучшение качества кода
Если проблемы с поддержкой или надежностью увеличиваются, просмотрите работоспособность кода на уровне организации и откройте результаты с течением времени Code Quality. Сравните их с тенденциями внедрения и использования функций среди команд, работающих над этими проблемами. См . раздел AUTOTITLE.
Сохраняйте согласованность наборов проанализированных репозиториев. Открытые счетчики поиска могут изменяться, если анализ включен в большей версии репозиториев или выводов, не только при улучшении кода.
Сокращение рабочих инцидентов
Если рефакторинг и обслуживание направлены на повышение стабильности, отслеживайте инциденты производства, связанные с рефакторингом кода с помощью записей инцидентов. Просмотрите эти результаты вместе с тенденциями использования среди команд, использующих Copilot для этой работы. См . раздел AUTOTITLE.
Улучшение возможностей разработчика
Если ваша цель заключается в сокращении трения рабочих процессов, сбор отзывов о полезности, доверии и удовлетворенности с помощью опросов или ретроспектив. Используйте устойчивые тенденции использования, внедрения функций и частоты принятия, чтобы определить вопросы для изучения с разработчиками, а не выводить удовлетворение от активности только. См . раздел AUTOTITLE.
Сравнение результатов ответственно
Используйте один и тот же подход сравнения при каждом просмотре хода выполнения:
-
Выравнивание области и периода. Сравните использование и результаты для одной и той же команды и дат отчетности. Запишите репозитории и средства, включенные, и сохраняйте определения метрик в соответствии с базовыми показателями.
Панель мониторинга влияния сравнивает пользователей в различных кохортах внедрения, а не одни и те же пользователи до и после внедрения. Различия между когортами могут отражать свою работу или опыт, а также их использование Copilot. См . раздел AUTOTITLE.
-
Проверьте, что еще изменилось. Запишите изменения в персонале, сложности проекта, расписания выпуска, учебные курсы или инженерные методики. Они могут влиять на результаты независимо от Copilot.
-
Проверьте качество вместе со скоростью. Если запросы на вытягивание объединяются быстрее, также просмотрите дефекты, инциденты и отзывы разработчиков. Увеличение выходных данных в одиночку не приводит к улучшению инженерных результатов.
-
Проанализируйте перед указанием результатов. Просмотрите тенденции в течение нескольких периодов и попросите команды о том, как они использовались Copilot. Опишите наблюдаемые изменения как ассоциации, если у вас нет дополнительных доказательств, поддерживающих причинное заключение.
Используйте объединенные выводы, чтобы выбрать следующее действие. Например, если покрытие тестов не изменилось, несмотря на растущее использование, попросите команды, используют Copilot ли они для написания тестов. Перед расширением этого подхода обратитесь к любым барьерам обучения или рабочего процесса.