Что такое карточка приложения?
GitHub’s application and platform cards are intended to help you understand how our AI technology works, the choices application owners can make that influence application performance and behavior, and the importance of considering the whole application, including the technology, the people, and the environment. Application cards are created for AI applications and platform cards are created for AI platform services. These resources can support the development or deployment of your own applications and can be shared with users or stakeholders impacted by them.
As part of its commitment to responsible AI, GitHub adheres to Microsoft's six core principles: fairness, reliability and safety, privacy and security, inclusiveness, transparency, and accountability. These principles are embedded in the Responsible AI Standard, which guides teams in designing, building, and testing AI applications. Application and Platform Cards play a key role in operationalizing these principles by offering transparency around capabilities, intended uses, and limitations. For further insight, readers are encouraged to explore Microsoft’s Responsible AI Transparency Report and Условия GitHub.
Для GitHub Enterprise Serverэтого карточка приложения применяется только к универсальному обнаружению secret scanningсекретов.
1. Обзор
Эта карточка приложения охватывает следующие возможности:
- Общее обнаружение секретов: использует модель для выявления неструктурированных секретов в исходном коде, которые не может обнаружить детерминированное сопоставление шаблонов.
Универсальное обнаружение секретных секретов при сканировании секретов — это расширение секретного сканирования на базе искусственного интеллекта, которое выявляет неструктурированные секреты в исходном коде или других поверхностях GitHub и генерирует оповещения. Пользователи GitHub Secret Protection и GitHub Advanced Security уже могут получать уведомления о секретном сканировании на наличие партнёрских или пользовательских шаблонов в их исходном коде, но неструктурированные секреты не так просто обнаружить. Секретное сканирование использует модели для идентификации этих секретов. При обнаружении обнаружения оно отображается в «Общем» списке секретных оповещений о сканировании (во вкладке » репозитория, организации или предприятия), чтобы сопровождающие и менеджеры по безопасности могли просмотреть оповещение и, при необходимости, удалить учетные данные или внедрить исправление. Для обычного обнаружения секретов не требуется подписка на GitHub Copilot.
Основным поддерживаемым языком функций безопасности ИИ в GitHub Code Security является английский.
2. Ключевые термины
Следующий список содержит глоссарий ключевых терминов, связанных с функциями AI Security в GitHub Code:
- Обнаружение ИИ для секретного сканирования: возможности на базе ИИ, расширяющие секретное сканирование, включая универсальное обнаружение секретов. Не требуется подписка на GitHub Copilot.
- Общее обнаружение секретов: идентификация ИИ неструктурированных секретов (например, паролей), которые не покрыты партнёрскими или пользовательскими шаблонами. Общее обнаружение секретов использует модели для сканирования строк, похожих на пароли, в исходном коде.
3. Ключевые функции или возможности
Основные функции и возможности, описанные здесь, описывают, для чего предназначены функции GitHub Code Security AI и как они работают в поддерживаемых задачах.
- Обнаружение паролей на базе искусственного интеллекта: универсальное обнаружение секретов в Secret scanning сканирует содержимое репозитория с помощью ИИ для выявления неструктурированных секретов (таких как пароли), которые не может найти детерминированное сопоставление шаблонов. Обнаруженные секреты отображаются в виде оповещений в списке оповещений о проверке секретов на вкладке ".
4. Предполагаемое использование
Функции AI безопасности GitHub Code могут использоваться в различных сценариях в различных отраслях. Ниже приведены некоторые примеры вариантов использования:
- Обнаружение утечек паролей в исходном коде: используйте универсальное обнаружение секретов для поиска неструктурированных секретов в репозиториях, которые не подпадают под паттерны сканирования партнёров и пользовательских секретов.
- Сортировка учетных данных с контекстными оповещениями: При обнаружении пароля в списке оповещений отображается уведомление с контекстом обнаружения ИИ, что позволяет сопровождающим и менеджерам по безопасности проверить результат и принять меры.
5. Модели и обучающие данные
Универсальное обнаружение секретов использует модели для поиска неструктурированных секретов.
6. Производительность
Обнаружение секрета ИИ обрабатывает вводные данные и выводы следующим образом:
- Обработка ввода: Ввод ограничен текстом (обычно кодом), который пользователь проверил в репозитории. Система предоставляет этот текст модели вместе с мета-подсказкой, в которой просит модель найти неструктурированные секреты в пределах входных данных. Пользователь не взаимодействует с моделью напрямую. Для подтверждения одного результата может использоваться несколько моделей.
- Анализ модели: модель сканирует строки, напоминающие неструктурированные секреты, такие как пароли.
- Генерация отклика: Модель проверяет, что идентифицированные строки, включённые в ответ, действительно существуют во входе.
- Форматирование выхода: обнаруженные строки отображаются в виде уведомлений на странице секретного сканирования в отдельном списке от обычных уведомлений о секретном сканировании. Каждое оповещение отмечает, что оно было обнаружено ИИ. Для получения информации о том, как просматривать оповещения о общих секретах, смотрите Просмотр и фильтрация оповещений из секретного сканирования.
7. Ограничения
Понимание ограничений функций AI в GitHub Code Security крайне важно для определения их использования в безопасных и эффективных рамках. Хотя мы призываем клиентов использовать функции GitHub Code Security AI в своих инновационных решениях или приложениях, важно отметить, что функции GitHub Code Security AI не были разработаны для всех возможных сценариев. Мы рекомендуем пользователям обращаться к Условия GitHub , а также к следующим аспектам при выборе сценария использования:
Ограничения, специфичные для обнаружения секретов с помощью ИИ
- Неполная отчетность: обнаружение секретов ИИ может упускать случаи внесения учетных данных в репозиторий. Обнаружение секретов с помощью ИИ со временем будет улучшаться. Вы сохраняете конечную ответственность за обеспечение безопасности кода.
- Тестовый код: Обнаружение секретов ИИ может не обнаруживать секреты в тестовом коде. Секретное сканирование пропускает обнаружение при выполнении определённых условий, таких как:
- Путь файла содержит «test», «mock» или «spec»
- Расширение файла:
.cs,.go``.java``.js``.kt``.php``.py``.rb``.scala,.swiftили ..ts
8. Оценки
Оценки производительности и безопасности оценивают, работают ли приложения ИИ надежно и безопасно, путем изучения таких факторов, как обоснованность, релевантность и согласованность, при выявлении рисков создания вредоносного содержимого. Следующие оценки проводились с уже существующими компонентами безопасности, которые также описаны в статье 9. Компоненты безопасности и меры по снижению последствий.
Оценки рисков и безопасности
Оценка потенциальных рисков, связанных с содержимым, созданным СИ, имеет важное значение для защиты от рисков содержимого с разной степенью серьезности. Это включает в себя оценку склонности приложения ИИ к созданию вредоносного содержимого или тестирование уязвимостей к атакам по джейлбрейкам. Для GitHub мы проводим оценку эффективности, включая те, которые адаптированы для кодирования из Microsoft Foundry:
- Ненависть и несправедливость
- Сексуальный
- Насилия
- Причинение себе вреда
- Защищаемый материал
- Джейлбрейк
- Уязвимость кода
Оценка данных о качестве и безопасности
Наши оценочные данные специально созданы для оценки производительности приложений ИИ в ключевых областях безопасности и качества, имитируя реальные сценарии и риски. Начнем с выявления соответствующих аспектов оценки озабоченности на основе многодисциплинарных исследований и экспертных данных. Эти проблемы превратятся в целевые цели оценки и руководство по разработке метрик оценки. Для safety мы создаём состязательные подсказки для получения нежелательных или редких ответов, которые затем оцениваются с помощью аннотаторов с помощью ИИ, обученных оценивать соответствие стандартам GitHub. Для обеспечения качества мы создаем запросы на основе рубрик, относящиеся к сценариям, включая оценку приложений и агентов для получения дополненного поколения (RAG). Наборы данных курируются из различных источников, включая синтетические и общедоступные наборы данных для имитации реальных сценариев пользователей. Используя проверенные наборы данных, оба оценочных процесса проходят итеративное уточнение и согласование с учетом человеческого фактора для обеспечения эффективности и надежности метрик. Эта методология лежит в основе повторяемых, строгих оценок, отражающих то, как клиенты используют оценки для создания более качественного ИИ.
Пользовательские оценки
Обнаружение секретов ИИ подвергается ответственной AI Red Teaming, и GitHub продолжает отслеживать эффективность и безопасность этой функции со временем.
9. Компоненты безопасности и меры по устранению рисков
- цикл ложноположительной обратной связи: Когда пользователи закрывают общее уведомление о секретном обнаружении и отмечают причину как «ложноположительный», GitHub использует количество ложноположительных результатов для улучшения модели. GitHub не имеет доступа к самим секретным литералам.
10. Лучшие практики развертывания и внедрения функций GitHub Code Security AI
Ответственный ИИ — это общее обязательство между GitHub и его клиентами. Хотя GitHub создаёт AI-приложения, основанные на безопасности, справедливости и прозрачности, клиенты играют ключевую роль в разворачивании и ответственном использовании этих технологий в собственных условиях. Чтобы поддержать это партнерство, мы предлагаем следующие рекомендации для разработчиков развертывания и конечных пользователей, которые помогут клиентам эффективно реализовать ответственный ИИ.
-
Будьте осторожны и оценивайте результаты при использовании функций GitHub Security AI для важных решений или в чувствительных областях: Последствия — это те, которые могут оказать юридические или значительные последствия на доступ человека к образованию, трудоустройству, финансовым платформам, государственным льготам, здравоохранению, жилищному обеспечению, страхованию, юридическим платформам, либо которые могут привести к физическому, психологическому или финансовому ущербу. Конфиденциальные домены, такие как финансовые платформы, здравоохранение и жилье, требуют особого ухода из-за потенциального непропорционального влияния на различные группы людей. При использовании ИИ для принятия решений в этих областях убедитесь, что затронутые заинтересованные лица могут понять, как принимаются решения, обжаловать решения и обновить все соответствующие входные данные.
-
Оцените юридические и регуляторные аспекты: Клиентам необходимо оценивать возможные конкретные юридические и регуляторные обязательства при использовании любых платформ и решений на базе ИИ, которые могут быть неподходящими для использования в каждой отрасли или сценарии. Кроме того, платформы или решения ИИ не предназначены для и могут не использоваться способами, запрещенными в применимых условиях обслуживания и соответствующих кодексах поведения.
-
Правильно закрывайте ложноположительные предупреждения: поскольку обнаружение секретов с помощью ИИ может генерировать больше ложных срабатываний, чем обнаружение паттернов партнёром, проверьте точность каждого оповещения. Когда вы проверяете предупреждение как ложноположительный, закройте его и отметьте причину как «ложноположительный» в интерфейсе GitHub. Эта обратная связь помогает улучшить модель.
-
Выполнение контроля над человеком при необходимости: надзор за человеком является важной защитой при взаимодействии с приложениями искусственного интеллекта. В то время как мы постоянно совершенствуем наши приложения ИИ, ИИ по-прежнему может ошибаться. Созданные выходные данные могут быть неточными, неполными, предвзятыми, несоответственными или не имеющими отношения к поставленным целям. Это может произойти по различным причинам, таким как неоднозначность входных данных или ограничения базовых моделей. Поэтому пользователям следует просматривать ответы, генерируемые функциями GitHub Code Security AI, и проверять, что они соответствуют их ожиданиям и требованиям.
-
Будьте осведомлены о риске чрезмерной зависимости: Чрезмерная зависимость от ИИ возникает, когда пользователи принимают некорректные или неполные результаты ИИ, главным образом потому, что ошибки в результатах ИИ трудно обнаружить. Для конечного пользователя чрезмерная зависимость может привести к снижению производительности, потере доверия, отказу от заявки, финансовым потерям, психологическому ущербу, физическому ущербу и т. д. (например, врач принимает неверные выходные данные ИИ).
-
Будьте осторожны при проектировании агентного ИИ в чувствительных областях: Пользователям следует проявлять осторожность при проектировании и/или внедрении агентных AI-приложений в чувствительных областях, где действия агентов необратимы или имеют весьма значимые последствия. Дополнительные меры предосторожности также должны быть приняты при создании автономного агентного ИИ, как подробно описано в AUTOTITLE.
-
Оценка ложноположительного объёма для секретного обнаружения: Оценка ложноположительного объёма и установление процессов сортировки для списка оповещений.
11. Узнайте больше о функциях GitHub Security AI
Для получения дополнительных рекомендаций по ответственному использованию функций Security AI GitHub мы рекомендуем ознакомиться со следующей документацией:
- Условия GitHub для дополнительных продуктов и функций
- Сканирование секретов
- Включение сканирования обнаруженных ИИ секретов
- Управление оповещениями проверки секретов
- Применение политик безопасности кода и анализа для вашего предприятия