Примечание.
AI applications scanning в настоящее время находится и Публичный предварительный просмотр может измениться.
Что такое AI applications scanning?
AI applications scanning — это детектор, который находит риски безопасности, относящиеся к приложениям и агентам ИИ. Он обнаруживает:
- Внедрение косвенного запроса: Если вредоносные инструкции, внедренные во внешний контент, такие как документы, веб-сайты или ответы API, могут повлиять на поведение модели.
- Раскрытие конфиденциальной информации: Когда приложение ИИ может предоставлять конфиденциальную информацию, например учетные данные, персональные данные или конфиденциальные бизнес-данные.
- Чрезмерное агентство: Если приложение или агент ИИ имеет чрезмерную функциональность, разрешения или автономию, которые могут позволить ему выполнять непреднамеренные или опасные действия.
Этот детектор отличается от CodeQLсканирования кода на основе и от сканирования ИИ для запросов на вытягивание, GitHubа также других детекторов сканирования кода на основе искусственного интеллекта на запросах на вытягивание. Сканирование ИИ для запросов на вытягивание фокусируется на традиционных уязвимостях безопасности кода, в то время AI applications scanning как фокусируется на уязвимостях, характерных для приложений и агентов ИИ, таких как внедрение запросов и чрезмерное агентство. Если ваша организация создает приложения или агенты ИИ, оцените оба. Дополнительные сведения о сканировании ИИ для запросов на вытягивание см. в разделе Сканирование ИИ для запросов на вытягивание.
Принцип работы
AI applications scanning вместо этого CodeQLиспользуется подход обнаружения на основе LLM. Так как он не зависит от статического анализа, созданного для определенных языков, он не имеет ограничений языка или платформы.
Детектор анализирует запросы на вытягивание для шаблонов кода и потоков данных, которые могут предоставлять приложения ИИ для косвенного внедрения запросов, раскрытия конфиденциальной информации или чрезмерного агентства.
Выполняется сканирование при создании запроса на вытягивание и после каждой новой фиксации.
Как результаты отображаются в запросах на вытягивание
AI applications scanning Результаты отображаются как комментарии запроса на вытягивание, так же, как и другие результаты сканирования кода. Каждый поиск включает в себя:
- Та же метка ИИ и отпечаток вверх/вниз, что и результаты проверки ИИ для запросов на вытягивание
- Кнопка "Закрыть"
Как и при сканировании ИИ, эти результаты являются консультативными. Они не блокируют объединение запроса на вытягивание.
Copilot Autofix предложения создаются автоматически для результатов этого детектора. Это поведение не зависит от параметра автофикса сканирования кода, который управляет Copilot Autofix результатами CodeQL .
Покрытие обнаружения
Во время Публичный предварительный просмотробнаружения AI applications scanning уязвимостей непрямого ввода запросов (XPIA) в агентах ИИ.
Этот детектор охватывает только запросы на вытягивание. Он не сканирует полный репозиторий или существующую невыполненную работу по рискам приложений ИИ.
Как и при сканировании ИИ для запросов на вытягивание, этот детектор не выполняется при запросах на вытягивание из вилок или запросов на вытягивание, созданных Dependabotими, и его выводы не могут использоваться в наборе правил для применения требований к слиянию.
Включение AI applications scanning
AI applications scanning по умолчанию отключен на уровне предприятия, организации и репозитория.
- Корпоративная: включение управляется общей политикой проверки ИИ корпоративной политики. Владельцы предприятия могут разрешить организациям включить функции сканирования кода на основе искусственного интеллекта, в том числе AI applications scanning. См . раздел AUTOTITLE.
- Организация: владельцы организации могут включить сканирование приложений ИИ для подходящих репозиториев, где это разрешено. См . раздел AUTOTITLE.
- Репозиторий: администраторы репозитория могут отказаться от отдельных репозиториев после того, как организация разрешает ее.
Если в вашей организации уже включена проверка ИИ для запросов на вытягивание или вы переходите из частной предварительной версии AI applications scanning, вам по-прежнему необходимо отдельно включить сканирование приложений ИИ на уровне организации. Включение проверки ИИ для запросов на вытягивание не включается AI applications scanning, а обратный вариант также имеет значение true. Обе функции используют одну и ту же политику корпоративного уровня, но организации должны включить каждую из них отдельно.
Billing
Использование AI applications scanning требует GitHub Advanced Security лицензии и используется AI credits поверх этой лицензии. Допустимые общедоступные репозитории также включены в это требование выставления счетов. Дополнительные сведения см. в разделе GitHub Advanced Security Выставление счетов за лицензии.