Observação
AI applications scanning está atualmente em prévia pública e sujeito a alterações.
O que é o AI applications scanning?
AI applications scanning é um detector que localiza riscos de segurança específicos para aplicativos e agentes de IA. Detecta:
- Injeção de prompt indireto: Quando instruções mal-intencionadas inseridas em conteúdo externo, como documentos, sites ou respostas à API, podem influenciar o comportamento de um modelo.
- Divulgação de informações confidenciais: Quando um aplicativo de IA pode expor informações confidenciais, como credenciais, dados pessoais ou dados comerciais confidenciais.
- Agência excessiva: Quando um aplicativo ou agente de IA tem funcionalidade, permissões ou autonomia excessivas que podem permitir que ele execute ações não intencionais ou prejudiciais.
Esse detector é separado da verificação de código baseada em CodeQL e da Verificação de IA para pull requests, outro detector de verificação de código baseado em IA em pull requests do GitHub. A Verificação de IA para pull requests se concentra em vulnerabilidades de segurança de código tradicionais, enquanto AI applications scanning se concentra em vulnerabilidades específicas a aplicativos e agentes de IA, como injeção de prompt e agência excessiva. Se sua organização desenvolve aplicativos ou agentes de IA, avalie ambos. Para obter mais informações sobre o AI Scan para solicitações de pull, consulte Verificação de IA para solicitações de pull.
Como funciona
AI applications scanning usa uma abordagem de detecção baseada em LLM em vez de CodeQL. Como não depende da análise estática criada para linguagens específicas, ela não tem limitações de linguagem ou framework.
O detector analisa solicitações de pull para padrões de código e fluxos de dados que podem expor aplicativos de IA a injeção de prompt indireto, divulgação de informações confidenciais ou agência excessiva.
As verificações são executadas quando uma pull request é criada e após cada novo commit.
Como as descobertas aparecem em solicitações de pull
As descobertas de AI applications scanning aparecem como comentários de pull request, da mesma forma que outras descobertas de verificação de código. Cada resultado inclui:
- O mesmo rótulo "IA" e o controle de feedback de polegar para cima/para baixo que os resultados do AI Scan para solicitações de pull
- Um botão de fechar
Assim como acontece com a Verificação de IA, essas descobertas são apenas informativas. Eles não impedem que uma pull request seja mergeada.
Copilot Autofix as sugestões são geradas automaticamente para resultados desse detector. Esse comportamento é independente da configuração de Autofix da Verificação de Código, que controla Copilot Autofix para resultados de CodeQL.
Cobertura de detecção
Durante prévia pública, AI applications scanning apenas detecta vulnerabilidades de XPIA (injeção de prompt indireto) em agentes de IA.
Este detector abrange somente pull requests. Ele não faz a varredura de todo o repositório nem da lista de pendências existente em busca de riscos em aplicações de IA.
Assim como acontece com o AI Scan para pull requests, esse detector não é executado em pull requests de forks ou pull requests criados por Dependabot, e suas descobertas não podem ser usadas em conjuntos de regras para impor requisitos de mesclagem.
Como habilitar AI applications scanning
AI applications scanning está desativado por padrão no nível da empresa, da organização e do repositório.
- Empresa: a habilitação é controlada pela política corporativa compartilhada de AI Scan. Os proprietários corporativos podem permitir que as organizações habilitem recursos de verificação de código alimentados por IA, incluindo AI applications scanning. Consulte Como impor políticas para segurança e análise de código na empresa.
- Organização: os proprietários da organização podem habilitar a Verificação de aplicativos de IA para repositórios qualificados onde ela é permitida. Consulte Configurações de segurança globais para sua organização.
- Repositório: os administradores do repositório podem optar por não participar em repositórios individuais assim que a organização permitir.
Se sua organização já tiver a Verificação de IA para solicitações de pull habilitada ou se você estiver migrando da versão prévia privada de AI applications scanning, ainda precisará habilitar separadamente a Verificação para aplicativos de IA no nível da organização. Habilitar a Verificação de IA para pull requests não habilita AI applications scanning, e o inverso também é verdadeiro. Ambos os recursos compartilham a mesma política de nível empresarial, mas as organizações devem habilitar cada uma separadamente.
Billing
O uso AI applications scanning requer uma licença GitHub Advanced Security e consome AI credits além dessa licença. Repositórios públicos elegíveis também estão incluídos nesse requisito de cobrança. Para obter mais informações, consulte GitHub Advanced Security cobrança de licença.