Hinweis
AI applications scanning ist derzeit in Öffentliche Vorschau und kann geändert werden.
Was ist AI applications scanning?
AI applications scanning ist ein Detektor, der Sicherheitsrisiken für KI-Anwendungen und Agenten findet. Es erkennt Folgendes:
- Indirekte Prompt-Injection: Wenn böswillige Anweisungen, die in externe Inhalte eingebettet sind, z. B. Dokumente, Websites oder API-Antworten, das Verhalten eines Modells beeinflussen können.
- Offenlegung vertraulicher Informationen: Wenn eine KI-Anwendung vertrauliche Informationen verfügbar machen kann, z. B. Anmeldeinformationen, personenbezogene Daten oder vertrauliche Geschäftsdaten.
- Übermäßige Handlungsfähigkeit: Wenn eine KI-Anwendung oder ein Agent über übermäßige Funktionen, Berechtigungen oder Autonomie verfügt, die es ermöglichen könnten, unbeabsichtigte oder schädliche Aktionen auszuführen.
Dieser Detektor ist getrennt von der CodeQL-basierten Codeüberprüfung und von AI Scan für Pull Requests, GitHubdem anderen KI-basierten Detektor für die Codeüberprüfung bei Pull Requests. KI-Scan für Pull Requests konzentriert sich auf herkömmliche Codesicherheitsrisiken, während AI applications scanning sich auf Sicherheitsrisiken konzentriert, die speziell für KI-Anwendungen und -Agenten gelten, wie z. B. Prompt-Injection und übermäßige Handlungsautonomie. Wenn Ihre Organisation KI-Anwendungen oder Agents erstellt, bewerten Sie beide. Weitere Informationen zum KI-Scan für Pull Requests finden Sie unter KI-Scan für Pull-Anforderungen.
Funktionsweise
AI applications scanning verwendet einen LLM-basierten Erkennungsansatz anstelle von CodeQL. Da sie nicht auf statischen Analysen beruht, die für bestimmte Sprachen entwickelt wurden, gibt es keine Sprach- oder Frameworkeinschränkungen.
Der Detektor analysiert Pull Requests auf Codemuster und Datenflüsse, die KI-Anwendungen indirekter Prompt-Injection, Offenlegung vertraulicher Informationen oder übermäßiger Handlungsautonomie aussetzen können.
Scans werden ausgeführt, wenn ein Pull Request erstellt wird und nach jedem neuen Commit.
Wie Ergebnisse in Pull Requests angezeigt werden
Ergebnisse aus AI applications scanning erscheinen als Pull-Request-Kommentare, genauso wie andere Codescanergebnisse. Jeder Befund enthält:
- Das gleiche „AI“-Etikett und die Feedback-Schaltfläche für Daumen hoch/runter wie Erkenntnisse von AI Scan für Pull Requests
- Schaltfläche „Ausblenden“
Wie bei AI Scan sind diese Ergebnisse beratend. Sie verhindern nicht, dass ein Pull Request zusammengeführt wird.
Copilot Autofix Vorschläge werden automatisch für Ergebnisse aus diesem Detektor generiert. Dieses Verhalten ist unabhängig von der Autofixeinstellung für die Codeüberprüfung, die CodeQL für Copilot Autofix-Ergebnisse steuert.
Erfassungsabdeckung
Während Öffentliche Vorschau erkennt AI applications scanning nur indirekte Prompt-Injection-(XPIA-)Schwachstellen in KI-Agenten.
Dieser Detektor deckt nur Pull Requests ab. Es überprüft nicht Ihr vollständiges Repository oder vorhandenen Backlog auf KI-Anwendungsrisiken.
Wie bei AI Scan für Pull Requests wird dieser Detektor nicht auf Pull Requests aus Forks oder Pull Requests ausgeführt, die von Dependabot erstellt wurden, und seine Ergebnisse können nicht in Regelsätzen verwendet werden, um Mergeanforderungen durchzusetzen.
So aktivieren Sie AI applications scanning
AI applications scanning ist standardmäßig auf Unternehmens-, Organisations- und Repositoryebene deaktiviert.
- Enterprise: Die Aktivierung wird durch die gemeinsame AI Scan-Unternehmensrichtlinie gesteuert. Unternehmensbesitzer können Organisationen ermöglichen, KI-basierte Codescanfunktionen zu aktivieren, einschließlich AI applications scanning. Siehe Implementierung von Richtlinien zur Codesicherheit und -analyse für Ihr Unternehmen.
- Organisation: Organisationsbesitzer können Überprüfung auf KI-Anwendungen für berechtigte Repositorys aktivieren, in denen sie zulässig ist. Siehe Konfigurieren globaler Sicherheitseinstellungen für Ihre Organisation.
- Repository: Repositoryadministratoren können sich für einzelne Repositorys abmelden, sobald ihre Organisation dies zulässt.
Wenn Ihre Organisation bereits AI Scan für Pull Requests aktiviert hat oder Sie aus der privaten Vorschau von AI applications scanning wechseln, müssen Sie Scan for AI applications auf Organisationsebene separat aktivieren. Das Aktivieren des AI-Scans für Pull Requests aktiviert AI applications scanning nicht, und umgekehrt gilt das auch. Beide Features verwenden dieselbe Richtlinie auf Unternehmensebene, organisationen müssen jedoch jede einzeln aktivieren.
Abrechnung
Für die Verwendung AI applications scanning ist eine GitHub Advanced Security-Lizenz erforderlich und zusätzlich zu dieser Lizenz werden AI credits verbraucht. Berechtigte öffentliche Repositorys sind auch in dieser Abrechnungsanforderung enthalten. Weitere Informationen findest du unter GitHub Advanced Security Lizenzabrechnung.