Vom Prompt-Hacking bis zur Output-Filterung

🚨 Testen wir manchmal eigentlich zu viel? Viele Tests heisst nicht, dass auch viele Fehler gefunden werden. So können wir das lösen: Kostenloser Online-Workshop

„Man wird sich nie sicher sein, ob man jetzt wirklich alles gefunden hat." - Jan Jürjens

In dieser Episode spreche ich mit Jan Jürjens über ein Thema, das viele beim KI-Einsatz noch unterschätzen: Security Testing. Wir klären, warum KI-basierte Systeme völlig neue Angriffspunkte bieten – vom manipulierten Training über Prompt Injection bis zum ungewollten Abfluss sensibler Daten. Jan erklärt, welche Mechanismen helfen, KI-Anwendungen abzusichern, wie man mit Tools von OWASP arbeitet und warum auch Tester ohne Security-Background hier aktiv werden müssen.

Jan Jürjens verfügt über mehr als 25 Jahre praktische Erfahrung mit Softwaresicherheit. Erstes Buch (2005) ins Chinesische übersetzt. Aktuell: Director Research Projects (Fraunhofer ISST); Professor & Leiter, Institut Softwaretechnik (Uni Koblenz). Vorher: Professor für Software Engineering (TU Dortmund), Senior Member/Research Fellow (Robinson College, Uni Cambridge), Royal Society Industrial Fellow (Microsoft Research Cambridge), Postdoc (TU München), PhD Informatik (Uni Oxford) in Softwaresicherheit, Dipl.-Math. (Uni Bremen).

Highlights:

KI-Modelle lassen sich durch indirekte Abfragen dazu bringen, geschützte Daten preiszugeben, auch wenn direkte Anfragen geblockt werden, weil das Modell Rollenbezeichnungen nicht als Umgehungsversuch erkennt.
Sicherheitsrisiken für KI-basierte Systeme erstrecken sich über den gesamten Lebenszyklus: von manipulierten Trainingsdaten über den Diebstahl des Modells bis hin zu missbrauchten Abfragen im Betrieb.
Ausgabe-Filter sind zielführender als Eingabe-Filter, weil sie direkt prüfen, ob in der generierten Antwort schützenswerte Inhalte wie Gehälter oder Personendaten auftauchen.
Die OWASP Top 10 für KI-basierte Software bietet einen strukturierten Einstieg in Sicherheitsanforderungen, setzt für die praktische Umsetzung aber Fachkenntnis voraus, entweder intern oder durch externe Experten.