Vom Prompt-Hacking bis zur Output-Filterung

👉🏻 Jetzt reinschauen: betterCode() Testing - Die Online-Software-Test-Konferenz von Heise am 8. Juni - Mit dem Code 2026_TESTING_SOFTWARETESTING erhalten die ersten 20 Anmeldungen 10% Rabatt. Schnell sein lohnt sich.

„Man wird sich nie sicher sein, ob man jetzt wirklich alles gefunden hat." - Jan Jürjens

In dieser Episode spreche ich mit Jan Jürjens über ein Thema, das viele beim KI-Einsatz noch unterschätzen: Security Testing. Wir klären, warum KI-basierte Systeme völlig neue Angriffspunkte bieten – vom manipulierten Training über Prompt Injection bis zum ungewollten Abfluss sensibler Daten. Jan erklärt, welche Mechanismen helfen, KI-Anwendungen abzusichern, wie man mit Tools von OWASP arbeitet und warum auch Tester ohne Security-Background hier aktiv werden müssen.

Jan Jürjens verfügt über mehr als 25 Jahre praktische Erfahrung mit Softwaresicherheit. Erstes Buch (2005) ins Chinesische übersetzt. Aktuell: Director Research Projects (Fraunhofer ISST); Professor & Leiter, Institut Softwaretechnik (Uni Koblenz). Vorher: Professor für Software Engineering (TU Dortmund), Senior Member/Research Fellow (Robinson College, Uni Cambridge), Royal Society Industrial Fellow (Microsoft Research Cambridge), Postdoc (TU München), PhD Informatik (Uni Oxford) in Softwaresicherheit, Dipl.-Math. (Uni Bremen).

Highlights:

KI-Modelle sind eine Blackbox: Du weißt vorher nicht, wie sie sich verhalten werden.
Angreifer können über clevere Prompts geschützte Daten aus KI-Systemen extrahieren.
OWASP bietet Top-10-Kataloge und Security Guides speziell für KI-basierte Systeme.
Filter auf Output-Ebene sind effektiver als Versuche, alle Input-Varianten abzufangen.
Wer KI unternehmerisch nutzt, ist Betreiber – und trägt Verantwortung laut KI-Verordnung.

Sicherheitstests für KI Systeme - Jan Jürjens