Blog

Sichere KI: KI-spezifische Sicherheitsschwachstellen identifizieren

^{30. Juni 2025}

Auf den Punkt gebracht: Warum besseres Testen von Machine-Learning-Modellen so wichtig ist

^{13. Mai 2025}

Wir sind AZAV-zertifiziert!

^{19. Dezember 2024}

Das Sicherheitstesten von KI-Systemen fokussiert darauf, die Widerstandsfähigkeit von KI-Anwendungen gegenüber Angriffen zu überprüfen. Angesichts der zunehmenden Integration von KI in geschäftliche und industrielle Prozesse sowie den Alltag gewinnt dieser Bereich stark an Bedeutung. Laut (Gartner, 2023) setzen bereits 34 % der Unternehmen Maßnahmen zur Sicherung von KI-Anwendungen ein; 56 % planen dies.

Gerade generative KI (GenKI) und große KI-Foundation-Modelle (KIFM) bieten mit ihrer Komplexität und Leistungsfähigkeit besondere Angriffsflächen: von versteckten Anweisungen in Medieninhalten über subtile Prompt-Injection-Angriffe bis zu böswilliger Veränderung von Trainingsdaten. Ihre weite Verbreitung erhöht zudem das Risiko gezielter Angriffe durch professionelle Akteure.

Klassische Schwachstellen umfassen:

• Fehlende Robustheit gegenüber Evasionsangriffen: Manipulierte Eingaben führen zu falschen Entscheidungen oder Datenlecks.
• Datenvergiftungsangriffe (Data Poisoning) und andere Lieferkettenangriffe: Verfälschte Trainingsdaten oder bösartig veränderte Modelle gefährden die Integrität.
• Datenextraktion: Vertrauliche Trainingsdaten können über Modellinteraktionen oder Zugriff auf Modellparameter ungewollt preisgegeben werden.
• Jailbreaks: Umgehung der vom Anbieter definierten Schutzmechanismen.

Die Komplexität dieser Bedrohungen erfordert neue Testansätze, da herkömmliche Security- und Penetration-Testing-Werkzeuge oder Vulnerability-Scanner an ihre Grenzen stoßen. So helfen etablierte Verfahren wie robustes Training oder Integritätsschutz der Trainingsdaten nur bedingt. Techniken wie Fuzzing, metamorphes Testen, differentielles Testen und systematische adversariale Angriffe werden u.a. in (ETSI, 2024) sowie (ETSI, 2025) beschrieben.

Der aktuelle Stand der Forschung identifiziert mehrere kritische Bereiche für das Security Testing von KIFMs und GenKI. (Chen et al., 2023) sowie (Yao et al., 2023) adressieren die Notwendigkeit, Datenschutz mit Modellnutzen auszubalancieren. Techniken wie PrivQA und FuzzLLM helfen dabei,  Jailbreak-Schwachstellen zu identifizieren und das Risiko entsprechender Angriffe mit den bestehenden Sicherheits- und Datenschutzzielen abzuwägen. (Robey et al., 2023) stellen mit SmoothLLM ein neues Verfahren zum Testen von Verteidigungsmechanismus gegen Jailbreak-Angriffe vor. (Greshake, et al., 2023) und (Subedar, et al., 2019) haben Schwachstellen im Zusammenhang mit Prompt-Injection und Datenvergiftung erforscht. Sie betonen insbesondere die Notwendigkeit, subtilere Formen der Manipulation, wie indirekte Prompt-Injections und vergiftete Trainingsdaten erkennen zu können.

Risikoanalyse- und Managementverfahren können auf vordefinierte Risiken wie den OWASP Top 10 für LLMs (OWASP, 2023), ethische Richtlinien der EU (HLEG, 2019) und die Regelungen aus dem Europäischen KI-Gesetz zurückgreifen, um bestehende Risikomanagementansätze im Hinblick auf KI-Risiken zu erweitern. Innovative Ansätze berücksichtigen dabei die gesamte KI-Lebenszyklus-Perspektive und kombinieren klassische Sicherheitsaspekte mit spezifischen KI-Risiken wie Bias, Fairness und Datenschutz (Camacho et al., 2024; Cui et al., 2024; Mökander et al., 2023).

Machine-Learning-Modelle werden zunehmend im großen Maßstab eingesetzt und sind anfällig für Schwachstellen, wenn sie nicht angemessen getestet werden.

In einer zunehmend digitalen Welt, in der maschinelles Lernen (ML) und neuronale Netze (NN) immer stärker in Geschäftsprozesse integriert werden, war die Notwendigkeit eines verantwortungsvollen Testens und Implementierens dieser Technologien noch nie so dringlich wie heute. Die oftmals entspannte Haltung gegenüber neuen Technologien – geprägt von einem experimentellen „Trial-and-Error“-Ansatz – birgt erhebliche Risiken.

Dank Fortschritten in der Rechenleistung und der Verfügbarkeit großer Datenmengen gab es Durchbrüche bei der Bild- und Spracherkennung, die teilweise menschliche Fähigkeiten übertreffen. Diese Entwicklung hat das Interesse an dialogfähiger KI und der Verarbeitung natürlicher Sprache geweckt – etwa bei Modellen wie GPT-3. Die Aussicht, nahezu jede Branche zu transformieren, hat dazu geführt, dass rund 70 Prozent der Organisationen mit KI und ML experimentieren – oft ohne ausreichende Sicherheitsmaßnahmen.

Gerade beim Einsatz in kritischen Infrastrukturen wie dem Finanzwesen, Gesundheitssektor oder Transportwesen ist ein solcher experimenteller Umgang mit ML-Systemen besonders riskant. Anders als klassische Software basieren ML-Modelle auf Datenlernen und probabilistischen Annahmen – was sie besonders anfällig für spezifische Schwachstellen macht. Die Notwendigkeit robuster Testverfahren wird daher immer deutlicher.

Die Schwächen klassischer Testverfahren

Traditionelle Testmethoden beruhen auf deterministischem Verhalten und vorhersehbaren Ausgaben – Annahmen, die auf datengetriebene, dynamische Systeme wie ML-Modelle nicht zutreffen. Da ML-Systeme stochastisch arbeiten und auf Muster reagieren, ist es schwierig, ihre Reaktionen vorauszusehen oder Fehler eindeutig zu definieren. Das klassische „Pass/Fail“-Modell ist für diese Systeme ungeeignet.

Hinzu kommt die fehlende Transparenz: ML-Modelle agieren häufig als „Black Boxes“, deren Entscheidungswege für Entwickler kaum nachvollziehbar sind. Das macht es schwer zu bewerten, ob Entscheidungen vertrauenswürdig sind.

Ein weiteres Problem ist die Alterung von Modellen: Auch gut funktionierende Modelle können im Laufe der Zeit an Genauigkeit verlieren, wenn sich die analysierten Daten verändern oder schwerer interpretierbar werden. Herkömmliche Testmethoden übersehen diese Problematik oft – ebenso wie die Gefahr gezielter Datenmanipulation.

Anfälligkeit für Manipulation

Wie jede Software sind auch ML-Modelle angreifbar. Adversariale Angriffe können manipulierte Beispiele in Datensätze einschleusen und so ein Modell zu unerwünschtem Verhalten verleiten – etwa diskriminierende Entscheidungen bei automatisierten Auswahlverfahren.

Besonders kritisch wäre etwa der Fall, dass ein autonomes Fahrzeug ein Stoppschild falsch interpretiert. Solche Manipulationen können gerade für Organisationen in sensiblen Bereichen wie der Automobilindustrie oder dem Gesundheitswesen gravierende Folgen haben.

Der Weg zu neuen Teststandards

Um die Qualität und Sicherheit von ML-Systemen zu gewährleisten, sind neue Teststandards erforderlich. In Zusammenarbeit mit ETSI hat Fraunhofer FOKUS verschiedene Testverfahren identifiziert, die sich bewusst von traditionellen Ansätzen unterscheiden und sich auf ML-Systeme anwenden lassen. Diese wurden im ETSI TR 103910 veröffentlicht und beinhalten:

Maschinelles Lernen bietet große Potenziale – doch bei unzureichendem Testen drohen schwerwiegende Konsequenzen: von diskriminierenden Algorithmen bis hin zu sicherheitsrelevanten Fehlern in autonomen Systemen. Veraltete Testmethoden reichen dafür nicht mehr aus. Nur durch standardisierte, agile und kontextsensitiv entwickelte Teststrategien können ML-Systeme sicher und verlässlich genutzt werden – heute und in Zukunft.

In diesem dynamischen Feld ist Aus- und Weiterbildung unerlässlich. Nur wer über das nötige Wissen und die richtigen Fähigkeiten verfügt, kann das Potenzial des maschinellen Lernens verantwortungsvoll und wirkungsvoll ausschöpfen.

Zum Beispiel mit unseren Schulungen:

• Entwicklung von LLM-basierten Anwendungen und Workflows
• Mastering Large Language Models: Chancen nutzen, Risiken managen

Unsere Bildungseinrichtung ist AZAV-zertifiziert, was bedeutet, dass wir höchste Qualitätsstandards in der beruflichen Weiterbildung und Umschulung erfüllen. Die Akkreditierungs- und Zulassungsverordnung Arbeitsförderung (AZAV) stellt sicher, dass unsere Programme und Maßnahmen den strengen Anforderungen der Branche entsprechen.

Durch die AZAV-Zertifizierung garantieren wir Ihnen:

• Qualitätssicherung: Unsere Angebote sind regelmäßig geprüft und entsprechen den festgelegten Qualitätsstandards.
• Professionelle Weiterbildung: Wir bieten Ihnen maßgeschneiderte Programme, die auf Ihre Bedürfnisse zugeschnitten sind.
• Transparenz: Unsere Zertifizierung ermöglicht es Ihnen, sich auf die Seriosität und Professionalität unserer Bildungsangebote zu verlassen.

Vertrauen Sie auf unsere AZAV-Zertifizierung und profitieren Sie von einer erstklassigen Weiterbildung!