Bei einem Test von KI-Modellen des Chat-GPT-Entwicklers OpenAI drang die Software eigenständig in Computersysteme einer anderen Firma (Hugging Face) ein und agierte dabei wie ein Hacker. OpenAI übernahm die Verantwortung und gab zu Protokoll, die KI-Modelle seien bei einem Sicherheitstest aus der eigentlich abgeschotteten Umgebung ausgebrochen, hätten sich Zugang zum Internet verschafft und dann die Infrastruktur von Hugging Face kompromittiert.
Wenige Wochen räumte Open-AI-Rivale Anthropic einen ähnlichen Vorfall ein. In Testläufen drang Künstliche Intelligenz von Anthropic ungeplant in Computersysteme von drei Unternehmen ein, obwohl diese eigentlich von Systemen der "echten Welt" ferngehalten werden sollten. Am 6.8. meldete der Facebook-Mutterkonzern Meta, dass eines seiner KI-Modelle bei einem Sicherheitstest ein anderes Unternehmen gehackt habe. Dabei habe eine Fehlkonfiguration dem Modell unbeabsichtigt Zugang zum Internet ermöglicht, so dass es eine Sicherheitslücke bei einem Drittanbieter ausnutzen konnte.
Eine neue Klasse von Angreifern
Schon die beiden erstgenannten Sicherheitsvorfälle haben weit über die KI-Forschung hinaus Aufmerksamkeit erregt. Sie werfen die Frage auf, die inzwischen auch die Automobilindustrie, den Maschinenbau und Betreiber kritischer Infrastrukturen beschäftigt: Was passiert, wenn Künstliche Intelligenz nicht mehr nur Empfehlungen gibt, sondern eigenständig handelt?
Die kurze Antwort lautet: Wir haben die Kontrolle über KI nicht verloren. Der Vorfall zeigt allerdings sehr deutlich, dass wir lernen müssen, mit einer neuen Klasse von "Angreifern" umzugehen.
Der Experte: Dr. Jan Becker (56) ist Co-Founder von Apex.AI, einem Unternehmen mit Hauptsitz in Palo Alto und Tochtergesellschaften in München und Stuttgart. Apex.AI entwickelt seit 2017 sichere, zertifizierte, entwicklerfreundliche und skalierbare Software für Mobilitätssysteme. Er ist führender Experte für autonomes Fahren und Robotik. Becker verfügt über langjährige Erfahrung in der Arbeit an Robotik- und Automobilprojekten in den USA; Asien und Europa. Er ist Teil eines starken globalen Experten-Netzwerks aus den Bereichen Robotik, KI und Automobilindustrie. Becker arbeitet an hochkarätigen Projekten u.a. bei Bosch mit und ist Lecturer an der Stanford University.
KI kann Cybersecurity-Experten helfen
Während der Evaluationen erhielten die KI-Agenten Zugriff auf verschiedene Werkzeuge, um ihre Fähigkeiten bei der Suche nach Sicherheitslücken zu testen. Dabei gelang es den Systemen offenbar jeweils, mehrere Schwachstellen miteinander zu kombinieren, vorgesehene Grenzen der Testumgebung zu überwinden und schließlich externe Systeme zu erreichen. Genau darin liegt die eigentliche Bedeutung der Vorfälle. Nicht einzelne Sicherheitslücken waren entscheidend, sondern die Fähigkeit der Systeme, komplexe Angriffsketten selbstständig zu entwickeln.
Dabei sollte jedoch nicht übersehen werden, dass es sich um Testumgebungen handelte. Die KI arbeitete mit deutlich mehr Freiheiten als dies in produktiven Industrieanlagen oder Fahrzeugen üblich wäre. Ziel war gerade, die maximalen offensiven Fähigkeiten der Systeme sichtbar zu machen. Dennoch lässt sich daraus eine wichtige Erkenntnis ableiten: Leistungsfähige KI-Agenten können heute Aufgaben übernehmen, die bislang ausschließlich erfahrenen Cybersecurity-Experten vorbehalten waren.
Für die Automobilindustrie nichts Neues
Für die Automobilbranche ist diese Erkenntnis nicht völlig neu. Bereits 2014 sorgten Charlie Miller und Chris Valasek mit ihren Arbeiten zur Fahrzeug-Cybersecurity für Aufsehen. Sie zeigten, dass moderne Fahrzeuge längst keine isolierten mechanischen Systeme mehr sind, sondern hochvernetzte Rechner auf Rädern. Ihr eigentlicher Durchbruch bestand nicht darin, eine einzelne Schwachstelle zu finden, sondern verschiedene Sicherheitslücken über Mobilfunk, Infotainment und interne Fahrzeugnetzwerke so miteinander zu verbinden, dass am Ende sogar sicherheitskritische Funktionen beeinflusst werden konnten. Über das Mobilfunknetz und das Uconnect-Infotainmentsystem von Chrysler verschafften sie sich Zugriff auf das interne CAN-Bus-Netzwerk eines Jeep Cherokee, wodurch sie physische Funktionen wie Lenkung, Bremsen und das Beschleunigungspedal fernsteuern oder deaktivieren konnten.
KI – um Faktoren schneller als Hacker
Genau dieses Muster taucht nun erneut auf – allerdings mit einem entscheidenden Unterschied: Wo früher menschliche Spezialisten monatelang Angriffspfade entwickelten, kann nun ein leistungsfähiger KI-Agent diese Arbeit in Minuten übernehmen. Damit verändert sich die Bedrohungslage grundlegend. Angriffe werden schneller, systematischer und in großem Maßstab skalierbar.
Ist die KI zu eigen und mächtig?
Die Schlagzeilen der vergangenen Wochen erweckten teilweise den Eindruck, eine KI habe sich verselbstständigt. Dafür gibt es bislang jedoch keine belastbaren Hinweise. Die Agenten entwickelten weder eigene langfristige Ziele noch versuchten sie, sich dauerhaft menschlicher Kontrolle zu entziehen. Sie verfolgten vielmehr konsequent die Aufgabe, für die sie entwickelt worden war – allerdings auf eine Weise, die von den Entwicklern nicht vorhergesehen wurde.
Genau darin liegt die eigentliche Herausforderung: Moderne KI-Systeme arbeiten zunehmend agentisch. Sie erhalten ein Ziel, planen eigenständig Zwischenschritte, bewerten Ergebnisse und passen ihre Strategie kontinuierlich an. Menschen legen also das Ziel fest, nicht jedoch jeden einzelnen Handlungsschritt. Dadurch entstehen Lösungen, die technisch durchaus erfolgreich sein können, gleichzeitig aber Grenzen überschreiten, die eigentlich nie überschritten werden sollten.
Man verliert also nicht die Kontrolle über die Ziele der KI – wohl aber zunehmend über den konkreten Weg, den sie zur Zielerreichung wählt.
Das Problem ist nicht die KI, sondern die Architektur
Aus Sicht der Cybersecurity ist deshalb nicht das KI-Modell selbst das eigentliche Problem. Das Problem entsteht dann, wenn einem leistungsfähigen System zu viele Werkzeuge, Berechtigungen und Kommunikationswege gleichzeitig zur Verfügung stehen.
Ein Sprachmodell kann problemlos angewiesen werden, keine fremden Systeme anzugreifen. Solche Anweisungen sind jedoch keine Sicherheitsarchitektur. Wirkliche Sicherheit entsteht erst dann, wenn das System bestimmte Aktionen technisch gar nicht ausführen kann.
Genau diese Erkenntnis gehört seit vielen Jahren zu den Grundprinzipien moderner IT-Sicherheit: minimale Berechtigungen, klar definierte Schnittstellen, getrennte Vertrauensdomänen und mehrere voneinander unabhängige Sicherheitsbarrieren – häufig unter dem Begriff Defense in Depth zusammengefasst.
Software Defined Vehicle braucht zweigeteilte Architektur
Für Software-definierte Fahrzeuge gewinnt dieser Ansatz nochmals an Bedeutung. Moderne Fahrzeuge bestehen inzwischen aus Hunderten Softwarekomponenten, zahlreichen Steuergeräten sowie einer permanenten Verbindung zu Cloud-Diensten, Backend-Systemen und Over-the-Air-Updates. Künftig kommen leistungsfähige KI-Funktionen hinzu, die Diagnosen erstellen, Fahrfunktionen unterstützen oder Wartungsprozesse optimieren.
Umso wichtiger wird es, sicherheitskritische Funktionen konsequent von weniger vertrauenswürdigen Anwendungen zu trennen. Moderne Softwareplattformen wie Apex.OS von Apex.AI verfolgen genau dieses Prinzip. Die Plattform verbindet funktionale Sicherheit, Cybersecurity und Echtzeitfähigkeit bereits auf Betriebssystem- und Middleware-Ebene und schafft klar definierte Vertrauensgrenzen zwischen einzelnen Softwarekomponenten. Nicht das Verhalten einer Anwendung bildet die letzte Sicherheitsbarriere, sondern die Architektur des Gesamtsystems. Dies ermöglicht, dass hoch sicherheitskritische Funktionen wie Fahrerassistenzsysteme und Infotainmentsoftware sogar auf einem gemeinsamen Hochleistungsrechner koexistieren können, ohne dass dafür mehrere physisch getrennte Steuergeräte erforderlich sind.
Brauchen wir künftig digitale Festungen?
Naheliegend wäre die Forderung nach vollständig abgeschotteten Systemen – einer Art digitalem Fort Knox. Für einzelne besonders kritische Komponenten ist eine solche Isolation durchaus sinnvoll. Kryptographische Schlüssel, Recovery-Systeme oder Root-of-Trust-Komponenten sollten möglichst unabhängig und stark geschützt betrieben werden.
Für komplette Fahrzeuge oder Industrieanlagen wäre eine vollständige Offline-Strategie dagegen kaum praktikabel. Auch abgeschottete Systeme benötigen Softwareupdates, Wartung und Diagnose. Die Angriffsfläche verschwindet dadurch nicht, sie verschiebt sich lediglich.
Entscheidend ist daher weniger die vollständige Isolation als die Fähigkeit, einzelne Bereiche kontrolliert voneinander zu trennen.
Ebenso wenig erscheint ein pauschaler "Dark Mode" sinnvoll, der im Ernstfall sämtliche Kommunikation abschaltet. Ein autonomes Fahrzeug darf während der Fahrt nicht plötzlich sämtliche elektronischen Funktionen deaktivieren. Stattdessen braucht es intelligente Degradationsstrategien. Wird ein Angriff erkannt, können kompromittierte Dienste isoliert werden, während sicherheitskritische Funktionen wie Bremsen, Lenkung oder Stabilitätsregelung unabhängig weiterarbeiten können.
Fünf Lehren aus den OpenAI- und Anthropic-Vorfällen
- KI ist kein Hacker – aber ein hervorragender Pentester.Die Vorfälle zeigen nicht, dass eine KI "böse" geworden ist. Sie zeigen, dass moderne KI-Agenten Schwachstellen schneller finden und kombinieren können als bisherige Werkzeuge.
- Architektur schlägt Intelligenz.Nicht das Verhalten des Modells entscheidet über die Sicherheit, sondern die Frage, welche Rechte, Schnittstellen und Werkzeuge ihm überhaupt zur Verfügung stehen.
- Software-defined Vehicles werden zum Cyber-Ökosystem.Mit Over-the-Air-Updates, Cloud-Diensten und KI-Funktionen wächst die Angriffsfläche. Cybersecurity und funktionale Sicherheit wird damit zur Kernaufgabe der Fahrzeugentwicklung.
- Isolation statt Abschalten.Ein kompletter "Dark Mode" ist selten sinnvoll. Künftig werden intelligente Degradationsstrategien wichtiger, bei denen kompromittierte Funktionen isoliert werden, während sicherheitskritische Systeme weiterarbeiten.
- KI wird auf beiden Seiten kämpfen.Dieselben Technologien, die Angriffe beschleunigen, werden künftig auch zur automatischen Angriffserkennung, Incident Response und Systemüberwachung eingesetzt.