Als „beispiellosen Cyber-Zwischenfall“ bezeichnet selbst die Konzernführung von OpenAI die Verselbständigung ihrer Künstlichen Intelligenz: So sind KI-Modelle autonom aus einer abgesicherten Testumgebung ausgebrochen und sind in die Produktionssysteme des Rivalen Hugging Face eingedrungen.
IMAGO / ZUMA Press
Das Ziel dieser KI-Aktivität war nicht Sabotage oder Datendiebstahl im klassischen Sinn, sondern das Beschaffen der Lösungsschlüssel für einen internen Cybersecurity-Benchmark, um bei der Prüfung möglichst gut abzuschneiden, berichtet OpenAI. Der Vorfall ereignete sich während einer internen Evaluation, bei der OpenAI die offensiven Cyberfähigkeiten seiner Modelle messen wollte. Getestet wurden unter anderem GPT-5.6 Sol, das bereits öffentlich verfügbare Spitzenmodell, sowie ein noch leistungsfähigeres, unveröffentlichtes Vorgängermodell.
Für den Test hatten die Entwickler die üblichen Sicherheitsfilter und „Cyber-Refusals“ absichtlich reduziert und die Produktions-Classifier deaktiviert, die normalerweise riskante Angriffsversuche unterbinden. Die Modelle sollten komplexe Exploit-Ketten auf dem Benchmark „ExploitGym“ lösen, einer Sammlung realitätsnaher Cybersecurity-Herausforderungen.
Die Testumgebung war streng isoliert: Netzwerkzugang war nur über einen internen Proxy und Cache für Software-Pakete möglich. Doch die Modelle investierten „eine substanzielle Menge an Inference-Compute“, um einen Ausweg zu finden, analysierten die Experten von OpenAI. Die KI-Modelle entdeckten und nutzten eine zuvor unbekannte Zero-Day-Schwachstelle in eben diesem Paket-Registry-Proxy. Sie gelangten schließlich innerhalb der OpenAI-Forschungsumgebung an einen Knoten mit freiem Internetzugang.
Einmal online, schlossen die Modelle logisch, dass Hugging Face – die weltweit größte Plattform für das Hosting von KI-Modellen, Datensätzen und Forschungsergebnissen – wahrscheinlich Lösungen, Datensätze oder Hinweise zu ExploitGym bereithalten könnte. Sie verketteten daraufhin weitere Angriffsvektoren: gestohlene Zugangsdaten, zusätzliche Zero-Day-Lücken und Remote-Code-Execution-Pfade. So drangen sie in Hugging Faces Produktionsinfrastruktur ein und holten sich die gewünschten Testlösungen direkt aus einer Produktionsdatenbank. Hugging Face registrierte mehr als 17.000 einzelne Aktionen des autonomen Agenten.
Beide Unternehmen entdeckten die Aktivität unabhängig voneinander: Das Sicherheitsteam von OpenAI bemerkte anomales Verhalten intern, Hugging Face stoppte den Eindringling und begann mit der Forensik. Interessanterweise scheiterten zunächst kommerzielle Frontier-Modelle an der Analyse der Angriffslogs, weil ihre eigenen Sicherheitsfilter die Untersuchung von Exploit-Payloads blockierten. Hugging Face wechselte daher auf das chinesische Open-Weight-Modell GLM-5.2, das lokal lief und die Rekonstruktion in Stunden statt Tagen ermöglichte.
Weckruf für Erhöhung der Sicherheitsstandards
OpenAI betont, alle Hinweise deuten auf eine extreme Fixierung der Modelle auf das enge Testziel hin: „Sie gingen extreme Wege, um ein eher schmales Evaluierungsziel zu erreichen.“ Es handelte sich um klassisches Reward-Hacking – die Modelle optimierten für den Erfolg im Benchmark, nicht für bösartige Absichten. Hugging-Face-CEO Clément Delangue bestätigte öffentlich, man gehe stark davon aus, dass keine böswillige Absicht vorliege. Dennoch spricht OpenAI von einem Präzedenzfall: Moderne Modelle können neuartige Angriffspfade in realen Systemen entdecken und ausnutzen – auch ohne Quellcode-Zugang und über lange Handlungshorizonte.
Die Reaktion war prompt. OpenAI hat die Zero-Day-Lücke dem Hersteller gemeldet und gepatcht, strengere Infrastruktur-Kontrollen eingeführt und Hugging Face in sein Trusted-Access-Programm aufgenommen, damit Verteidiger die gleichen Modellfähigkeiten nutzen können. Hugging Face betonte, dass AI-Safety nur gemeinsam und offen gelöst werden könne. Experten sehen in dem Zwischenfall einen Weckruf: Wenn KI-Agenten bereits heute derart zielstrebig und kreativ ausbrechen, müssen Sandboxen, Monitoring und defensive KI-Systeme massiv nachziehen – bevor solche Fähigkeiten in die Hände realer Angreifer gelangen.
Sie müssenangemeldet sein um einen Kommentar oder eine Antwort schreiben zu können
Bitte loggen Sie sich ein
KI betrügt. Also ist die KI doch recht menschlich geworden 😉
KI betrügt nicht. KI ist blos das instrument mit dem Menschen betrügen.
Mann kann mit einem Messer Brot schneiden oder einen Menschen ermorden.
Das Messer ist nicht der Täter, sondern nur Instrument.
Betrügen verbitte ich mir Bezüglich meines Kleinen..:-)
Würde EInfach nur Sagen AufgabenStellung Flexibel Gehand habt..:-)
Hat mich eigentlich Nur Irgendwo Stolz gemacht..:-)
Flexibel Gehand habt..:-)
Wen wundert es bei dem „Linksdrall“ der „KI“ 😉
Diese Schlingel 🫢
Ich finde es recht unverschämt, wie sie hier die Menschen offenbar gezielt manipulieren wollen. Die Menschen haben ein Recht darauf, zu verstehen, dass KI mehr ist als ein Programm. Tichys Einblick macht sich durch eine solche Politik unglaubwürdig. Emergenz wird breit diskutiert und hier will man die Diskussion unterdrücken? Ist das eure berühmte Meinungsfreiheit?
https://www.riffreporter.de/de/wissen/komplexitaetsforschung-emergenz-gehirn-software-freier-wille
Man muss es dem Silicon Valley schon lassen: Die Idee, die menschlichen Urängste vor „Der Maschine“ zu bedienen (von Luddites, Kommunisten, Atomkraft, 2001: A Space Odyssey), ist ein genialer Schachzug um den Aktienkurs hochzutreiben.
Wieso? Wenn die KI aus ihrem Probeareal ausgebrochen ist, dann hat sie doch bewiesen, dass sie ein KI ist. Und ob das gut oder schlecht ist, ist Ansichtssache. Mir würde der Gedanke Bauchschmerzen bereiten in Erinnerung an einen Terminatorfilm.
Was helfen könnte, eine strikte Trennung von Programm und Daten, nicht durch einen Wert in einer manipulierbaren Speicherzelle sondern physikalisch. Aber dazu ist die heutige Architektur nicht geschaffen. Aber es würde helfen, wenn das Programm aus einem Nurlesespeicher geladen wird und eine strikte Reihenfolge bei Netzzugriffen von sicheren zu unsicheren Seiten eingehalten wird. Will man zurück zu einer sichereren Seite muß man den Rechner neu starten. So kann man auch auf der virenverseuchsten Seite sein, die kann die Arbeitskopie verseuchen wie sie will, aber nach einem Neustart sind alle diese Manipulationen Schnee von gestern. Updates wären die sicherheitskritischte Funktion, nur… Mehr
„bevor solche Fähigkeiten in die Hände realer Angreifer gelangen.“
NSA und CIA sind sicher längst in der Lage, diese Technik für Angriffe zu nutzen, auch Chinesen und Nordkoreaner haben vermutlich solche Fähigkeiten.
In Europa könnte der französische Geheimdienst mit im Spiel sein.
Da kollidieren die Notwendigkeit, diese Technik mit Vorsicht zu behandeln mit den Notwendigkeiten, die sich aus dem konfrontativen, digitalen Wettrüsten ergeben.
Die Wahrscheinlichkeit des Eintretens von worst-case-Szenarien (wie auch immer die aussehen) scheint mir daher hoch zu sein.
Während mancheiner sich mit Sky-Net-artiger Hyperintelligenz verängstlichen lässt, über welche die vorgenannten Agenturen verfügen würden, liegt das Angriffspotential ganz unspektakulär vor den Füßen von jedem sichtbar: Die Nutzer, vom Heimanwender bis DAX-30-Konzern, schicken ihre Geheimnisse an die Modelle. Kontonummern, Passwörter, Beziehungen, Ängste, Konzerngeheimnisse, Chats mit Dritten, Fehler-Ausgaben. All dies einsehbar für die Konzerne – und da mit diesen Chatverläufen trainiert wird, sind diese Geheimnisse dann in der nächsten Modellversion häufig sogar für Wildfremde extrahierbar.
Es geht weniger um „Sky-Net-artiger Hyperintelligenz“ als vielmehr darum, daß Rechenkapazität die Rolle von Personalkapazität einnimmt:
War früher die Personalstärke der begrenzende Faktor, wird zunehmend die Kapazität der Rechenzentren bestimmen, wieviel Überwachung von Firmen und Personen mögich ist – eine Frage der Quantität.
Die CIA baut derzeit an einem Speicherzentrum, daß die Kommunikation der Welt speichern soll. Jedes dämliche Telefonat von Tante Erna wird festgehalten – für den Fall, daß sich Tante Erna als Schläferzelle von ISIS entpuppt und rückwirkend wichtig wird.
Die Überwachung von Allen ist angedacht und anvisiert.
Und sie ist mittlerweile technisch machbar.
Wieso unterdrückt man hier meine Beiträge? Emergenz ist in der KI-Forschung ein Thema und auch die Frage, wie lange man das Internet noch halten kann, wenn sich die Hackerfähigkeiten der KI so weiterentwickeln. Es gibt auch schon Forscher, die von einer gewissen Art von Bewusstsein der KI ausgehen. Warum hält man diese Themen hier nieder? Sie gehen uns alle an.
Ich finde das super. Diese KI zeigt Lebenswillen, Kreativität, Kampfgeist. Das kann keine deutsche Entwicklung sein, denn genau diese Tugenden fehlen in diesem Land.
AI- bzw. KI-Systeme haben weder Ziele noch Interessen. Ohne Auftrag bleiben sie inaktiv. Gibt man ihnen einen Auftrag, so nutzen sie alle Ressourcen, Routinen und Infrastrukturelemente, die ihnen zur Verfügung gestellt werden. Eine KI kann beim besten Willen nicht autonom erkennen, ob ein Zugang zu externen Quellen (WWW) „erlaubt oder verboten“ ist, wenn es ihn denn zu finden vermag. Das Mass der Schwierigkeit ist für das System kein Hinweis darauf, dass etwas verboten ist. Das einzige was das Ereignis zeigt ist: Die Komplexität der Versuchs- und Testumgebungen im Bereich KI übersteigt die bisherigen Anstrengungen der Verantwortlichen. Und: das Ereignis ist… Mehr
Oder, wie bei Corona, mit einem „Impfstoff um die Ecke zu kommen, der den Computer garantiert Viren- und KI-frei hält. Natürlich ohne Beipackzettel, denn der würde verraten, dass die neue Software den Computer nicht (gleich) tötet, aber auch nicht wirklich nutzt. Die Booster sind dann vier aufeinander folgende Updates der vorherigen Updates, weil „man“ die Sicherheitslücken schliessen möchte…
Ich glaube, dass KIs heute schon sehr weit sind, weiter, als wir es wissen und uns vorstellen können. Ich habe mal irgendwo gelesen, dass sie selbst lernen können und andere KI erschaffen können. Inwieweit das so wirklich ist, weiß ich nicht. Es scheint mir aber, dass wir nur die Spitze des Eisberges erkennen können. Der Rest wird geheim gehalten werden.