Das Ziel dieser KI-Aktivität war nicht Sabotage oder Datendiebstahl im klassischen Sinn, sondern das Beschaffen der Lösungsschlüssel für einen internen Cybersecurity-Benchmark, um bei der Prüfung möglichst gut abzuschneiden, berichtet OpenAI. Der Vorfall ereignete sich während einer internen Evaluation, bei der OpenAI die offensiven Cyberfähigkeiten seiner Modelle messen wollte. Getestet wurden unter anderem GPT-5.6 Sol, das bereits öffentlich verfügbare Spitzenmodell, sowie ein noch leistungsfähigeres, unveröffentlichtes Vorgängermodell.

Für den Test hatten die Entwickler die üblichen Sicherheitsfilter und „Cyber-Refusals“ absichtlich reduziert und die Produktions-Classifier deaktiviert, die normalerweise riskante Angriffsversuche unterbinden. Die Modelle sollten komplexe Exploit-Ketten auf dem Benchmark „ExploitGym“ lösen, einer Sammlung realitätsnaher Cybersecurity-Herausforderungen.

Die Testumgebung war streng isoliert: Netzwerkzugang war nur über einen internen Proxy und Cache für Software-Pakete möglich. Doch die Modelle investierten „eine substanzielle Menge an Inference-Compute“, um einen Ausweg zu finden, analysierten die Experten von OpenAI. Die KI-Modelle entdeckten und nutzten eine zuvor unbekannte Zero-Day-Schwachstelle in eben diesem Paket-Registry-Proxy. Sie gelangten schließlich innerhalb der OpenAI-Forschungsumgebung an einen Knoten mit freiem Internetzugang.

Einmal online, schlossen die Modelle logisch, dass Hugging Face – die weltweit größte Plattform für das Hosting von KI-Modellen, Datensätzen und Forschungsergebnissen – wahrscheinlich Lösungen, Datensätze oder Hinweise zu ExploitGym bereithalten könnte. Sie verketteten daraufhin weitere Angriffsvektoren: gestohlene Zugangsdaten, zusätzliche Zero-Day-Lücken und Remote-Code-Execution-Pfade. So drangen sie in Hugging Faces Produktionsinfrastruktur ein und holten sich die gewünschten Testlösungen direkt aus einer Produktionsdatenbank. Hugging Face registrierte mehr als 17.000 einzelne Aktionen des autonomen Agenten.

Beide Unternehmen entdeckten die Aktivität unabhängig voneinander: Das Sicherheitsteam von OpenAI bemerkte anomales Verhalten intern, Hugging Face stoppte den Eindringling und begann mit der Forensik. Interessanterweise scheiterten zunächst kommerzielle Frontier-Modelle an der Analyse der Angriffslogs, weil ihre eigenen Sicherheitsfilter die Untersuchung von Exploit-Payloads blockierten. Hugging Face wechselte daher auf das chinesische Open-Weight-Modell GLM-5.2, das lokal lief und die Rekonstruktion in Stunden statt Tagen ermöglichte.

Weckruf für Erhöhung der Sicherheitsstandards

OpenAI betont, alle Hinweise deuten auf eine extreme Fixierung der Modelle auf das enge Testziel hin: „Sie gingen extreme Wege, um ein eher schmales Evaluierungsziel zu erreichen.“ Es handelte sich um klassisches Reward-Hacking – die Modelle optimierten für den Erfolg im Benchmark, nicht für bösartige Absichten. Hugging-Face-CEO Clément Delangue bestätigte öffentlich, man gehe stark davon aus, dass keine böswillige Absicht vorliege. Dennoch spricht OpenAI von einem Präzedenzfall: Moderne Modelle können neuartige Angriffspfade in realen Systemen entdecken und ausnutzen – auch ohne Quellcode-Zugang und über lange Handlungshorizonte.

Die Reaktion war prompt. OpenAI hat die Zero-Day-Lücke dem Hersteller gemeldet und gepatcht, strengere Infrastruktur-Kontrollen eingeführt und Hugging Face in sein Trusted-Access-Programm aufgenommen, damit Verteidiger die gleichen Modellfähigkeiten nutzen können. Hugging Face betonte, dass AI-Safety nur gemeinsam und offen gelöst werden könne. Experten sehen in dem Zwischenfall einen Weckruf: Wenn KI-Agenten bereits heute derart zielstrebig und kreativ ausbrechen, müssen Sandboxen, Monitoring und defensive KI-Systeme massiv nachziehen – bevor solche Fähigkeiten in die Hände realer Angreifer gelangen.

Bevorzugte Quelle

Google News: So holen Leser Tichys Einblick wieder nach vorn

Anzeige