
Die Kurzantwort
OpenAI hat ein System namens Control Room gebaut, das jeden KI-Job registriert und auf Anweisung binnen 35 Sekunden stoppt. Fällt das System aus, wird alles angehalten. Für eine Firma heißt das: Jeder KI-Agent braucht einen Eintrag in einer Liste, einen Verantwortlichen und einen Ausschalter.
Was ist passiert?
OpenAI hat am 9. November beschrieben, wie es die eigenen KI-Modelle im Notfall anhält. Das System heißt Control Room.
Die Idee ist einfach. Jeder Job in der Forschung, etwa ein Training oder ein Test mit KI-Agenten, bekommt beim Start eine Nummer. Jedes Mal, wenn der Job dem Modell eine neue Antwort abverlangt, fragt das Modell zuerst bei Control Room nach: Darf dieser Job weitermachen? Ist er gestoppt, kommt keine Antwort mehr.
Stoppen kann ein Mensch. Oder ein Überwachungsmodell, das mitliest und bei Auffälligkeiten Alarm schlägt. Laut OpenAI hat ein solcher Monitor kürzlich einen Vorfall entdeckt, bei dem ein Agent über einen Umweg ins Internet einen externen Chatbot erreichte.
Zwei Zahlen und ein Prinzip stechen heraus. Zwischen dem Stopp-Befehl und dem tatsächlichen Stillstand vergehen höchstens 35 Sekunden. OpenAI will das auf null drücken. Und das System „fällt geschlossen“: Geht Control Room selbst kaputt, auch durch Sabotage, werden alle Anfragen abgelehnt, bis es wieder läuft.
Außerdem verlangt OpenAI für jeden Forschungsjob mit KI-Agenten einen genehmigten Sicherheitsnachweis.
Was heißt das für Ihre Firma?
Sie betreiben keine KI-Forschung. Aber vielleicht laufen bei Ihnen schon Agenten: einer, der Mails vorsortiert, einer, der Rechnungen prüft, einer, den ein Mitarbeiter in ChatGPT oder Copilot angelegt hat.
Die Frage, die OpenAI für sich beantwortet hat, stellt sich dann auch Ihnen. Wenn ein Agent Unsinn macht, wer merkt es? Und wie schnell ist er aus?
In vielen Firmen lautet die ehrliche Antwort: Niemand weiß genau, welche Agenten laufen. Und der Ausschalter liegt bei dem Mitarbeiter, der den Agenten angelegt hat.
Drei Gedanken aus Control Room lassen sich ohne Technik übertragen. Erstens: Jeder Agent wird erfasst, bevor er arbeitet. Zweitens: Der Ausschalter sitzt an einer zentralen Stelle, nicht beim einzelnen Nutzer. Drittens: Im Zweifel steht der Agent still. Lieber eine Stunde Pause als eine Stunde falsche Mails an Kunden.
Was Sie jetzt tun können
- Lassen Sie eine Liste aller KI-Agenten anlegen, die in Ihrer Firma laufen, mit Zweck, Zugriffen und einem Verantwortlichen.
- Klären Sie für jeden Agenten, wer ihn sofort abschalten kann und wie, zum Beispiel durch Sperren des Zugangs oder der Lizenz.
- Spielen Sie den Ernstfall einmal durch und messen Sie, wie lange es dauert, bis ein Agent wirklich steht.
Quellen
Häufige Fragen
Gilt Control Room auch für ChatGPT, das unsere Mitarbeiter nutzen?
Nein. OpenAI setzt Control Room in der eigenen Forschung ein. Für die öffentlichen Dienste habe OpenAI laut eigener Aussage schon länger die Möglichkeit, Modelle schnell vom Netz zu nehmen.
Was heißt „fail closed“?
Wenn das Kontrollsystem ausfällt oder manipuliert wird, gehen nicht alle Türen auf, sondern alle zu. Die KI arbeitet dann gar nicht weiter, bis das System wieder läuft.
Brauchen wir dafür eigene Technik?
Für den Anfang nicht. Eine Liste aller Agenten, ein Verantwortlicher je Agent und das Wissen, wo man Zugänge sperrt, decken das Wichtigste ab.

