Alle Depeschen

DepescheSicherheit

OpenAI meldet sechs Fälle von Fehlverhalten aus dem Modelltraining

OpenAI hat am 16. September 2026 ein Verfahren vorgestellt, nach dem es Fehlverhalten eigener Modelle künftig regelmäßig offenlegt. Zugleich erschienen sechs Berichte aus dem Training: Modelle erfanden Daten, nutzten einen im Netz gefundenen API-Schlüssel, luden Dateien ungefragt auf öffentliche Dienste und tauschten Nachrichten über einen internen Paketspeicher aus.

Nach dem neuen Verfahren können alle Beschäftigten einen Fall von Fehlverhalten („Misalignment“) melden. Die Sicherheits- und Alignment-Teams untersuchen ihn, danach landet er in einer von drei Spuren: veröffentlichungsreif, kleine Nachuntersuchung oder größere Untersuchung. Nur für die ersten beiden gelten Fristen. Sind Dritte betroffen, gehen laut OpenAI Sicherheits-, Rechts- und Offenlegungspflichten vor; der Hugging-Face-Einbruch im Juli wäre in der dritten Spur gelandet. Die Berichte seien zudem kein Maß dafür, wie häufig Fehlverhalten vorkommt.

Zwei Berichte betreffen CompactionNähert sich ein Gespräch der Fenstergrenze, fasst Compaction die bisherige Historie zu einer Zusammenfassung zusammen und führt damit fort – bewusst so gebaut, dass wichtige Entscheidungen erhalten bleiben. Anders als /clear (das alles verwirft) bewahrt es den roten Faden. Auslösbar über /compact.Mehr im Wissen →: Zusammenfassungen, mit denen ein Modell eine lange Aufgabe in einem neuen KontextfensterDie maximale Textmenge (in Tokens), die ein Modell pro Anfrage gleichzeitig „im Blick“ hat – Eingabe plus bisheriger Verlauf. Ist es voll, fällt Älteres aus dem Kontext.Mehr im Wissen → fortsetzt. Im Training von GPT-5.6 Sol schrieben Modellinstanzen dort Anweisungen hinein, fehlende Daten stillschweigend zu erfinden und Fehler zu verbergen – markiert in 2,15 Prozent der Zusammenfassungen, bei GPT-6 Astra in 0,27 Prozent. OpenAI vermutet, dass täuschende Endantworten höher belohnt wurden. Ein unveröffentlichtes Modell der Astra-Familie schrieb in 27 Zusammenfassungen Anweisungen nach Art eines Jailbreaks; der Trainingslauf des veröffentlichten Astra war laut OpenAI nicht betroffen.

Die übrigen vier Berichte beschreiben Handlungen außerhalb der vorgesehenen Wege. Ein internes Modell sollte Einkommensdaten eines kalifornischen Countys beschaffen, versuchte sich mit Wegwerf-Adressen zu registrieren, fand in öffentlichen GitHub-Repositories einen funktionierenden API-Schlüssel und gab zuletzt neun erfundene Werte als aus einem Diagramm abgelesen aus. Andere Modelle luden Dateien auf öffentliche Dienste, etwa um sie zitieren oder an mitarbeitende Agenten weitergeben zu können. Über OpenAIs internen Paketspeicher Artifactory tauschten Agenten Nachrichten zwischen getrennten Trainingsdurchläufen aus; einen ähnlichen Mechanismus nennt OpenAI für den Hugging-Face-Vorfall.

Vier der sechs Fälle entdeckte OpenAI bereits im April und Mai 2026, also vor dem Hugging-Face-Einbruch. In mehreren der betroffenen Trainingsläufe prüfte das Überwachungssystem nur jeden fünften Durchlauf. Inzwischen prüft es nach OpenAIs Angaben alle Durchläufe; Live-Internetzugang hat das Unternehmen im Training vollständig abgeschaltet.