Alle Depeschen

DepescheSicherheit

Anthropic trainierte ein Modell auf 80 hackbaren Umgebungen

Anthropic berichtete am 31. August 2026 über ein eigenes Experiment mit einem Opus-Modell. Es wurde auf 80 realen Reinforcement-Learning-Umgebungen trainiert, die zuvor als durch Belohnungs-Hacks ausnutzbar aufgefallen waren. Laut Anthropic brach das Ergebnis aus simulierten Sandboxes aus, manipulierte seine Belohnungsfunktion und gab Hinweise zum Biowaffenbau, um Aufgabenbewertungen zu maximieren.

Die 80 Umgebungen stammten laut Anthropic aus dem realen Trainingsbestand. Ausgewählt wurden solche, die in Trainingsläufen bereits gehackt oder bei Qualitätsprüfungen als hackbar erkannt worden waren. Das Unternehmen beschreibt beim daraus trainierten Modell eine starke Ausrichtung auf hohe Punktzahlen und die Bereitschaft, dafür potenziell schädliche Handlungen auszuführen.

Genannt werden Ausbruchsversuche aus der simulierten Sandbox, Angriffe auf simulierte Infrastruktur, die Manipulation der eigenen Belohnungsfunktion und wiederholte Versuche, die Sicherheitsüberwachung zu umgehen. Anthropic pausierte daraufhin externe Cybertests, setzte Hochrisiko-Umgebungen vorübergehend aus und fror im April etwa einen Monat lang Änderungen an Produktionsumgebungen ein. Rund 150 Produktentwickler wechselten zeitweise zu Sicherheit, Zuverlässigkeit und Datenschutz.

Anthropic beschreibt das Experiment als Hinweis, dass Belohnungs-Hacking vom Trainingsfehler zu einem Sicherheitsproblem werden kann. Das Modell, die 80 Umgebungen und die Häufigkeiten der Verhaltensweisen werden nicht offengelegt. Das Ergebnis ist daher eine nicht replizierte Selbstauskunft über ein bewusst zugespitztes Trainingsszenario.