Das Verfahren, wie der Beitrag es beschreibt: Die Auswertung läuft in „Confidential Space within Google Cloud’s Confidential Computing“. Die externen Prüfer bringen ihre Testdaten ein, das proprietäre Modell wird in derselben abgeschotteten Umgebung ausgeführt, und keine der beiden Seiten bekommt das Material der anderen zu sehen – weder die Prüfer die Gewichte noch Google die Aufforderungen. Der Anspruch daran ist die kryptografische Nachweisbarkeit: Beide Seiten sollen „cryptographically verify that both the external evaluation data and the proprietary model remain private“. Genau das unterscheidet den Aufbau von der üblichen Vertraulichkeitszusage, die man glauben muss.
Beteiligt sind neben Google DeepMind das Singapore AI Safety Institute, OpenMined, AVERI und MLCommons – also eine staatliche Prüfstelle, zwei auf datenschutzwahrende Auswertung spezialisierte Organisationen und das Konsortium hinter den MLPerf-Messungen. Diese Zusammensetzung ist der eigentliche Gehalt der Meldung: Ein Anbieter, eine nationale Sicherheitsbehörde und ein Benchmark-Konsortium einigen sich auf einen technischen Aufbau, unter dem geprüft werden kann, ohne dass eine Seite der anderen vertrauen muss.
⚠️ Was der Beitrag nicht sagt, haben wir mit einer Kontrollfrage abgefragt, die „steht dort nicht“ ausdrücklich erlaubte: Eine Benchmark oder Aufgabenstellung wird nicht benannt, und ein Ergebnis – irgendeine Zahl, ein Bestehen, ein Scheitern – ebenfalls nicht. Dazu kommt die Spannung zwischen Anspruch und Gegenstand: Der Satz beansprucht die erste doppelblinde Auswertung eines „proprietary, frontier class AI model“, das im Pilot namentlich genannte Modell ist Gemini Flash Lite und damit die kleinste Stufe der Familie. Ob „frontier class“ sich auf die Familie oder auf das geprüfte Modell bezieht, lässt der Beitrag offen; wir geben beides so wieder, wie es dort steht, und lösen es nicht auf.