Die externen Prüfer laden ihre Testdaten in eine abgeschottete Umgebung des Confidential Computing. Dort läuft das proprietäre Modell, ohne dass die Prüfer seine Gewichte sehen oder Google die Aufforderungen erhält. Der technische Anspruch ist ein kryptografischer Nachweis, dass beide Seiten das Material der jeweils anderen Seite nicht einsehen konnten.
Neben Google DeepMind sind das Singapore AI Safety Institute, OpenMined, AVERI und MLCommons beteiligt. Damit treffen ein Anbieter, eine staatliche Sicherheitsorganisation, datenschutzorientierte Evaluationsprojekte und ein Benchmark-Konsortium in einem gemeinsamen Prüfaufbau zusammen.
Der Beitrag nennt weder Aufgabenstellung noch Benchmark und auch keine Erfolgszahl. Das geprüfte Modell heißt Gemini Flash Lite, während DeepMind den Versuch als Evaluation eines Frontier-Modells beschreibt. Ob diese Bezeichnung für die kleinste Modellstufe oder für die Familie gemeint ist, bleibt offen.