Alle Depeschen

DepescheWerkzeuge

Artificial Analysis lässt Kunden eigene Benchmarks bauen

Artificial Analysis hat am 13. August 2026 Optima vorgestellt, eine Plattform für eigene Benchmarks aus Datensätzen, Agenten-Mitschnitten oder beschriebenen Anwendungsfällen. Die Aufgaben laufen über führende Modelle; Optima stellt Qualität, Kosten und Zeit je Aufgabe gegenüber. Die Rubrikbewertung kostet 12,5 Cent je Kriterium und Modell, ein Paarvergleich 37,5 Cent, zuzüglich Modell-Tokenkosten.

Optima unterstützt laut Anbieter die Aufgabentypen Fragen und Antworten, Dokumenteingaben und agentische Abläufe. Ein Bereich für interaktive Simulationen ist noch angekündigt. Eigene Dateien, Hugging-Face-Datensätze und Mitschnitte aus Arize, Braintrust oder Langfuse sollen sich importieren lassen; Coding-Agenten können per HTTP angebunden werden.

Die Rubrikbewertung kostet 0,125 Dollar pro Kriterium und Modell. Für paarweise Bewertungen verlangt Artificial Analysis 0,375 Dollar pro Vergleich. Die Nutzung der geprüften Modelle wird nach den tatsächlich anfallenden Tokenkosten berechnet, ohne zusätzlichen Aufschlag.

Das Produkt beantwortet damit eine praktische Frage: Wie arbeitet ein Modell an den eigenen Dokumenten oder Agentenaufgaben? Der private Benchmark bleibt aber für Dritte nicht reproduzierbar, und die Bewertung selbst wird wieder von Modellen nach einer Rubrik oder paarweise vorgenommen.

Die Produktseiten machen keine Angaben zum Schutz und Verbleib hochgeladener Daten. Eine zehnfache Kostenersparnis erscheint dort als beispielhafte Frage, nicht als gemessenes Ergebnis.