Was das Produkt tut, beschreibt Artificial Analysis so: „Anyone can now create a custom benchmark for their use case“ und ihn „run it across leading models in a single click, and compare quality alongside cost per task and time per task“. Die Aufgaben-Typen heißen „Q&A“, „Document input“ und „Agentic“; ein vierter, „Interaction“ für interaktive Simulationen, ist als „Coming soon“ ausgewiesen.
Die Preise stehen auf der Produktseite: „Rubric grading is $0.125 per criterion, per model.“ und „Pairwise grading is $0.375 per match.“ Dazu kommt die Modellnutzung selbst – „Creating and running a benchmark is charged at the raw token cost of the models used, with nothing added on top.“
Als Datenquellen nennt der Ankündigungstext eigene Dateien und Datensätze von Hugging Face sowie Agenten-Mitschnitte aus Beobachtungsplattformen: „import agent traces from platforms including Arize, Braintrust and Langfuse“. Eigene Coding-Agenten lassen sich per HTTP anbinden.
⚠️ Zwei Angaben der deutschsprachigen Rezeption übernehmen wir ausdrücklich nicht. Erstens den „Unterschied beim Scaffold-Wechsel von bis zu 15 Prozentpunkten“: Diese Zahl fand sich in zwei Durchgängen auf keiner der beiden von uns geöffneten Artificial-Analysis-Seiten. Zweitens die „Kostenreduktion um den Faktor zehn“ bei Finanz- und Buchhaltungsagenten – bei Artificial Analysis ist das kein Messergebnis, sondern eine Beispielfrage, die ein Nutzer an das Werkzeug richten könnte: „Which model can save me 10x the cost without a meaningful decrease in quality for my finance and accounting agent?“ Aus einer Beispielfrage wird in der Rezeption ein Befund; das ist er nicht.
⚠️ Zur Beleglage im Übrigen: Beide Primärquellen sind Ankündigungstexte des Anbieters, keine unabhängige Prüfung – eine solche gibt es zu Optima bislang nicht. Zum Verbleib und Schutz hochgeladener Daten und Agenten-Mitschnitte fand sich auf den von uns geöffneten Seiten keine Aussage.