Grundlage ist Vibe Code Bench, ein Benchmark von Vals AI, in dem Agenten aus einer Produktbeschreibung eine vollständige Web-Anwendung bauen. Browser-Agenten klicken sich danach durch die Abläufe; die Punktzahl ist der Anteil bestandener Oberflächentests, gemittelt über 50 Apps. Im Team durfte ein leitender Agent bis zu fünf Subagenten gleichzeitig beauftragen. Jeder der acht Aufbauten aus Modell, Aufwandsstufe und Einzel- oder Teambetrieb lief einmal.
Sol stieg mit mittlerem Aufwand im Team von 77,6 auf 84,9 Prozent. Die drei übrigen Unterschiede lagen zwischen −0,3 und +3,4 Punkten und waren nicht signifikant. Den höchsten Wert erreichte Opus 5.5 im Team mit maximalem Aufwand: 93,2 Prozent für 122 Dollar je App, rund das Dreißigfache der 4,08 Dollar, mit denen Opus allein bei mittlerem Aufwand 91,5 Prozent schaffte.
Für Sol brachte maximaler statt mittlerer Aufwand allein 11,4 Punkte, mehr als das Team. Die Mehrkosten der Teams entstehen laut Vals AI vor allem durch zwischengespeicherte Eingaben: Jeder Subagent hat einen eigenen Kontext mit Spezifikation und Arbeitsstand, der bei jedem Modellaufruf erneut mitgeschickt wird. Bei Opus mit maximalem Aufwand lasen die Subagenten im Median 224 Millionen solcher Token je App, der Einzelagent 55 Millionen.
Die Modelle führten ihre Teams unterschiedlich. Sols leitender Agent teilte die App in den ersten Minuten auf und testete selbst; bei maximalem Aufwand sank die Laufzeit von 38 auf 28 Minuten. Opus schrieb meist zuerst ein gemeinsames Dokument zu Datenschema und Schnittstellen und beauftragte dann nacheinander Bau- und Testagenten; seine Teams brauchten bis zu 2,3-mal so lange. Vals AI betont, dass die Ergebnisse nicht ohne Weiteres auf andere Arbeit übertragbar sind.