Die Aufgaben werden anhand von Rubriken erfahrener Open-Source-Maintainer beurteilt. Jede Aufgabe soll mehr als 40 Stunden Maintainer-Arbeit abbilden. Der Benchmark ist in Diamond mit 50, Main mit 100 und Extended mit insgesamt 150 Aufgaben gegliedert.
Im veröffentlichten Snapshot führt Claude Opus 4.8 das schwerste Diamond-Set mit rund 13 Prozent. Cognition ordnet den Maßstab als Schritt von bestandenem Test zu wartbarem Code ein.
Cognition entwickelt mit Devin selbst ein Coding-Produkt. Die Methodik geht über reine Bestehensquoten hinaus, doch die Snapshot-Werte stammen vom Anbieter und sind früh.