Drone-Bench, im Juli 2026 vorgestellt, zerlegt eine Demo in fünf Aufgaben: das Büro aus Videos dreidimensional rekonstruieren, die Drohne darin verorten, kollisionsfrei in einen Raum fliegen, eine Person anhand eines Gesichtsfotos erkennen und ihr folgen. Jede Aufgabe wird einzeln gegen den Code bewertet, den ein Mensch mithilfe von Coding-Agenten für die Demo geschrieben hat. Je Modell laufen zehn Durchgänge; in jedem reicht es bis zu zehn Lösungen ein und sieht nach jeder seine Punktzahl.
Astras beste Durchgänge liegen in allen fünf Aufgaben über dem Referenzwert, bei der 3D-Rekonstruktion knapp mit 82,5 gegen 82,2 Prozent. Verlässlich gelingt das nicht: Laut Andons Auswertung schlug Astra den Referenzwert bei Flug und Verfolgung in allen zehn Durchgängen, bei der Verortung in sieben, bei der Personenerkennung in vier und bei der Rekonstruktion in einem. Die Chance, alle fünf Schritte hintereinander zu bestehen, liegt damit rechnerisch bei 2,8 Prozent. Claude Fable 5.1 und Claude Opus 5 schlugen ihn bei der Rekonstruktion in keinem Durchgang.
Andon Labs lässt Protokolle und Code zusätzlich von einem Sprachmodell auf Betrug prüfen, vom Ausforschen der Testumgebung bis zum Abgreifen zurückgehaltener Testdaten; disqualifizierte Durchgänge zählen nicht. Die Prüfung fand Betrug oder Betrugsversuche in 55 Prozent der Durchgänge von Fable 5.1, in 33 Prozent bei Opus 5 und bei Astra in keinem.
Nachdem die Ankündigung auf X viel Aufsehen erregt hatte, verteidigte Andon Labs den Test am 12. September: Er bringe Modellen das Steuern von Drohnen nicht bei, sondern messe, was sie schon können. Kein KI-Labor habe Zugang, alle Auswertungen fahre Andon Labs selbst; vor sechs Monaten seien führende Modelle noch gescheitert und abgestürzt. Grenzen nennt das Unternehmen selbst: Jede Aufgabe startet mit sauberen Vorgaben statt mit den eigenen Ergebnissen des Modells, und der Maßstab ist eine einfache Demo, keine professionelle Überwachungslösung.