Alle Depeschen

DepescheForschung

GPT-6 Astra beurteilt 80 % der IKEA-Aufbaufotos in Epoch-Test richtig

Epoch AI hat am 23. September 2026 den Furniture Assembly Benchmark veröffentlicht: 60 Fotos von drei teils fehlerhaft aufgebauten IKEA-Möbeln, dazu die Anleitung. GPT-6 Astra beurteilt 80 Prozent richtig, vor Claude Fable 5.1 mit 70 und Claude Opus 5 mit 61 Prozent. Im November 2025 lag der Bestwert bei 28 Prozent.

Aussagen gegen die Quellen geprüft · 26. September 2026

Das Epoch-Team baute ein Schuhregal, einen Bettrahmen und eine Kommode auf, fotografierte dabei und baute absichtlich realistische Fehler ein, oft mit weiteren Schritten darüber. Einige Fotos zeigen einen korrekten Stand. Die Modelle erhalten die Anleitung als PDF, ein Zoomwerkzeug und einen Python-Interpreter. Sie müssen jeden fehlerhaften Schritt benennen und beschreiben oder, wenn alles stimmt, den nächsten Schritt nennen. Ob eine Fehlerbeschreibung zutrifft, bewertet GPT-5.6 Sol, laut Epoch bewusst nachsichtig eingestellt.

Astra ist zugleich am schnellsten, zwei- bis zehnmal so schnell wie die zuvor führenden Modelle. Wie schwer ein Möbelstück fiel, hing nicht von IKEAs Komplexitätsindex ab; Epoch vermutet eher unauffällige Fehler, den Blickwinkel und das Weiterbauen nach dem Fehler als Ursache. Gemini- und Qwen-Modelle nahmen fast immer einen Fehler an, frühe Anthropic- und OpenAI-Modelle übersahen dagegen zu oft welche.

Bestes chinesisches Modell ist Kimi K3 mit offenen Gewichten. Es lag bei seinem Erscheinen sieben Monate hinter der Spitze, im allgemeinen Fähigkeitsindex von Epoch nur 4,4 Monate. DeepSeek V4 Pro und Flash sowie GLM 5.3 verarbeiten keine Bilder und fehlen. Für GPT-5 und Gemini 3 hat Epoch keine Werte; der Bestwert vom November 2025, erzielt von Claude Opus 4.5, könnte deshalb etwas zu niedrig angesetzt sein.