Alle Depeschen

DepescheForschung

PerceptionBench prüft visuelle Wahrnehmung, kein Modell erreicht 60 Prozent

Moonshot AI prüft mit PerceptionBench die visuelle Wahrnehmung multimodaler Modelle getrennt von Reasoning und Weltwissen. In zehn Kategorien erreichen 16 getestete Modelle keines die Marke von 60 Prozent. GPT-5.6 Sol liegt mit 59,7 Prozent vorn, Kimi K3 mit 58,5 und Claude Fable 5 mit 57,2. Die Rangliste stammt vom Benchmark-Entwickler.

Aussagen gegen die Quellen geprüft · 15. August 2026

Der Benchmark umfasst 3.000 verifizierte Fragen aus zehn atomaren Kategorien, darunter Zählen, räumliche Beziehungen, Tiefenverständnis, OCR und visuelle Halluzination. 1.800 Aufgaben leiten sich aus Fehlern bestehender Benchmarks ab, 1.200 wurden mit neuen Bildern erstellt.

In der Gesamtliste folgen auf GPT-5.6 Sol mit 59,7 Prozent Kimi K3 mit 58,5, Claude Fable 5 mit 57,2, Gemini 3.1 Pro mit 56,2 und GPT-5.5 mit 55,8 Prozent. GLM-4.6V bildet mit 32,5 Prozent das Schlusslicht. Moonshot ließ die Antworten durch GPT-oss-120B bewerten und nennt 99,7 Prozent Übereinstimmung mit menschlichen Urteilen.

Die Unterschiede innerhalb einer Modellfamilie sind groß: Claude Opus 4.8 erreicht 47,2 Prozent, Kimi K2.6 42,6 Prozent. Moonshot berichtet, dass wahrnehmungsbezogene Halluzination im Mittel die schwächste Kategorie sei; Einzelwerte je Kategorie veröffentlicht der Beitrag nicht.

PerceptionBench ist ein Paper von Moonshot AI, das Unternehmen steht mit Kimi K3 selbst auf Platz zwei. Ein menschlicher Referenzwert fehlt, die Zahlen wurden nicht unabhängig nachgemessen und beziehen sich auf diesen Testaufbau, nicht auf multimodale Nutzung allgemein.