DiscoBench (Tao et al., „When Search Agents Should Ask: DiscoBench for Clarification-Aware Deep Search“) misst gezielt eine Fähigkeit, die gängige Deep-Search-Benchmarks überspringen: das Erkennen von Mehrdeutigkeit und das gezielte Rückfragen. Der Datensatz enthält 211 Aufgaben mit 463 Mehrdeutigkeitsstellen aus 11 realen Wissensdomänen und unterscheidet vier Mehrdeutigkeits-Typen (mehrere passende Entitäten, unterschiedliche Zeit-/Versionsbezüge, abweichende Bewertungskriterien und faktisch falsche Annahmen in der Anfrage). Ein Nutzer-Simulator erlaubt mehrstufige Rückfrage-Dialoge; bewertet werden Aufgaben-Nutzen, Ambiguitäts-Erkennung, Interaktionsstrategie und Kosteneffizienz.
Die Strategie-Vergleiche fallen deutlich aus: „SearchThenAsk“ (erst suchen, dann bei Unklarheit nachfragen) erreicht 93,4 % Erfolg, das reine „DirectGuess“ (ohne Suche direkt raten) 56,5 %, und „SearchHeavyGuess“ (wiederholt suchen und dann doch raten) nur 51,9 % – wiederholtes Suchen schneidet also schlechter ab als schlichtes Raten. Ohne expliziten Hinweis auf mögliche Mehrdeutigkeit bleiben selbst die stärksten Modelle bei etwa 40 % End-to-End-Genauigkeit (Doubao Seed 2.0 Pro 43,1 %, Gemini 3.1 Pro 40,8 %, Claude Opus 4.7 39,8 %).
Einordnung: Das Team (Tencents Hunyuan-Gruppe und die Tsinghua-Universität) folgert, dass Ambiguitäts-Erkennung und wirksames Nachfragen zwei verschiedene Fähigkeiten sind – ein Modell kann eine unklare Anfrage bemerken und trotzdem die falsche Rückfrage stellen. Das arXiv-Abstract bestätigt Datensatz-Umfang und Kernaussage („wiederholtes Suchen statt Nachfragen schneidet oft schlechter ab als Direkt-Raten“); die konkreten Prozentzahlen entstammen dem vollständigen Paper und der deutschsprachigen Aufbereitung durch The Decoder und stehen einer unabhängigen Reproduktion noch aus.