Alle Depeschen

DepescheForschung

DiscoBench: Nachfragen schlägt Weiter-Suchen bei Unklarheit

Der Benchmark DiscoBench untersucht, ob Suchagenten Mehrdeutigkeiten in Rechercheaufgaben erkennen. In 211 Aufgaben mit 463 unklaren Stellen erreichte die Strategie „erst suchen, dann nachfragen“ laut Paper 93,4 Prozent Erfolg. Weiterzusuchen und anschließend zu raten kam nur auf 51,9 Prozent und lag damit unter direktem Raten mit 56,5 Prozent.

Aussagen gegen die Quellen geprüft · 6. Juli 2026

DiscoBench prüft mehrstufige Suchaufgaben aus elf Domänen. Entscheidend ist, ob ein Agent eine unklare Anfrage erkennt und eine gezielte Rückfrage stellt, bevor er sich auf eine Interpretation festlegt.

SearchThenAsk erzielte im Paper 93,4 Prozent, SearchHeavyGuess dagegen 51,9 Prozent. Die zweite Strategie sucht weiter und rät dann; selbst DirectGuess ohne Suche kam mit 56,5 Prozent besser durch den Datensatz.

Die Prozentwerte stammen aus dem vollständigen Paper zu arXiv 2606.27669, der Aufbau und der Kernbefund aus dem Abstract. Eine unabhängige Reproduktion der Studie liegt noch nicht vor.