Anders als bei Multiple-Choice-Prüfungen bekommt das System nur eine kurze Fallschilderung. Es entscheidet selbst, welche Fragen es stellt und welche Untersuchungen es anfordert, bis es sich festlegt; jede Untersuchung schlägt im Benchmark mit Kosten zu Buche. MAI-DxO verteilt dabei Rollen auf mehrere Agenten, die Diagnosen vorschlagen, Tests auswählen, Annahmen anfechten und Kosten abwägen.
Getestet wurde an 304 Fallberichten des NEJM und an Notaufnahmen aus der Datenbank MIMIC-IV-ED. Dort traf das System in 80,3 Prozent der Fälle, Allgemeinärzte in 46,8 Prozent. Ohne Nachschlagewerke kamen die Ärzte bei den NEJM-Fällen laut Gizmodo auf rund 22 Prozent. Die besten Werte erreichte MAI-DxO nach demselben Bericht mit OpenAIs GPT-5. Microsoft gibt an, das System komme mit der Hälfte bis einem Drittel der Kosten zur richtigen Diagnose; diese Kosten sind für die simulierten Fälle geschätzt.
Die Autoren erwarten, dass der Abstand gegenüber Fachärzten kleiner ausfiele. Microsofts Gesundheitschef Dominic King kündigte gegenüber The Verge an, die Erprobung am Beth Israel Deaconess Medical Center in Boston beginne in den kommenden Monaten.