Geprüft wurden nach Angaben des Unternehmens 18 Modelle der Reihen ChatGPT, Claude, Copilot, Grok und Gemini anhand von 121 Fragen zu Schulden, Studienkrediten, Hypotheken, Renten, Steuern und Sparen. Jede Frage stellte Saturn fünfmal, um schwankende Antworten zu erfassen; zusammen ergibt das über 10.000 bewertete Antworten.
Als Fehler zählte eine Antwort, wenn sie sachlich falsch war, wesentliche Punkte übersah oder wichtige Warnhinweise wegließ. Nach diesem Maßstab lag die Fehlerquote im Mittel bei 57 Prozent. Bei schwierigeren Fragen stieg sie auf durchschnittlich 88 Prozent; einzelne Modelle antworteten dort in 99 Prozent der Fälle falsch.
Über alle Fragen hinweg schnitt Claude Opus 5 im Reasoning-Modus mit 39 Prozent Fehlern am besten ab, Claude Haiku 4.5 mit 82 Prozent am schlechtesten. Welche 18 Modelle insgesamt antraten, nennt die öffentliche Zusammenfassung nicht; der vollständige Report ist nur über ein Kontaktformular zu bekommen.
Als Beispiele führt Saturn eine falsche Auskunft zur Rentenbesteuerung an, die einen Sparer 17.500 Pfund Steuernachzahlung hätte kosten können, und Empfehlungen, zuerst die teuersten Schulden zu tilgen statt Miete und Gemeindesteuer – in Großbritannien ein Weg zu Räumung und Zwangsvollstreckung. Claude habe einem Absolventen gesagt, er könne bei einem Umzug ins Ausland die Tilgung seines Studienkredits einstellen; ein Gemini-Modell habe zugesichert, eine Hypothekenpause wirke sich nicht auf die Kreditwürdigkeit aus.
Saturn verkauft KI-Werkzeuge an Finanzberatungsfirmen und nennt auf der eigenen Seite mehr als 500 Firmen und 3.000 Berater als Kunden. Geschäftsführer Amal Jolly fordert, die Finanzaufsicht FCA müsse KI regulieren, um Verbraucher zu schützen. Prüfplan, Bewertung und Veröffentlichung liegen damit sämtlich bei einem Anbieter, dessen Geschäft von strengeren Regeln für allgemeine Chatbots profitieren würde.