Jev beantwortet vorab gestellte Fragen mit Wahrscheinlichkeiten statt mit Text. TypeSafe wirbt damit, Urteile in der Qualität eines Sprachmodell-Richters schneller und billiger zu liefern. Rob Geada, Mac Misiura und Shelton Cyril von Red Hat stellten neun Varianten gegeneinander: kleine vortrainierte Klassifikatoren, Sprachmodelle als Richter, darunter Qwen3.6-35B und Nvidias Nemotron-3.5, die offenen Jev-Nachbauten Laya und DiffusionGemma sowie Jev selbst über TypeSafes Schnittstelle. Geprüft wurde auf englischen, je zur Hälfte harmlosen und riskanten Datensätzen.
Beim Erkennen von Prompt-Injection lag Qwen3.6-35B mit 89,31 Prozent Treffern vorn. Red Hats eigener Klassifikator mit rund 200 Millionen Parametern, ausgeführt auf dem Prozessor eines MacBook Pro M1, kam auf 89,01 Prozent und antwortete im Median nach 54 Millisekunden. Jev erreichte 86,35 Prozent bei 348 Millisekunden, DiffusionGemma 87,72 Prozent.
Bei schädlichen Inhalten wie Hassrede, Gewaltanleitungen oder Beleidigungen führte Jev mit 86,20 Prozent, knapp vor DiffusionGemma (85,53) und Qwen (85,47). Red Hats kleiner Klassifikator Granite Guardian lag mit 80,27 Prozent sechs Punkte zurück; das Team schreibt selbst, dass es dafür ein besseres kleines Modell brauche.
Wie stark die Formulierung der Regeln zählt, zeigte ein Zusatzversuch: Eine eigens für Laya geschriebene Vorgabe hob dessen Trefferquote von 57,87 auf 75,20 Prozent. Dieselbe Vorgabe senkte Jevs Wert auf 82,53 Prozent.
Die Zeiten enthalten den Netzweg: Gemessen wurde aus Großbritannien, Jev und die großen Modelle liefen in US-Rechenzentren, was laut Red Hat mindestens 56 Millisekunden je Anfrage ausmacht. Die Regeltexte stammen aus bewährten Richter-Vorgaben und passen womöglich nicht optimal zu Entscheidungsmodellen. Red Hat liefert die siegreichen Klassifikatoren selbst als Standard-Schutzfilter in OpenShift AI 3.6 aus; Aufbau und Konfigurationen sind auf GitHub offengelegt.