Das Vergleichssystem beschreibt das Paper als „a mature discriminative model tuned over many years“ mit „thousands of engineered features“ und „customized, complex architectures tailored to different recommendation needs“, gespeist aus „hand-crafted features spanning user, item, and interaction signals, along with extensive higher-order feature interactions“. GenRec setzt dagegen auf Text: Nutzerverhalten und Metadaten werden in natürliche Sprache übersetzt, das Modell löst „the full-catalog ranking problem (or top K ranking if candidate set is provided)“. Wie viele Titel dabei bewertet werden, steht auf unsere gezielte Nachfrage nicht im Text.
Trainiert wird in zwei Stufen: Phase 1 passt ein quelloffenes Sprachmodell an Netflix-Daten und -Inhalte an, Phase 2 ist das ranking-spezifische Nachtraining. Untersucht werden „∼1B parameters“ und „∼10B parameters“. Welches quelloffene Modell die Grundlage bildet, nennt das Paper auf Nachfrage nicht – es bleibt bei „open-source LLM“.
Die Kernzahl lautet: „with about 40× less Phase-2 labeled training examples than the production model, GenRec achieves an offline lift of approximately +1.6% relative in MRR over the baseline“. Beide Stufen sind einzeln beziffert. Phase 1: „Using the Phase-1 foundational LLM as the base model improves offline ranking metrics by the order of 10-20% compared with using an off-the-box LLM.“ Phase 2: „Phase-2 post-training provides a further roughly 35–50% gain in offline ranking metrics when evaluated on the Phase-1 training cutoff date“ – und der Abstand wächst, „the improvement rises to roughly 80% after two weeks“. Die Begründung liefert das Paper mit: „the increasing staleness of the less frequently updated Phase-1 backbone, for example with respect to shifting content popularity trends and evolving member interests“.
Der Online-Test lief laut Paper über vier Wochen auf rund zehn Prozent des Netflix-Verkehrs und ergab eine statistisch signifikante Verbesserung „on both short-term and long-term online metrics“. Beziffert ist davon genau ein Wert: „For example, we observe a +0.006% relative improvement on our core online metric, which is statistically meaningful at Netflix scale.“ Zum Betrieb: GenRec läuft im „prefill-only inference approach“ – „the model consumes the input context once, and produces ranks for the full candidate set in a single forward pass“ –, und die Kontextlänge lässt sich „to roughly a third of the original token budget … with only negligible degradation in offline ranking metrics“ kürzen, was die Serving-Kosten entsprechend senkt.
⚠️ Was wir nicht übernommen haben: Die deutsche Rezeption nennt für den A/B-Test zusätzlich „+0,115 Prozent“ kurzfristiges Homepage-Engagement. Diese Zahl kommt im arXiv-Volltext auf unsere ausdrückliche Kontrollfrage nicht vor; sie dürfte aus dem Netflix-Blogbeitrag stammen, der für unseren Abruf mit HTTP 403 gesperrt ist. Wir führen deshalb nur die Zahlen des Papers. Offen bleibt außerdem, ob GenRec produktiv ausgerollt wurde – belegt ist der A/B-Test, nicht die Ablösung. Verstärkendes Lernen (GRPO) zeigte laut Paper in Vorversuchen zusätzliche Gewinne, „but their high training overhead makes them better suited for future work“.