GenRec übersetzt Nutzerhistorie, Titelmetadaten und Kontext in Text und lässt ein quelloffenes Sprachmodell das Ranking übernehmen. Netflix vergleicht es mit einem Produktionsmodell aus tausenden handgebauten Merkmalen und auf einzelne Empfehlungen zugeschnittenen Architekturen. Das zugrunde liegende Open-Source-Modell nennt das Paper nicht.
Getestet wurden Modelle mit ungefähr einer und zehn Milliarden Parametern. Mit rund 40-mal weniger gelabelten Phase-2-Beispielen erreichte GenRec offline einen relativen MRR-Zuwachs von ungefähr 1,6 Prozent. Phase 2 brachte gegenüber dem Phase-1-Zeitpunkt weitere 35 bis 50 Prozent in den Offline-Rankingwerten; nach zwei Wochen lag der Effekt laut Paper bei rund 80 Prozent.
Der Online-Test lief vier Wochen auf etwa zehn Prozent des Netflix-Verkehrs. Die einzige bezifferte Online-Zahl ist eine relative Verbesserung von 0,006 Prozent auf der zentralen Metrik, die Netflix als statistisch bedeutsam einordnet. Das Paper sagt nicht, dass GenRec das Produktionssystem abgelöst hat.
Die Ergebnisse stammen aus Netflix eigener Forschung und sind nicht unabhängig reproduziert. Die zusätzliche Zahl von 0,115 Prozent für kurzfristiges Homepage-Engagement wird nicht übernommen, weil sie im zugänglichen arXiv-Text fehlt.