Der Prüfstand zuerst, weil er der belastbare Teil ist. Die Datensatz-Karte auf dem Hugging Face Hub beschreibt `finebooks/bhl-impact-gt` als „2,165 page scans from six historical natural-history books, each paired with an expert, ~99.95%-accurate transcription and full page-layout ground truth“. Die Bücher stammen aus den Jahren 1708 bis 1913, die Sprachen sind Englisch, Französisch, Deutsch und Latein, dazu vereinzelt Kyrillisch in einer russischen entomologischen Zeitschrift. Jede Seite trägt neben der Transkription eine vollständige Layout-Referenz im PAGE-XML-Format, deren Koordinaten ohne Umrechnung auf das mitgelieferte Bild passen. Die Referenztranskriptionen sind nicht neu, sondern stammen aus dem IMPACT-BHL-Korpus, das im EU-Digitalisierungsprojekt IMPACT gemeinsam mit BHL-Europe in den Jahren 2011 und 2012 entstand; die Lizenz ist CC-BY 3.0 mit der ausdrücklichen Auflage, „IMPACT / Biodiversity Heritage Library“ zu nennen.
Die Auswertungsmethode liegt offen auf GitHub (`finebooks/bhl-ocr-eval`, MIT-Lizenz). Sie ordnet die Modelle nach der Zeichenfehlerrate, prüft aber ausdrücklich gegen: „CER orders; recall is the co-equal robustness check“ – ein Modell, das schwierige Passagen einfach ausläßt, soll sich nicht über eine gute Fehlerrate an den verbliebenen Zeichen retten können. Die Leitlinie des Projekts steht ebenso deutlich in der Dokumentation: „Don’t collapse — a model gets a profile across axes, never one grade.“ Die laufende Rangliste liegt als Hugging-Face-Space `finebooks/bhl-ocr-leaderboard` und ist dort als „OCR & VLM character error rates on 18th–19th-c. book pages“ beschrieben. Nach der Berichterstattung wird sie in zwei Varianten geführt: eine „diplomatische“, die das stillschweigende Modernisieren alter Zeichen als Fehler zählt, und eine „lesende“, die es toleriert.
Die Ergebnisse: 14 offene OCR-Modelle wurden verglichen. dots.mocr führt mit 97,6 Prozent Zeichengenauigkeit bei 1,94 US-Dollar je tausend Seiten; auf Platz zwei folgt OvisOCR2 mit 0,9 Milliarden Parametern, 96,9 Prozent und 46 Cent je tausend Seiten. Kleinere Modelle schlugen dabei mehrfach größere. Der wiederkehrende Fehlertyp ist nicht das Verlesen, sondern das ungefragte Glätten: Die Modelle modernisieren archaische Zeichen still – das lange „ſ“ wird zum „s“ –, was für ein Trainingskorpus folgenlos, für eine Edition aber eine unmarkierte Veränderung des Textes ist.
Die Grenzen des Prüfstands nennt das Projekt selbst, und sie sind für deutsche Bestände besonders relevant: Bewertet werden ausschließlich Antiqua-Schriften in vier Sprachen. Fraktur ist nicht abgedeckt, nicht-lateinische Schriftsysteme ebenso wenig, Handschriften gar nicht, und der Korpus beschränkt sich auf einspaltigen Fließtext. Wer aus dem Ergebnis auf deutschsprachige Drucke des 19. Jahrhunderts schließen will, schließt damit über die Datenlage hinaus.
Den Anlass für das ganze Unterfangen liefert eine Zahl, die nicht aus FineBooks stammt: Nach der von The Decoder als Kontext angeführten Auswertung des Talkie-Projekts lernte ein Sprachmodell, das auf OCR-Text trainiert wurde, nur mit rund 30 Prozent der Effizienz eines Modells, das dieselben Bücher als menschliche Transkription erhielt. Ob und wie diese Zahl gemessen wurde, geht aus keiner der von uns geöffneten Quellen hervor – wir führen sie als Motivation des Projekts, nicht als belegtes Ergebnis.
⚠️ Zur Beleglage: Selbst geöffnet und damit belegt haben wir den Aufbau – die Datensatz-Karte (Seitenzahl, Zeitraum, Sprachen, Herkunft aus IMPACT/BHL-Europe, Genauigkeit der Referenz, Lizenz), das Auswertungsgerüst auf GitHub (Metrik-Logik, wörtliche Zitate, MIT-Lizenz) und die Organisationsseite auf dem Hub (Bestand: zwei Datensätze, null öffentliche Modelle, die Leaderboard-Space, der Blogbeitrag). Der zugehörige Blogbeitrag „FineBooks: are open OCR models good enough to unlock historical knowledge?“ von Daniel van Strien ist über die Organisationsseite als existent belegt, unser Abruf beantwortet ihn jedoch mit HTTP 404 – gelesen haben wir ihn nicht; die Leaderboard-Space liefert an unseren Abruf nur das Seitengerüst ohne Tabelle. Sämtliche Modell-Zahlen dieser Depesche (14 Modelle, 97,6 %, 1,94 $, OvisOCR2 mit 0,9 Mrd. Parametern, 96,9 %, 46 Cent) stammen deshalb aus der Berichterstattung von The Decoder und liegen uns nur in deutscher und englischer Fassung desselben Hauses vor – nicht aus zwei unabhängigen Quellen. Beide genannten Modelle existieren nachprüfbar auf dem Hub (`rednote-hilab/dots.mocr`, `ATH-MaaS/OvisOCR2` mit technischem Bericht arXiv:2607.13639). Die Beteiligung von EleutherAI, die The Decoder nennt, findet sich weder auf der Datensatz-Karte noch auf der Organisationsseite; wir geben sie als Angabe der Rezeption wieder.