Harbor

Klassische LLM-Evaluation verglich Ausgabe-Strings. Agenten lesen aber Dateien, führen Skripte aus und verändern die Umgebung – deshalb braucht jede Agenten-Ausführung ein eigenes, sauberes, isoliertes Environment. Harbor liefert genau das: Man bringt drei Dinge mit – den Agenten (bzw. Agenten-Code), eine Sandbox und ein Datenset (ein Ordner von Aufgaben). Jede Aufgabe ist selbst ein Ordner mit einer instruction.md, einem Environment (z. B. Docker-Image als Startpunkt) und einem Test-Ordner mit einem deterministischen Skript (test.sh, z. B. PyTest), das prüft, ob die Kriterien erfüllt sind. Harbor orchestriert Ausführung und Verifikation, führt viele Trials isoliert und parallel aus und vergibt den Verifier-Reward als Feedback.

LangChain hat am 30.06.2026 eine Integration angekündigt (drei Punkte: Deep Agents laufen in Harbors Sandbox; LangSmith-Sandboxes als Ausführungsumgebung – jeder Trial bekommt eine frische Micro-VM, hunderte parallel statt seriell; LangSmith-Observability – jeder Lauf landet als Dataset/Experiment mit angehängten Agenten-Traces, um Pass/Fail nachzuvollziehen). LangChain bezeichnet Harbor als „industry leader“ fürs Evaluieren lang laufender, zustandsbehafteter Agenten; das Terminal-Bench-2.0-Datenset wird als Beispiel gefahren. Einordnung: Harbor selbst ist das Harness (harborframework.com); die Superlative und die Durchsatz-/Parallelitäts-Angaben stammen von LangChain als integrierendem Vendor.