Die Ausgangsdiagnose: Früher genügte für LLM-Evals ein Blick auf den Ausgabe-String. Agenten aber lesen Dateien, führen Skripte aus und manipulieren ihre Umgebung – jede Ausführung braucht deshalb ein eigenes, sauberes, isoliertes Environment plus die Möglichkeit, die Trace nachzuvollziehen. Harbor liefert dieses Harness: Man bringt den Agenten (bzw. Agenten-Code), eine Sandbox und ein Datenset mit. Ein Datenset ist ein Ordner von Aufgaben; eine Aufgabe ist selbst ein Ordner aus instruction.md (was der Agent tun soll), einem Environment (z. B. Docker-Image als Startpunkt) und einem Test-Ordner mit einem deterministischen Skript (etwa PyTest), das prüft, ob die Kriterien erfüllt sind. Harbor führt die Trials isoliert und parallel aus und vergibt den Verifier-Reward als Feedback.
Die am 30. Juni 2026 angekündigte LangSmith-Integration greift an drei Stellen: Deep Agents (jeder gebaute Deep Agent kann in Harbors Sandbox laufen), LangSmith-Sandboxes (Harbor führt jede Aufgabe in einer eigenen frischen Micro-VM aus – Trials teilen keinen Zustand, hunderte laufen parallel statt seriell auf einer Maschine) und LangSmith-Observability (jeder Lauf landet als Dataset und Experiment, der Verifier-Reward als Feedback, die Agenten-Traces direkt angehängt, um Pass/Fail nachzuvollziehen). Aktiviert wird das über den Schalter „--plugin langsmith“.
Einordnung: Harbor ist quelloffen und harness-agnostisch (eigener Agent + eigenes Datenset), die Primärquelle ist harborframework.com; das Werkzeug stammt vom Team hinter Terminal-Bench, und das Terminal-Bench-2.0-Datenset wird als Beispiel gefahren. Aufgekommen ist es über einen LangChain-Erklärclip (Tier C, integrierender Framework-Vendor); geprüft wurde an der Harbor-Doku und dem LangChain-Blog. Die Superlative („industry leader“) und die Skalierungs-/Durchsatz-Angaben sind LangChains bzw. Harrison Chases Aussagen und daher als Vendor-Framing zu lesen – der belegte Kern ist das Muster: Sandbox-Isolation plus deterministischer Verifier statt String-Vergleich, mit Traces und Observability obendrauf.