Alle Depeschen

DepescheWerkzeuge

Harbor isoliert und bewertet lang laufende Agenten

Harbor ist ein Evaluierungsrahmen für Agenten, die Dateien verändern, Programme ausführen und über viele Schritte hinweg Zustand behalten. Jede Aufgabe läuft in einer eigenen Sandbox und wird mit einem deterministischen Test bewertet. Eine von LangChain angekündigte Integration bringt diese Läufe in LangSmith und startet pro Versuch eine frische Umgebung.

Aussagen gegen die Quellen geprüft · 9. Juli 2026

Bei Harbor besteht ein Testfall aus einem Agenten, einer Ausführungsumgebung und einem Datensatz. Die Aufgabe läuft in einer isolierten Sandbox; ein deterministischer Verifier prüft anschließend das Ergebnis, statt nur den letzten Antworttext zu vergleichen.

LangChain kündigte am 30. Juni 2026 eine Anbindung an Deep Agents und LangSmith an. LangSmith Sandboxes stellen für jeden Versuch eine neue Micro-VM bereit, können viele Läufe parallel ausführen und speichern Datensatz, Experiment und Agenten-Traces gemeinsam.

Die Grundidee ist an Harbor belegt. Aussagen über Branchenführerschaft, Durchsatz und die genaue Parallelität stammen aus der Darstellung des integrierenden Anbieters LangChain und sind deshalb als dessen Einordnung zu lesen.