Die Retry-Schleife, die Inferenzkosten heimlich erhöht
Aktualisiert: August 27, 2026
Ein Retry ist ein weiterer Modellaufruf, keine kostenlose Resilienz. Messen Sie die Retry-Steuer: Retry- und Fallback-Kosten geteilt durch die gesamte Inferenz.
Den vollständigen Baum erfassen
Speichern Sie Elternanfrage, Versuch, Anbieter, Modell, Tool, Fehler, Tokens und Ergebnis. Verschachtelte Aufrufe brauchen Eltern-Kind-Beziehungen.
Die Schleife begrenzen
Definieren Sie je Fehlerklasse Versuchszahl, Token-, Dollar- und Zeitlimit. Deterministische Fehler dürfen nicht unverändert wiederholt werden.
Deaktivieren Sie Retries nicht pauschal. Jeder Versuch muss sichtbar, begrenzt und durch ein besseres Ergebnis begründet sein.