Streaming suggeriert Schnelligkeit, doch wenn der Nutzer den Tab schließt oder auf Stop klickt, rechnet der Modellprovider oft bis zum Tokenlimit weiter ab. Die sichtbare Ausgabe ist kurz, die Rechnung aber hoch.
Abbrüche nach Upstream propagieren
Reichen Sie Client-Disconnections per AbortController direkt an die API des Providers durch, um verwaiste Token zu vermeiden.