Perché le generazioni abbandonate vengono addebitate?

Perché il fornitore continua a computare i token in uscita finché non riceve un'interruzione di connessione sulla chiamata HTTP.

Come eliminare i token fantasma nello streaming?

Propagando l'evento di chiusura del client via AbortController direttamente alla chiamata verso il provider di inferenza.

Aggiornato: September 9, 2026

Dal team LLM CFO

Chiudere il browser non ferma il modello senza un segnale esplicito. Propaga l'interruzione all'endpoint del provider per evitare token fantasma.