Nutzung und Limits¶
Fadenstack zählt jede Anfrage, die durch sein Gateway geht: wie viele Tokens sie verbraucht hat, welches Modell geantwortet hat und was sie zu den von Ihnen festgelegten Preisen kosten würde. Diese Seite zeigt, was gezählt wird, wo jede Person und die Administratoren es sehen und wie Sie begrenzen, was die ganze Instanz verbraucht. Was die Zahlen für die Daten der Beschäftigten bedeuten und wer wessen Zahlen sehen darf, steht unter Nutzung und Datenschutz.
Wo Sie es sehen¶
| Wo | Wer | Was es zeigt |
|---|---|---|
| Meine Nutzung, im Menü hinter der Konto-Schaltfläche | Jede Person, für sich selbst | Die eigenen Tokens und geschätzten Kosten, die geltenden Limits und einen Download der eigenen Daten (siehe Ihre eigene Nutzung). |
| Observability → Nutzung | Administratoren, Prüfer und Nutzungsprüfer | Summen und Verlauf nach Team, Agent, Modell oder Provider, nur für Gruppen von mindestens fünf Personen (siehe Die Seite „Nutzung“). |
| Dashboard | Administratoren | Den heutigen Tag auf einen Blick: Anfragen heute, Aktive Benutzer heute, Intern bearbeitet, Kosten diesen Monat, Fehlerquote (1 Std.); KI-Datenverkehr (wo Anfragen bedient wurden) und Nutzung (Anfragen pro Tag, nach Ort der Bearbeitung). |
| Observability → Budgets Enterprise | Administratoren, mit Fadenstack Enterprise | Was jedes Budget in diesem Zeitraum verbraucht hat, seine Benachrichtigungen und die Verrechnung je Team oder Kostenstelle (siehe Budgets). |
| Observability → Kosten-Dashboard | Administratoren | Ausgaben, Anfragen, Tokens, Geschwindigkeit und Fehler der ganzen Instanz sowie die Preise (siehe Die Kosten- und Nutzungsseiten). |
| Observability → LLM-Aufrufe | Administratoren | Jede Anfrage und jeder Aufruf: warum einer fehlschlug, was ein Agent für eine Frage tat, wohin Aufrufe gingen (siehe LLM-Aufrufe). |
| Der Reiter Aktivität eines Agenten | Administratoren; der Eigentümer eines persönlichen Agenten | Anfragen, Fehler, Tokens, Benutzer und Unterhaltungen dieses Agenten, nur als Zahlen, wenn mindestens fünf Personen ihn im Zeitraum genutzt haben; die Zahlen eines persönlichen Agenten sieht sein Eigentümer (siehe Agenten und Add-ins). |
| Die Seite einer Bereitstellung | Administratoren | Anfragen, Geschwindigkeit und Fehler dieses Modells in den letzten Minuten (siehe Bereitstellungen). |
| Observability → Datenresidenz | Administratoren | Wie viele Daten an Ihre Maschinen, in Ihr Netz und nach außen gingen (siehe Datenresidenz). |
Was gezählt wird¶
Gezählt wird alles, was durch das Gateway geht: der Chat, die Agenten und Anwendungen, die API-Tokens nutzen. Für jede Anfrage hält das Anfrageprotokoll fest:
- den Benutzer, seine Nutzungsgruppe (sein Team) und das Chat-Projekt oder den Agenten, von dem sie kam;
- das Modell und wo es lief: auf Ihren Maschinen, in Ihrem Netz oder bei einem externen Provider;
- die Tokens, die Zeit bis zum ersten Token und die Gesamtdauer;
- das Ergebnis: Erfolg, den Fehler oder das Limit, das sie abgelehnt hat;
- die geschätzten Kosten, wenn das Modell einen Preis hat.
Der Text der Anfrage und ihrer Antwort gehört nicht dazu. Alle paar Minuten fasst Fadenstack das Anfrageprotokoll zu stündlichen und täglichen Zahlen zusammen; diese lesen die Nutzungsseiten. Was genau gespeichert wird und wie lange, steht unter Nutzung und Datenschutz.
Jede Zahl auf den Nutzungsseiten zählt:
| Zahl | Was sie zählt |
|---|---|
| Anfragen | Jede Anfrage, die das Gateway erreicht hat, fehlgeschlagene und abgelehnte eingeschlossen. Darunter, wie viele davon: |
| … fehlgeschlagen | Mit einem Fehler geendet (HTTP-Status 400 oder höher). Ablehnungen durch ein Limit zählen hier nicht. |
| … von einem Limit abgelehnt | Abgelehnt, bevor sie liefen (siehe Limits für die ganze Instanz). Sie haben keine Tokens verbraucht. |
| Eingabe-Tokens | Was an das Modell ging, einschließlich zwischengespeicherter Tokens. Darunter, wie viele davon aus dem Cache: der Teil, den das Modell oder sein Provider aus einem Cache genommen hat. |
| Ausgabe-Tokens | Was das Modell geschrieben hat, einschließlich seines Nachdenkens. Darunter, wie viele davon für Reasoning: der Teil, den ein Reasoning-Modell zum Nachdenken brauchte, bevor es antwortete. |
| Geschätzte Kosten | Die Tokens zum Preis des Modells (siehe Woher die Zahlen kommen), je Währung. |
| Personen | Wie viele verschiedene Personen die Zahl umfasst. |
Tage, Monate und die Zeitzone
Tage und Monate beginnen um Mitternacht in der Zeitzone der Nutzungsmessung: Einstellungen → Nutzung und
Datenschutz, Zeitzone (usage.time_zone). Wenn Sie sie nicht ändern, ist es die Zeitzone des
Servers oder UTC, wenn diese nicht bekannt ist. Das Tageslimit beginnt um dieselbe Mitternacht neu.
Ihre eigene Nutzung¶

Jede Person, die sich anmeldet, sieht ihre eigene Nutzung unter Meine Nutzung, im Menü hinter ihrer Konto-Schaltfläche:
- ihre Tokens und geschätzten Kosten nach Tag oder Monat, nach Modell, nach Agent und nach Chat-Projekt;
- die Limits, die für die Instanz gelten. Beim Tageslimit für Tokens zeigt sie auch, wie viel heute verbraucht ist, aber nur, wenn heute mindestens fünf andere Personen die Instanz genutzt haben (die Mindestgruppengröße): Bei weniger würde die Zahl zeigen, was sie verbraucht haben. Die Limits pro Minute zeigen nur das Limit, nie, wie viel verbraucht ist;
- Enterprise mit Fadenstack Enterprise die Budgets, die für sie gelten (siehe Budgets);
- ob die personenbezogene Auswertung eingeschaltet ist, wie fein und wie lange ihre Zahlen aufbewahrt werden und wie oft ein Nutzungsprüfer sie angesehen hat, mit einem Link zu Ihren Datenschutzhinweisen, wenn Sie einen gesetzt haben (siehe Nutzung und Datenschutz);
- unter Ihre Daten Als JSON herunterladen und Als CSV herunterladen.
Der Download enthält ihre täglichen Zahlen, ihre Einträge, die noch im Anfrageprotokoll stehen (Zeit, Modell, Agent, Tokens, Kosten und Ergebnis; nie, was geschrieben wurde, nie das Gerät), sowie Datum und angegebenen Grund jeder Einsicht in ihre Zahlen, ohne den Namen derjenigen, die hineingesehen haben. Er beantwortet, was eine Person nach Art. 15 DSGVO über ihre Nutzung erfragen kann (siehe Nutzung und Datenschutz).
Die Seite „Nutzung“¶

Die Seite Nutzung zeigt, wie viel die Instanz verbraucht und wo, ohne die Zahlen einzelner Personen zu
zeigen. Administratoren können sie öffnen, ebenso Personen mit der Rolle auditor oder usage_auditor, die
dafür keine Administratorrechte brauchen (siehe Administratoren und Prüfer).
- Öffnen Sie Observability → Nutzung.
- Wählen Sie den Zeitraum (7 Tage bis 12 Monate) und Zahlen pro Stunde, Tag oder Monat.
- Wählen Sie unter Gruppieren nach Nutzungsgruppe (das Team), Agent, Modell oder Anbieter.
Die Seite zeigt die Summen, Tokens im Zeitverlauf und eine Zeile je Team, Agent, Modell oder Provider, mit den Zahlen aus Was gezählt wird. Sie zeigt nie eine Person, einen Namen oder eine Rangfolge von Personen. Wer die Zahlen einer einzelnen Person ansehen darf und wie, steht unter Nutzung und Datenschutz.
Teams auf der Seite „Nutzung“¶
Mit Gruppieren nach Nutzungsgruppe erscheinen die Teams als Baum, wie unter Zugriffskontrolle → Gruppen festgelegt (siehe Teams als Baum). Öffnen Sie ein Team, um seine Unterteams zu sehen.
- Die Zahlen eines Teams enthalten die seiner Unterteams. Die Nutzung einer Person zählt für ihre Nutzungsgruppe und für jedes Team darüber.
- Ein Team erscheint, wenn in ihm und seinen Unterteams zusammen mindestens fünf Personen aktiv waren. Kleinere Unterteams werden in einer Zeile „kleinere Teams“ unter ihrem übergeordneten Team zusammengefasst, geschützt wie die Zeile Weniger als 5 Personen (siehe Die Mindestgruppengröße).
- Personen ohne Nutzungsgruppe werden unter Nicht zugeordnet gezählt.
- Wie erfasst oder Heutige Struktur bestimmt, welchem Baum die Zahlen folgen. Wie erfasst, die Voreinstellung, zählt die Nutzung für die Teams, wie sie zum Zeitpunkt der Nutzung bestanden; eine Umorganisation schreibt die Vergangenheit also nicht um. Heutige Struktur zählt alles für den heutigen Baum, etwa um das Vorjahr mit den neuen Abteilungen zu vergleichen.
Die Mindestgruppengröße¶
Jede Zahl auf der Seite umfasst mindestens fünf verschiedene Personen: die Mindestgruppengröße. Sie können sie unter Einstellungen → Nutzung und Datenschutz erhöhen, aber nicht unter fünf setzen.
- Ein Team, ein Agent, ein Modell oder ein Provider, den im Zeitraum weniger Personen genutzt haben, bekommt keine eigene Zeile. Er wird in der Zeile Weniger als 5 Personen gezählt, die alle diese Gruppen enthält.
- Auch diese Zeile umfasst mindestens fünf Personen. Sind die kleinen Gruppen zusammen weniger, kommen die kleinsten angezeigten Gruppen hinzu, bis es reicht. So lässt sich keine Gruppe aus der Summe minus den übrigen Zeilen errechnen.
- Eine Stunde, ein Tag oder ein Monat, in dem weniger Personen die Instanz genutzt haben, zeigt keine Zahlen. Stunden erscheinen nur, wenn mindestens fünf Personen die Instanz in dieser Stunde genutzt haben.
- Dasselbe gilt über die Zeit: Ließe sich ein ausgeblendeter Zeitraum aus der Summe minus den angezeigten errechnen, wird ein weiterer mit ihm ausgeblendet.
- Summen und Tokens im Zeitverlauf zeigen nur Zahlen, wenn mindestens fünf Personen die Instanz im Zeitraum genutzt haben. Auf einer so kleinen Instanz darf ein Nutzungsprüfer sie trotzdem zeigen, solange die personenbezogene Auswertung eingeschaltet ist: mit Trotzdem zeigen und einer Begründung, die festgehalten wird, pro Tag oder Monat, nie pro Stunde. Die Begründung gilt für diese eine Ansicht: Wer Zeitraum, Zahlen pro oder Gruppieren nach ändert, blendet die Zahlen wieder aus.
Ein Team aus drei Personen oder ein Agent, den eine Person nutzt, erscheint daher nie allein: Seine Zahlen wären die einer Person unter anderem Namen.
Kleine Instanzen
Haben im Zeitraum weniger als fünf Personen die Instanz genutzt, sagt die Seite das (Eine kleine Instanz), und die Summen zeigen keine Zahlen: Sie lägen nahe an den Zahlen einer einzelnen Person. Ein Nutzungsprüfer, der sie bei eingeschalteter personenbezogener Auswertung trotzdem zeigt, behandelt sie wie personenbezogene Daten (siehe Nutzung und Datenschutz).
Die Kosten- und Nutzungsseiten¶

Öffnen Sie Observability → Kosten-Dashboard (die Seite heißt Kosten-Observability) und wählen Sie einen Zeitraum.

| Reiter | Was er zeigt |
|---|---|
| Übersicht | Geschätzte Ausgaben, Anfragen gesamt, Tokens gesamt, Durchschn. Latenz und Fehlerrate, dazu Kosten im Zeitverlauf, Anfrage-Durchsatz, Latenz-Perzentile und Ausgaben nach Modell. |
| Anfragen | Jede Anfrage, die neueste zuerst. Filtern Sie nach Modell und öffnen Sie eine Anfrage, um ihre Details zu sehen: Tokens, Kosten, Zeiten, die Tools und Skills, die sie genutzt hat, und die Schritte, die sie durchlaufen hat. |
| Preise | Die Preise, mit denen die Schätzungen rechnen (siehe Preise festlegen). |
CSV exportieren lädt die Anfragen des Zeitraums (bis zu 5.000 Zeilen) für eine Tabellenkalkulation herunter.
Die Anfragen zeigen nie, wer sie gesendet hat: weder in der Liste noch in den Details oder im Export, und auch nicht unter LLM-Aufrufe. Die Nutzung einer einzelnen Person zeigt nur die personenbezogene Auswertung unter Nutzung (siehe Nutzung und Datenschutz).
Limits für die ganze Instanz¶
Drei Limits verhindern, dass die Instanz aufgebraucht wird, etwa durch ein außer Kontrolle geratenes Skript oder einen Agenten, der sich im Kreis dreht. Jedes zählt die Anfragen aller zusammen, über den Chat, die Agenten und die API, und hält nichts über einzelne Personen fest.
| Limit | Was es begrenzt | Beginnt neu |
|---|---|---|
| Anfragen pro Minute | Die Anfragen aller zusammen | Jede Minute |
| Tokens pro Minute | Eingabe- und Ausgabe-Tokens aller zusammen | Jede Minute |
| Tokens pro Tag | Eingabe- und Ausgabe-Tokens aller zusammen | Um Mitternacht in der Zeitzone der Nutzungsmessung |
- Öffnen Sie Einstellungen und wählen Sie den Reiter Nutzung und Datenschutz.
- Tragen Sie unter Limits der Instanz für jedes Limit, das Sie wollen, eine Zahl ein. Lassen Sie ein Feld leer, wenn es kein Limit geben soll.
- Wählen Sie Speichern.
Die Änderung wird mit Ihrem Namen im Audit-Protokoll festgehalten (usage.limits.update). Meine Nutzung
zeigt allen die Limits und, wo das auf niemanden hinweist, wie viel vom Tageslimit für Tokens heute verbraucht
ist (siehe Ihre eigene Nutzung).
Wie ein Limit eine Anfrage zählt
- Eine Anfrage zählt, sobald sie beginnt: mit ihrem Prompt und dem Höchsten, was sie schreiben darf (ihrem
max_tokensoder einem Standardwert, wenn sie keinen setzt). Ist die Antwort fertig, treten ihre tatsächlichen Tokens an diese Stelle. - Eine Anfrage, die ein Limit ablehnt, zählt nicht dafür.
- Eine Antwort, die bereits geschrieben wird, wird nie abgebrochen: Ihre Tokens zählen, sobald sie fertig ist. Die Instanz kann ein Limit daher leicht überschreiten.
Budgets pro Team, pro Agent, pro Person oder für die ganze Organisation, pro Tag, Woche oder Monat, gibt es mit Fadenstack Enterprise: siehe Budgets.
Was Benutzer sehen, wenn ein Limit ablehnt¶
Im Chat und in den Agenten erhalten Benutzer eine Meldung, die das Limit nennt, etwa „this instance's daily token limit“, und sie bittet, sich an einen Administrator zu wenden. Sie sagt nichts über die Nutzung anderer, und niemand sonst wird benachrichtigt.
Anwendungen erhalten die Antwort, die die API von OpenAI gibt, und ihre Client-Bibliotheken behandeln sie wie
dort: HTTP-Status 429 mit einer Fehlermeldung im Format von OpenAI (error.message, error.type,
error.code).
| Limit | error.type |
error.code |
Retry-After |
|---|---|---|---|
| Anfragen pro Minute | rate_limit_error |
rate_limit_rpm |
Sekunden bis zum Ende der Minute |
| Tokens pro Minute | rate_limit_error |
rate_limit_tpm |
Sekunden bis zum Ende der Minute |
| Tokens pro Tag | insufficient_quota |
quota_tokens_per_day |
Sekunden bis zum nächsten Tag, mit x-should-retry: false |
Die Client-Bibliotheken von OpenAI warten nach einer Ablehnung pro Minute und versuchen es von selbst erneut;
nach einer Ablehnung pro Tag (x-should-retry: false) nicht. Solange ein Limit gesetzt ist, trägt jede Antwort,
wie viel übrig ist: x-ratelimit-limit-requests, x-ratelimit-remaining-requests und
x-ratelimit-reset-requests sowie dieselben drei für -tokens (die Zeit bis zum Neubeginn so, wie OpenAI sie
schreibt, z. B. 12s).
Woher die Zahlen kommen¶
- Tokens sind, was der Provider des Modells für die Anfrage gemeldet hat. Meldet er keine, zählt Fadenstack
sie selbst oder schätzt sie; das Anfrageprotokoll hält fest, welches davon (
provider,countedoderestimated). - Kosten sind Schätzungen: die Tokens zu dem Preis, der für das Modell galt, als die Anfrage lief. Sie ändern nichts an dem, was ein Provider Ihnen in Rechnung stellt. Ein Modell ohne Preis verursacht keine Kosten; Zahlen in mehreren Währungen erscheinen je Währung, nie umgerechnet.
- Die Nutzungsseiten fassen das Anfrageprotokoll alle paar Minuten zusammen; eine Anfrage erscheint dort daher einige Minuten, nachdem sie geendet hat.
Preise festlegen¶

-
Öffnen Sie LLM → Provider und wählen Sie in der Zeile des Modells Preis festlegen (in der Spalte Preis $/1 Mio.).

-
Geben Sie ein, was eine Million Eingabe-Tokens und eine Million Ausgabe-Tokens kosten.
- Speichern Sie. Anfragen werden innerhalb einer Minute mit diesem Preis berechnet.

Sie können Preise auch festlegen, wenn Sie einen Provider anbinden, oder unter Preise auf den Kostenseiten, wo der Preisverlauf jedes Modells aufbewahrt wird.
Welchen Preis Sie festlegen
Verwenden Sie für ein Cloud-Modell die Listenpreise des Providers. Für Ihre eigenen Modelle können Sie mit einem eigenen Preis (z. B. dem, was Sie die Hardware pro Million Tokens kostet) die interne Nutzung vergleichen und intern verrechnen; lassen Sie das Feld leer, wenn Sie das nicht brauchen.
Anfragen an ein externes Modell ohne Preis werden trotzdem gezählt. Kosten diesen Monat auf dem Dashboard zeigt, wie viele es waren („Anfragen ohne Preis“), damit Sie wissen, dass die Schätzung zu niedrig ist.
Wenn es nicht funktioniert¶
| Sie sehen | Was Sie tun |
|---|---|
| Die Zahlen sind leer | Im Zeitraum gibt es keine Anfragen, oder das Gateway kann sein Protokoll nicht schreiben. Senden Sie eine Nachricht im Chat, warten Sie ein paar Minuten und aktualisieren Sie dann die Seite. |
| Eine Anfrage von eben fehlt unter Nutzung oder Meine Nutzung | Die Nutzungsseiten fassen das Anfrageprotokoll alle paar Minuten zusammen. Aktualisieren Sie etwas später. |
| Eine Zeile lautet Weniger als 5 Personen, oder ein Tag zeigt keine Zahlen | Weniger als fünf Personen haben dieses Team, diesen Agenten, dieses Modell oder diesen Tag genutzt: Ihre Zahlen werden absichtlich zusammengefasst (siehe Die Mindestgruppengröße). |
| Die Kosten zeigen „Keine“ oder wirken zu niedrig | Die verwendeten Modelle haben keinen Preis. Legen Sie ihn wie oben beschrieben fest. |
| Benutzer erhalten eine Meldung über das Limit der Instanz | Ein Limit für die ganze Instanz ist erreicht. Erhöhen Sie es unter Einstellungen → Nutzung und Datenschutz oder warten Sie, bis es neu beginnt: in der nächsten Minute oder, beim Tageslimit, um Mitternacht. |
Eine Anwendung bricht mit 429 und quota_tokens_per_day ab |
Das Tageslimit für Tokens ist erreicht; der Client versucht es nicht von selbst erneut. Es geht nach Mitternacht in der Zeitzone der Nutzungsmessung wieder, oder sobald Sie das Limit erhöhen. |
| Eine Anfrage fehlt auf den Kostenseiten | Gezählt werden nur Anfragen, die das Gateway erreichen: Ein Modell, das jemand direkt an seinem Endpunkt aufruft, an Fadenstack vorbei, wird nicht gezählt. |