LLM-Aufrufe¶
Jeder Aufruf, der über das Gateway läuft – aus dem Chat, von einem Agenten oder von einer Anwendung über die API –, mit seiner Dauer, seinen Tokens und seinem Ergebnis. Auf dieser Seite finden Sie den Aufruf, der schiefging, und sehen, warum. Und Sie verfolgen, was ein Agent für eine Frage getan hat: jede Runde mit dem Modell und die Tools, die seine App dazwischen ausführte.

Bevor Sie beginnen¶
Öffnen Sie Observability → LLM-Aufrufe. Personen mit der Rolle admin, operator oder viewer sehen die
Seite (siehe Benutzer, Gruppen und Rollen).
Was die Seite zeigt¶
Oben stehen die Zahlen zu allem, was die Filter auswählen: Aufrufe, Fehler (wählen Sie es, um nur die Fehlschläge zu sehen), Latenz p50 und Latenz p95, Erstes Token p95, Tokens ein → aus und Gesch. Kosten.
Darunter steht die Liste. Anzeigen wechselt zwischen zwei Ansichten derselben Aufrufe:
| Ansicht | Eine Zeile je |
|---|---|
| Anfragen | Frage, die jemand gestellt hat. Die App eines Agenten braucht für eine Frage oft mehrere Runden mit dem Modell: Das Modell bittet um Tools, die App führt sie aus, das Modell antwortet. Eine Anfrage fasst diese Runden zusammen. Ein Aufruf, der zu keiner Anfrage eines Agenten gehört, ist eine eigene Anfrage. |
| Aufrufe | Aufruf eines Modells, jede Runde in einer eigenen Zeile. |
| Spalte | Was sie zeigt |
|---|---|
| Status | Das Ergebnis: grün bei Erfolg, sonst der Code des Fehlers. |
| Anfrage / Aufruf | Wie viele Runden die Anfrage brauchte, oder welche Art von Aufruf es war. Der Roboter kennzeichnet den Aufruf eines Agenten. |
| Dauer | Vom Beginn der ersten Runde bis zum Ende der letzten, darunter der Anteil des Modells. |
| Tokens | Die Tokens, die an das Modell gingen, und die, die es schrieb. |
| Tools | Die Tools, die für die Anfrage liefen, und wie viele fehlschlugen; daneben die Freigaben, die eine Person erteilte oder ablehnte. |
Wählen Sie den Pfeil vor einer Anfrage, um ihre Runden zu sehen.
Einen Aufruf finden¶
- Wählen Sie oben einen Zeitraum: 15 Min bis 30 Tage.
- Grenzen Sie die Liste ein: Alle Modelle für ein Modell, Fehler oder Erfolgreich für das Ergebnis, oder tippen Sie ins Suchfeld. Die Suche findet einen Aufruf an seiner Anfrage- oder Trace-ID und an einem Teil des Modellnamens, Endpunkts oder Fehlercodes. Nach Person, Sitzung, Unterhaltung, Gerät oder Agent findet sie keinen Aufruf.
- Sortieren Sie mit den Spaltenköpfen nach Zeit, Dauer oder Tokens.
Live holt alle paar Sekunden neue Aufrufe, solange Sie die erste Seite ansehen; wählen Sie es erneut, um anzuhalten.
Jeder Filter steht in der Adresse der Seite. Kopieren Sie die Adresse, oder wählen Sie in einem geöffneten Aufruf das Link-Symbol, um einer Kollegin oder einem Kollegen genau das zu zeigen, was Sie sehen.
Eine Anfrage oder einen Aufruf öffnen¶
Wählen Sie eine Zeile. Der Aufruf öffnet sich neben der Liste, auf einem kleinen Bildschirm darüber. Mit den
Pfeilen oben oder den Tasten j und k gehen Sie zum nächsten oder vorigen, mit Esc schließen Sie ihn.

Überblick beginnt mit dem, was der Datensatz des Aufrufs über einen Fehler sagt, falls es einen gibt (siehe unten). Dann:
- Anfrage: bei einer Anfrage mit mehreren Runden ein Zeitverlauf der ganzen Anfrage. Jede Runde mit dem Modell, und dazwischen die Tools, die die App ausführte, und die Freigaben, auf die sie wartete. Wählen Sie eine Runde, um sie zu öffnen.
- Zeitverlauf (Diese Runde in einer Anfrage): wohin die Zeit dieses Aufrufs ging, das Warten auf das erste Token und das Schreiben, und die Tools, die das Gateway dafür ausführte.
- Governance: was eine Richtlinie über den Aufruf entschied, falls eine es tat.
- Unterhaltung oder Trace: die anderen Aufrufe, die zu diesem gehören, der Reihe nach, wenn es welche gibt.

Details listet die erfassten Felder des Aufrufs, ohne die Person und ohne die Sitzung, die Unterhaltung, das Gerät oder das Projekt, zu denen er gehört, mit einer Schaltfläche, um die Liste nach dem Modell des Aufrufs zu filtern. JSON zeigt den Datensatz, wie die Seite ihn hat, zum Kopieren in eine Fehlermeldung.
Woher die Tools der App kommen
Die Tools eines Agenten laufen in seiner App, auf dem Computer der Person, nicht auf dem Server. Die App meldet, welche Tools sie ausführte, wie lange sie brauchten und wie sie endeten, und um welche Freigaben sie bat. Was die Tools lasen oder schrieben, meldet sie nie.
Manche Apps schicken diese Meldungen gesammelt am Ende einer Anfrage, ohne eigene Zeiten. Der Zeitverlauf setzt sie dann in der gemeldeten Reihenfolge in die Lücken zwischen den Runden und sagt das darunter.
Warum ein Aufruf fehlschlug¶

Jeder Befund nennt, was geschah, und was als Nächstes zu prüfen ist. Die häufigsten:
| Sie sehen | Was zu tun ist |
|---|---|
| Nach … Wartezeit fehlgeschlagen | Der Modellserver oder etwas zwischen ihm und dem Gateway hat aufgegeben. Prüfen Sie die Bereitstellung des Modells und ihre Protokolle auf Überlast oder eine hängende Kopie. |
| Der Modellserver schickte einen Fehler in seiner Antwort | Der Client erhielt eine Antwort, die mit einem Fehler abbrach. Meist ist der Prompt länger als der Kontext des Modells, oder ein Parameter wird nicht unterstützt. Die Protokolle der Bereitstellung nennen den Grund des Modellservers. |
| Der Provider war nicht erreichbar | Prüfen Sie die Adresse des Providers, ob er läuft, und die HTTPS-Einstellungen (siehe Externe Provider). |
| Kein Provider hatte freie Kapazität | Jede Kopie des Modells war ausgelastet. Erhöhen Sie ihr Limit oder fügen Sie Kopien hinzu (siehe Bereitstellungen). |
| Der Aufrufer war nicht berechtigt | Die Anmeldung oder das API-Token fehlt, ist abgelaufen oder widerrufen, oder der Person fehlt die Berechtigung. |
| Von einer Governance-Richtlinie blockiert | Eine Richtlinie hat den Aufruf abgelehnt (siehe Richtlinien und personenbezogene Daten). |
| Die Antwort wurde bei … Tokens abgeschnitten | Das Token-Limit des Aufrufs oder der Kontext des Modells war erschöpft. Erhöhen Sie das Limit oder kürzen Sie den Prompt. |
| … Tool-Ausführung(en) in der App fehlgeschlagen | Die App führte ein Tool aus, um das das Modell bat, und es schlug fehl. Das Protokoll der App nennt den Grund. |
| Vom Benutzer abgelehnt | Eine Person lehnte ein Tool ab, das das Modell ausführen wollte. Kein Fehler: Das Modell machte ohne es weiter. |
| … auf Freigaben gewartet | Ein Großteil der Zeit der Anfrage war eine Person am Entscheiden. |
| Das Modell brauchte … Runden | Viele Runden für eine Frage: Das Modell dreht sich vielleicht im Kreis, oder ein Tool schlägt immer wieder fehl. Vergleichen Sie die Runden. |
Wohin Aufrufe gingen¶

Routing-Karte zeichnet die Aufrufe des Zeitraums vom Gateway zu jedem angefragten Modell und weiter zum Provider, der antwortete, mit der Zahl der Aufrufe und dem Anteil der Fehler an jeder Linie. Rote und orange Linien zeigen, wo sich Fehler häufen. Die Tabelle darunter hat dieselben Zahlen, mit den langsamsten Aufrufen (Latenz p95) und dem letzten Aufruf jeder Verbindung. Wählen Sie ein Modell, um seine Aufrufe zu sehen. Ist in der Liste ein Aufruf geöffnet, hebt die Karte seinen Weg hervor.
Was erfasst wird¶
Zu jedem Aufruf hält das Gateway fest, wer ihn schickte, welches Modell wo antwortete, die Zeiten, die Tokens, das Ergebnis und die geschätzten Kosten; bei einem Agenten auch seine Unterhaltung und Anfrage. Der Text der Anfrage und der Antwort wird nicht gespeichert, ebenso wenig, was ein Tool las oder schrieb. Die Zahlen hier sind dieselben wie unter Nutzung und Limits.
Diese Seite zeigt nie, wer einen Aufruf geschickt hat, und findet Aufrufe nicht nach Person. Sie zeigt auch keine Sitzungs-, Unterhaltungs-, Geräte- oder Projekt-ID und findet keinen Aufruf danach oder nach Agent: Jedes davon würde zu einer Person führen. Die Nutzung einer einzelnen Person zeigt nur die personenbezogene Auswertung unter Nutzung, einem Nutzungsprüfer, mit Begründung und aufgezeichnet (siehe Nutzung und Datenschutz).
Wenn es nicht funktioniert¶
| Sie sehen | Was zu tun ist |
|---|---|
| Keine passenden Aufrufe | Im Zeitraum passt nichts zu den Filtern. Wählen Sie einen längeren Zeitraum, Alle Modelle und Alle, oder leeren Sie das Suchfeld. |
| Die Anfrage eines Agenten zeigt Runden, aber keine Tools | Das Modell bat um Tools, aber die App meldete keine Ausführung: eine App ohne Tool-Meldungen, oder die Meldungen sind noch unterwegs. Die Runden stehen trotzdem da. |
| Der Provider steht als Instanz … da | Der Provider, der den Aufruf bediente, wurde inzwischen entfernt. |
| Gesch. Kosten zeigt „—" | Die genutzten Modelle haben keinen Preis. Legen Sie einen fest (siehe Nutzung und Limits). |