Das Dashboard¶
Dashboard, der erste Eintrag der Konsole, zeigt das ganze System auf einer Seite: was Ihre Aufmerksamkeit braucht, wie stark es genutzt wird und wo Anfragen bedient wurden, wie ausgelastet die GPU-Maschinen sind und wie es um den Server steht, auf dem Fadenstack läuft. Diese Seite erklärt, was jeder Teil zeigt und was Sie dann tun.
Bevor Sie beginnen¶
- Sie sind Superuser: Nur Superuser sehen das Dashboard.
Die Kopfzeile¶
- Die Statusanzeige fasst den Zustand des Systems zusammen: System in Ordnung, Warnungen: N oder Kritische Probleme: N. Sie zählt, was Handlungsbedarf auflistet.
- Der Ring daneben zeigt, wann die Zahlen zuletzt aktualisiert wurden. Sie werden alle 30 Sekunden aktualisiert, solange der Browser-Tab geöffnet ist, und pausieren in einem Tab im Hintergrund. Wählen Sie den Ring, um sofort zu aktualisieren. Er wird orange, dann rot, wenn eine Aktualisierung verspätet oder fehlgeschlagen ist; die angezeigten Zahlen sind dann die vorherigen.
- Erste Schritte steht über den Karten, bis Sie den Bereich ausblenden (siehe Fadenstack verwalten).
Was jede Karte zeigt¶
Jede Karte lädt und aktualisiert sich für sich. Eine Karte, die nicht laden kann, zeigt „Dieses Widget konnte nicht geladen werden.“ mit Erneut versuchen, und die anderen arbeiten weiter.
| Karte | Was sie zeigt | Was Sie damit tun |
|---|---|---|
| Kennzahlen | Bis zu sechs Zahlen Ihrer Wahl, jeweils mit ihrem Trend (siehe unten). | Wählen Sie über das Regler-Symbol die Zahlen aus, die Sie beobachten. |
| KI-Datenverkehr | Wo Anfragen bedient wurden, mit dem internen Anteil in der Mitte des Rings, die meistgenutzten Ziele, die Zahl der Anfragen, ihre Geschwindigkeit (P50, P95) und Fehler, für Heute, 24 Std., 7 T. oder 30 T. | Datenverkehr ansehen öffnet die Kosten- und Nutzungsseiten. |
| Handlungsbedarf | Aktuelle Probleme, die schwersten zuerst (siehe unten). | Beheben Sie sie, oder schalten Sie stumm, was Ihnen schon bekannt ist. |
| Lokale KI-Kapazität | Cluster in Ordnung, Maschinen online, GPUs und freie GPUs sowie CPU, GPU und VRAM jeder Maschine. Einfärben nach: Zustand, GPU oder VRAM. | Wählen Sie eine Maschine oder Gruppe für Details; Maschinen öffnet die Maschinen. |
| Nutzung | Anfragen pro Tag für die letzten 7 Tage oder 30 Tage, nach Ort der Bearbeitung. | Siehe Nutzung und Kosten. |
| Integrationen | LLM-Provider nach Standort und wie viele davon antworten, funktionsfähige MCP-Server, aktive Skills. | Jeder Eintrag öffnet seine Seite. |
| Plattformzustand | Der Gesamtzustand, die Dienste, von denen Fadenstack abhängt (Datenbank, Message Queue, Grafana), die Module, Gateway-Fehler in der letzten Stunde und belegte Datenbankverbindungen. | Eine ausgefallene Abhängigkeit erscheint auch unter Handlungsbedarf. |
| Serverressourcen | CPU, Arbeitsspeicher, Swap, Festplatte und GPU des Servers, auf dem Fadenstack läuft. | Wenig Speicherplatz erscheint unter Handlungsbedarf. |
| Top-Container | Die Container mit der höchsten CPU- und Speichernutzung. Anfangs ausgeblendet. | Container öffnet sie. |
| Grafana | Das Grafana-Übersichtsdashboard. Anfangs ausgeblendet. |
Wo Anfragen bedient wurden¶
KI-Datenverkehr, Nutzung, Integrationen und Intern bearbeitet verwenden vier Klassen: Eigene Maschinen (Ihre GPU-Maschinen und dieser Server), Privates Netz, Extern (ein Cloud-Provider) und Unbekannt (wo es sich nicht feststellen lässt, etwa bei einem inzwischen entfernten Provider). Intern sind die eigenen Maschinen plus das private Netz. Eine Anfrage, die abgelehnt wurde, bevor sie ein Modell erreichte, wird gesondert gezählt („Vor der Weiterleitung abgelehnt“). Die Klassen sind dieselben wie auf der Seite Datenresidenz.
Zustand der Maschinen¶
Der Zustand einer Maschine ist das, was die Maschine meldet, nie ihre Auslastung: Eine GPU bei 100 % auf einer Maschine, die in Ordnung ist, gilt als in Ordnung. VRAM wird als belegt angezeigt: Ein laufendes Modell reserviert bewusst den größten Teil des Speichers seines Beschleunigers. Bei vielen Maschinen zeichnet die Karte eine kleine Zelle pro Maschine, dann eine Zusammenfassung pro Gruppe; wählen Sie eine Gruppe, um ihre Maschinen aufzulisten.
Kennzahlen¶
| Kennzahl | Zeigt | Verglichen mit |
|---|---|---|
| Anfragen heute | Anfragen und Tokens | Gestern zur selben Uhrzeit |
| Aktive Benutzer heute | Benutzer heute und in diesem Monat | Gestern zur selben Uhrzeit |
| Intern bearbeitet | Den Anteil der Anfragen, die auf Ihren Maschinen oder in Ihrem privaten Netz bedient wurden | Gestern zur selben Uhrzeit |
| Kosten diesen Monat | Geschätzt aus den Modellpreisen; wie viele Anfragen an externe Modelle keinen Preis hatten | Vormonat bis zum selben Tag |
| Handlungsbedarf | Offene Probleme, kritisch und Warnung | |
| Fehlerquote (1 Std.) | Gateway-Fehler und die P95-Antwortzeit | Die Stunde davor |
| GPUs in Benutzung | GPUs mit mindestens 10 % Auslastung und Maschinen online |
Die Farbe eines Trends sagt, ob die Änderung gut oder schlecht ist, nicht, ob der Wert gestiegen ist: Mehr Fehler sind rot, ein größerer interner Anteil ist grün. Zeiten folgen der Zeitzone Ihres Browsers.
Handlungsbedarf¶
| Problem | Was zu tun ist |
|---|---|
| Eine Maschine ist offline, meldet sich nicht mehr oder meldet einen schlechten Zustand | Ihr Agent ist nicht verbunden oder sendet nicht. Prüfen Sie die Maschine (siehe GPU-Maschinen). |
| Maschinen warten auf Aufnahme | Genehmigen oder lehnen Sie sie unter KI-Infrastruktur → Maschinen ab. |
| Die Temperatur einer GPU ist hoch | Prüfen Sie Kühlung und Luftstrom der Maschine. |
| Ein Cluster ist beeinträchtigt oder fehlgeschlagen | Öffnen Sie den Cluster, um den Grund zu sehen (siehe Cluster). |
| Eine Bereitstellung ist fehlgeschlagen oder beeinträchtigt | Öffnen Sie sie und lesen Sie ihre Meldung und ihr Log (siehe Bereitstellungen). |
| Ein Provider antwortet nicht | Anfragen gehen nicht an ihn, bis er wieder antwortet. Prüfen Sie den Provider (siehe Externe Provider). |
| Fehlgeschlagene Modell-Downloads | Versuchen Sie es unter Modell-Marktplatz → Auf diesem Server erneut. |
| Wartende Tool-Änderungen bei einem Agenten | Prüfen Sie sie im Reiter Apps des Agenten (siehe Agenten und Add-ins). |
| Gateway-Serverfehler | Viele Anfragen schlagen fehl. Lesen Sie die Logs (siehe Fehler und Logs). |
| Eine Abhängigkeit ist ausgefallen, Wenig Speicherplatz, Container starten neu | Ein Problem mit dem Server selbst: siehe Fehlerbehebung. |
| Fehlgeschlagene Dokumentaufnahme | Versuchen Sie die Dokumente in der Wissensdatenbank erneut. |
| Ein MCP-Server ist fehlerhaft | Seine Tools stehen Chats nicht zur Verfügung. Öffnen Sie ihn und wählen Sie Testen (siehe MCP-Server). |
| Ein HTTPS- oder Modell-Zertifikat läuft bald ab oder ist abgelaufen | Siehe HTTPS und Vertrauen. |
| Modellverkehr zu einem Cluster ist nicht verschlüsselt | Schalten Sie die Verschlüsselung auf der Seite des Clusters ein; seine Modelle laden neu (siehe Cluster). |
Stummschalten (die Glocke neben einem Problem) schaltet es für alle Administratoren stumm. Ein stummgeschaltetes Problem wandert unter N stummgeschaltet ans Ende der Liste und zählt in der Kopfzeile nicht mehr mit; die Liste zeigt, wer es wann stummgeschaltet hat. Wieder anzeigen holt es zurück. Eine Stummschaltung gilt, solange das Problem besteht: Sobald es behoben ist, entfällt sie, und dasselbe Problem wird bei seiner Rückkehr als neu angezeigt. Ein stummgeschaltetes Problem, das sich verschlimmert, etwa eine Warnung, die kritisch wird, wird wieder angezeigt.
Anordnen¶
- Wählen Sie Anpassen.
- Ziehen Sie eine Karte an ihrem Griff, um sie zu verschieben, wählen Sie ihre Größe (Klein, Mittel, Groß oder Volle Breite), und blenden Sie sie mit dem Auge aus oder ein. Die Reihen rücken um eine ausgeblendete Karte zusammen.
- Wählen Sie Fertig. Layout zurücksetzen stellt die Standardanordnung wieder her.
Ihr Layout wird für Sie auf dem Server gespeichert und folgt Ihnen so in einen anderen Browser oder auf ein anderes Gerät. Wenn Sie es auf zwei Geräten gleichzeitig ändern, meldet das zweite Speichern „Ihr Layout wurde auf einem anderen Gerät geändert.“: Meines behalten überschreibt die andere Fassung, OK übernimmt sie. Auf einem Smartphone stapeln sich die Karten in einer Spalte.