Zum Inhalt

Betreiben

Dieser Abschnitt ist für alle, die Fadenstack betreiben: den Server, die GPU-Maschinen und die Cluster, die sie bilden. Er beschreibt, wie Sie den Server installieren, aktualisieren, absichern und sichern, Maschinen anbinden und alles am Laufen halten.

Was Sie betreiben

Der Server. Eine Linux-Maschine, auf der Fadenstack als eine Reihe von Docker-Containern läuft: die Konsole, die API, das OpenAI-kompatible Gateway (/v1), die Datenbank sowie die Speicher für Logs und Metriken. Er braucht keine GPU. Sie installieren und aktualisieren ihn mit dem Kommandozeilenwerkzeug faden.

GPU-Maschinen. Linux-Maschinen mit NVIDIA-GPUs, auf denen die Modelle laufen. Auf jeder läuft ein kleines Programm, der Node-Agent (faden-agent), der von sich aus die Verbindung zum Server aufbaut und ausführt, was die Konsole von ihm verlangt. Sie fügen eine Maschine hinzu, indem Sie auf ihr einen Befehl ausführen und sie in der Konsole genehmigen.

Cluster. Ein Cluster fasst eine oder mehrere Maschinen zusammen, damit sie gemeinsam Modelle bereitstellen können. Die Maschinen führen die Modelle in einem Runtime-Image aus: einem Container mit Ray, das die Arbeit auf die Maschinen verteilt, und vLLM, der Engine, die ein Modell ausführt. Cluster legen Sie in der Konsole an und verwalten sie dort; die Modelle selbst stellt ein Administrator bereit (siehe Bereitstellungen).

Ein Cluster läuft auf seinen Maschinen, nicht auf dem Server. Seine Modelle laufen weiter, während der Server neu startet oder aktualisiert wird; nur Anfragen über das Gateway warten, bis das Gateway wieder da ist.

Die Schritte der Reihe nach

  1. Prüfen Sie die Systemanforderungen für den Server und die Maschinen.
  2. Installieren Sie den Server und melden Sie sich an.
  3. Entscheiden Sie sich für ein Zertifikat: HTTPS und Vertrauen. Eine neue Installation liefert von Anfang an HTTPS aus.
  4. Öffnen Sie die Ports zwischen den Benutzern, dem Server und den Maschinen.
  5. Fügen Sie die GPU-Maschinen hinzu.
  6. Erstellen Sie aus ihnen einen Cluster.
  7. Übergeben Sie an den Administrator, der Modelle bereitstellt und Personen hinzufügt (siehe Verwalten).
  8. Legen Sie Sicherungen an, und aktualisieren Sie, wenn ein neues Release erscheint.

Wenn etwas schiefgeht

  • Fehler und Logs: was sich von selbst erholt, was Sie währenddessen sehen und wo die Logs liegen.
  • Fehlerbehebung: häufige Probleme, ihre Ursache und was zu tun ist.

Außerdem hier