Auf Ihrer eigenen Infrastruktur. LiteLLM und der Privatemode-Proxy laufen nebeneinander, zum Beispiel auf einem Server Ihres Plattform-Teams, und die Anfrage an Privatemode verlässt diese Infrastruktur verschlüsselt. Deshalb bleibt der Proxy im Beispiel im Compose-Netzwerk. Ein LiteLLM-Gateway, das jemand anderes betreibt, etwa als gehosteter Dienst, würde Ihre Prompts im Klartext sehen, bevor sie den Proxy erreichen. Betreiben Sie deshalb beides selbst.

Werden meine Daten verschlüsselt, bevor sie meine Infrastruktur verlassen?

Ja, sobald sie den Privatemode-Proxy erreichen. Der Proxy verschlüsselt jede Anfrage, bevor sie Ihre Infrastruktur verlässt, und prüft per Remote Attestation die Integrität des Privatemode-Dienstes. Die Strecken von Ihren Clients zu LiteLLM und von LiteLLM zum Proxy bleiben in Ihrem eigenen Netzwerk. Schützen Sie sie so, wie Sie den übrigen Gateway-Verkehr schützen.

Speichert Privatemode Daten aus Anfragen, die über LiteLLM laufen?

Nein. Privatemode lernt nicht aus Ihren Daten. Alle Anfragen werden mit Confidential Computing verarbeitet, und Prompts und Antworten werden nach Abschluss einer Anfrage nicht gespeichert. Aufbewahrt werden nur operative Metadaten wie Tokenverbrauch, Zeitstempel und Anfragestatus für Abrechnung und Monitoring. LiteLLM kann Prompts und Antworten selbst protokollieren, etwa in eine Datenbank oder ein Observability-Tool. Diese Logs liegen dort, wo Sie sie konfigurieren, und sind nicht durch Privatemode geschützt. Prüfen Sie deshalb Ihre Logging- und Callback-Einstellungen für Modelle mit sensiblen Daten. LiteLLM kann Prompts und Antworten mit `turn_off_message_logging` aus seinen Logs heraushalten.

Kann ich Privatemode mit anderen Anbietern kombinieren?

Ja, aber seien Sie vorsichtig bei Fallbacks und Load Balancing. LiteLLM kann eine Anfrage an ein anderes Deployment schicken, wenn eines ausfällt, und ein Fallback auf einen herkömmlichen Anbieter würde den Prompt im Klartext auf dessen Servern verarbeiten. Geben Sie sensiblen Workloads einen `model_name`, der nur auf Privatemode zeigt, und nehmen Sie ihn aus Ihren [Fallback-Regeln](https://docs.litellm.ai/docs/proxy/reliability) heraus.

Was, wenn LiteLLM nicht in Docker läuft?

Starten Sie den Privatemode-Proxy mit `docker run -p 127.0.0.1:8080:8080 ghcr.io/edgelesssys/privatemode/privatemode-proxy:latest --apiKey ` und setzen Sie `api_base: http://localhost:8080/v1` in Ihrer LiteLLM-Konfiguration. Läuft LiteLLM in einem Container, legen Sie den Proxy wie im Beispiel oben in dasselbe Docker-Netzwerk.

Welche Privatemode-Modelle kann ich hinzufügen?

Jedes Modell aus der [Modellübersicht](https://privatemode.ai/de/modelle). Chat-Modelle funktionieren als `openai/ `-Einträge, wie oben gezeigt. Derselbe Proxy bedient auch Embeddings und Speech-to-Text, die Sie als weitere Einträge in `model_list` ergänzen können.

Anmelden Registrieren

Privatemode AI mit LiteLLM verbinden

Q: Braucht LiteLLM Änderungen für den Einsatz mit Privatemode?

Nein. Privatemode ist ein weiterer Eintrag in `model_list`. Ihre Clients, virtuellen Schlüssel, Budgets und der Rest Ihrer Konfiguration bleiben unverändert.

LiteLLM ist ein Open-Source-KI-Gateway: ein OpenAI-kompatibler Endpunkt vor über 100 Modellanbietern, mit virtuellen Schlüsseln, Budgets und Logging. Wenn Sie Privatemode als eines dieser Modelle einbinden, gehen die Anfragen mit sensiblen Daten an Open-Weight-Modelle in einer Umgebung, deren Arbeitsspeicher verschlüsselt bleibt, während alle Clients weiterhin mit demselben Gateway sprechen.

Einführung

Behalten Sie Ihr Gateway und ändern Sie, was mit den Prompts passiert

Verschlüsselung im Ruhezustand, bei der Übertragung und während der Verarbeitung

Die Herausforderung

Die Prompts aller Teams laufen im Gateway zusammen

Plattform-Teams betreiben LiteLLM, damit jedes Team über einen einzigen Endpunkt mit gemeinsamen Schlüsseln, Budgets und Logging auf Modelle zugreift. Damit laufen Kundendaten, Quellcode und interne Dokumente vieler Teams über einen einzigen Pfad. Hängt dahinter ein herkömmlicher Anbieter, wird all das im Klartext auf dessen Servern verarbeitet.

Die Lösung

Ein weiteres Modell in Ihrer Modellliste

Privatemode stellt eine OpenAI-kompatible API bereit, daher behandelt LiteLLM es wie jedes andere openai/-Modell. Betreiben Sie den Privatemode-Proxy neben dem Gateway und richten Sie api_base darauf aus. Jede Anfrage wird verschlüsselt, bevor sie Ihre Infrastruktur verlässt, und in einer hardware-isolierten Umgebung verarbeitet, deren Arbeitsspeicher durchgehend verschlüsselt bleibt. Die Architektur ist so gestaltet, dass weder der Infrastrukturanbieter noch Privatemode die Anfragen lesen können. Das ist per Remote Attestation und anhand des Open-Source-Codes verifizierbar.

Vorteile

Warum Privatemode AI mit LiteLLM verwenden?

Einfach ein weiteres Modell in Ihrem Gateway

Ende-zu-Ende-Vertraulichkeit

Mehr erfahren

Kostenlose Nutzung verfügbar

Registrieren

Erste Schritte

Privatemode in LiteLLM einrichten

LiteLLM spricht mit dem Privatemode-Proxy wie mit jedem OpenAI-kompatiblen Endpunkt. Der Proxy prüft den Privatemode-Dienst per Remote Attestation und verschlüsselt jede Anfrage, bevor sie Ihre Infrastruktur verlässt. Das folgende Beispiel startet beides mit Docker Compose.

API-Schlüssel generieren

Wenn Sie noch keinen Privatemode-API-Schlüssel haben, können Sie hier kostenlos einen generieren.

Privatemode in die LiteLLM-Konfiguration eintragen

Speichern Sie dies als litellm_config.yaml. Das Präfix openai/ sagt LiteLLM, dass es das Modell als OpenAI-kompatiblen Endpunkt behandeln soll, und api_base muss auf /v1 enden. Der API-Schlüssel ist ein Platzhalter, weil der Privatemode-Proxy die Authentifizierung übernimmt. model_name ist der Name, den Ihre Anwendungen verwenden.

Proxy und LiteLLM starten

Speichern Sie dies als docker-compose.yml. Tragen Sie PRIVATEMODE_API_KEY und einen langen zufälligen LITELLM_MASTER_KEY, der mit sk- beginnt, in eine .env-Datei daneben ein und starten Sie beides mit docker compose up. Der Privatemode-Proxy bleibt im Compose-Netzwerk, sodass nur LiteLLM ihn erreichen kann.

Testanfrage senden

Rufen Sie das Gateway mit dem Modellnamen aus Ihrer Konfiguration auf. Von hier aus legen Sie virtuelle Schlüssel für Ihre Teams an oder richten einen beliebigen OpenAI-kompatiblen Client auf http://localhost:4000 aus.

FAQ

Häufige Fragen zur Nutzung von Privatemode mit LiteLLM

Nein. Privatemode ist ein weiterer Eintrag in model_list. Ihre Clients, virtuellen Schlüssel, Budgets und der Rest Ihrer Konfiguration bleiben unverändert.