Wohin gehen meine Daten?

Dokumente, Embeddings, Konversationsverläufe und Vektorindizes bleiben in Ihrem selbst gehosteten Dify-Stack. Nur Inferenzanfragen verlassen Ihr Netzwerk, und das verschlüsselt von Ende zu Ende. Innerhalb der Privatemode-Infrastruktur werden Daten in Trusted Execution Environments (TEEs) verarbeitet. Nach der Verarbeitung werden keine Daten aufbewahrt.

Welche Dify-Funktionen funktionieren mit Privatemode?

Chat-Apps, Agent-Apps, Wissensdatenbanken mit RAG, Text-Embeddings und Vision-Eingaben funktionieren alle mit Privatemode. Unterstützt ist jede Dify-Funktion, die über das OpenAI-API-Compatible-Plugin ein LLM-, Embedding- oder Speech-to-Text-Modell nutzt.

Brauche ich /v1 in der Base-URL?

Ja. Verwenden Sie `http://host.docker.internal:8080/v1` für alle Modelltypen, inklusive Embedding und Speech-to-Text. Ohne `/v1` führt die Validierung der Zugangsdaten mit Plugin-Version 0.0.59 zu einem 404-Fehler.

Wie wirkt sich verschlüsselte Inferenz auf die Leistung aus?

Privatemode nutzt Confidential-Computing-Hardware, um den Overhead gering zu halten. Der lokale Proxy kostet nur wenige Millisekunden für Verschlüsselung und Attestation. Die Antwortzeiten sind mit denen herkömmlicher Cloud-KI-Dienste vergleichbar, bei vollständigem Datenschutz.

Anmelden Registrieren

Confidential AI Workflows mit Privatemode und Dify

Dify ist eine Open-Source-Plattform für LLM-Anwendungen. Mit Privatemode wird jede Inferenzanfrage Ende-zu-Ende verschlüsselt und in attestierten Confidential-Computing-Umgebungen verarbeitet. Dokumente, Embeddings und Konversationen bleiben auf Ihrer Infrastruktur.

Einführung

KI-Apps bauen, ohne Daten preiszugeben

Vorteile

Warum Privatemode?

Erste Schritte

In 5 einfachen Schritten

FAQ

Häufige Fragen

Einführung

KI-Apps in Dify bauen, ohne dabei Ihre Daten preiszugeben

Die Herausforderung

Wissensdatenbanken bleiben nicht auf Ihren Servern

Chatbots, Agenten und Workflows in Dify entfalten ihr Potenzial vor allem mit Frontier-Modellen. Bei einem konventionellen Anbieter wird jeder Prompt, jedes hochgeladene Dokument und jedes Embedding im Klartext auf den Servern des Anbieters verarbeitet. Ein selbst gehostetes Dify ändert daran nichts.

Die Lösung

Chat, Agenten und RAG, Ende-zu-Ende-verschlüsselt

Der Privatemode-Proxy läuft neben Ihrem Dify-Stack. Er prüft die Integrität des Privatemode-Cloud-Dienstes per Remote Attestation und verschlüsselt jede Anfrage, bevor sie Ihr System verlässt. In der Cloud schützt Confidential Computing Ihre Daten Ende-zu-Ende. Auch während der Verarbeitung bleiben sie im Arbeitsspeicher verschlüsselt. Weder der Infrastrukturanbieter noch wir können sie lesen.

Vorteile

Warum Privatemode AI mit Dify verwenden?

Erste Schritte

Confidential AI in Dify in wenigen Schritten einrichten

API-Schlüssel generieren

Falls Sie noch keinen Privatemode-API-Schlüssel haben, erstellen Sie hier kostenlos einen.

Privatemode-Proxy ausführen

Der Proxy prüft die Integrität des Privatemode-Dienstes per Remote Attestation auf Basis von Confidential Computing. Er verschlüsselt alle ausgehenden Daten und entschlüsselt die eingehenden Antworten.

Dify starten

Klonen Sie die Dify Community Edition und führen Sie die untenstehenden Befehle aus. Öffnen Sie http://localhost und erstellen Sie Ihr Admin-Konto. Alle Services, darunter Postgres, Weaviate und Redis, laufen lokal.

OpenAI-API-Compatible-Plugin installieren und Modelle konfigurieren

Gehen Sie in Dify zu Settings, dann Model Provider, dann Marketplace, und suchen Sie nach OpenAI-API-Compatible, um es zu installieren. Das Plugin stellt die Verbindung zu Privatemode ganz ohne eigenen Code her.

Fügen Sie dann in den Model-Provider-Einstellungen drei Modelltypen hinzu, die alle auf http://host.docker.internal:8080/v1 zeigen:

LLM: ein Chat-Modell
Text Embedding: ein Embedding-Modell
Speech-to-Text: ein Speech-to-Text-Modell

Wählen Sie Ihre Modell-IDs aus der Privatemode-Modellübersicht. Setzen Sie den API-Schlüssel auf einen beliebigen Platzhalter. Die Authentifizierung übernimmt der Proxy.

Fertig!

Sie haben Confidential AI erfolgreich in Dify integriert. Erstellen Sie Chatbots, Agenten oder Wissensdatenbanken mit den konfigurierten Modellen.

FAQ

Häufige Fragen zur Nutzung von Privatemode mit Dify

Nein. Difys eingebautes OpenAI-API-Compatible-Plugin übernimmt die Verbindung. Sie hinterlegen Modellnamen und Base-URL und wählen die Modelle dann in Ihren Dify-Apps aus.