Um private Open-Source-Modelle oder proprietär feinabgestimmte Gewichte (Fine-Tuning) über die Benutzeroberfläche von HuggingChat bereitzustellen, muss man die technische Architektur der Plattform verstehen. Viele Entwickler suchen auf der öffentlichen HuggingChat-Website (hf.co/chat) nach einer Einstellung, um eine eigene Endpunkt-URL und ein API-Token einzutragen. Die öffentliche Version von HuggingChat ist jedoch ein gehosteter Multi-Tenant-Dienst, der fest an die offizielle Router-Infrastruktur von Hugging Face gebunden ist. Aus Gründen der Datensicherheit und Netzwerktrennung erlaubt die öffentliche Weboberfläche keine Einbindung beliebiger externer Endpunkte.
Der offizielle, produktionsreife Weg zur Nutzung privater Modelle mit der gewohnten HuggingChat-Oberfläche besteht darin, eine eigene Instanz von Chat UI bereitzustellen – der quelloffenen SvelteKit-Anwendung, auf der HuggingChat basiert. Chat UI unterstützt standardmäßig OpenAI-kompatible REST-Schnittstellen. Entwickler müssen lediglich die Umgebungsvariablen OPENAI_BASE_URL und OPENAI_API_KEY konfigurieren, um Chat-Anfragen direkt an einen dedizierten Hugging Face Inference Endpoint mit Text Generation Inference (TGI) oder vLLM weiterzuleiten. Dieses Setup lässt sich innerhalb weniger Minuten über einen privaten Hugging Face Space oder lokal via Docker realisieren.
Architektur und Datenfluss
Die vollständige Integration setzt sich aus drei Hauptkomponenten zusammen:
- Hugging Face Inference Endpoints: Hostet Ihre privaten oder quelloffenen Modellgewichte (wie Llama 3.3, Mistral, Qwen oder interne LoRA-Adapter) auf dedizierten GPU-Instanzen unter TGI oder vLLM und stellt standardisierte OpenAI-Routen (
/v1/chat/completions) bereit. - User Access Token (
HF_TOKEN): Dient der Authentifizierung und Autorisierung aller Anfragen an den privaten Endpunkt. - Chat UI (Private HuggingChat-Instanz): Die Frontend-Anwendung, die den Endpunkt abfragt und die vollständige Chat-, Multimodalitäts- und Tool-Calling-Erfahrung bereitstellt.
+-------------------------------------------------------------+
| Private Chat UI Instanz |
| (Hugging Face Space / Lokales Docker) |
+-------------------------------------------------------------+
|
OPENAI_BASE_URL | OPENAI_API_KEY (hf_xxx)
v
+-------------------------------------------------------------+
| Hugging Face Inference Endpoint |
| https://<endpoint-id>.<region>.<cloud>.endpoints.huggingface.cloud/v1 |
| (TGI- oder vLLM-Container) |
+-------------------------------------------------------------+
|
v
+-------------------------------------------------------------+
| Privates Repository / Eigene Modellgewichte |
+-------------------------------------------------------------+
Schritt 1: Eigenen Inference Endpoint einrichten
So stellen Sie Ihr Modell auf dedizierter Hugging Face-Infrastruktur bereit:
- Rufen Sie die Verwaltungskonsole der Inference Endpoints auf.
- Klicken Sie auf Create New Endpoint.
- Model Repository: Geben Sie die ID Ihres privaten Modell-Repositories an (z. B.
ihre-organisation/privates-llama-3-8b) oder wählen Sie ein Hub-Modell. - Cloud Provider & Region: Wählen Sie den Cloud-Anbieter (AWS oder Azure) sowie eine geografisch nahegelegene Region.
- Instance Type: Wählen Sie eine passende GPU-Konfiguration (z. B. 1x NVIDIA A10G für 8B-Modelle, mehrere A100/H100 für 70B-Modelle).
- Framework & Engine: Stellen Sie sicher, dass als Container Text Generation Inference (TGI) oder vLLM ausgewählt ist. Beide unterstützen die OpenAI-konformen Endpunkte nativ.
- Klicken Sie auf Create Endpoint.
Warten Sie, bis der Status von Building zu Running wechselt. Kopieren Sie die zugewiesene URL aus der Übersicht:
https://<endpoint-id>.<region>.<cloud>.endpoints.huggingface.cloud
Schritt 2: Hugging Face Access Token erstellen
Für Anfragen an Ihren dedizierten Endpunkt wird ein autorisiertes Token benötigt:
- Öffnen Sie in Ihrem Benutzerkonto die Seite Settings > Access Tokens (
hf.co/settings/tokens). - Klicken Sie auf Create new token.
- Wählen Sie den Tokentyp:
- Fine-grained token (Empfohlen): Aktivieren Sie unter Inference die Berechtigung „Make calls to your Inference Endpoints“.
- Read token: Für Endpunkte unter dem eigenen Benutzerkonto reicht auch ein Standard-Lesetoken aus.
- Kopieren Sie das generierte Token (
hf_...) und speichern Sie es sicher ab.
Schritt 3: Chat UI (HuggingChat) konfigurieren und starten
Chat UI ermittelt verfügbare Modelle automatisch, indem es der Basis-URL den Pfad /v1 anfügt.
Option A: 1-Klick-Bereitstellung via Hugging Face Spaces (Empfohlen)
Die einfachste Methode für Teams ohne eigene Serverwartung ist die Nutzung des offiziellen Space-Templates:
- Öffnen Sie das offizielle Chat UI Space-Template.
- Setzen Sie die Sichtbarkeit auf Private, um unbefugten Zugriff zu verhindern.
- Hinterlegen Sie unter Settings > Variables and Secrets des Spaces folgende Umgebungsvariablen:
OPENAI_BASE_URL:https://<endpoint-id>.<region>.<cloud>.endpoints.huggingface.cloud/v1OPENAI_API_KEY:hf_************************(Ihr Zugriffstoken aus Schritt 2)
- (Optional) Setzen Sie
MONGODB_URL, wenn Chat-Verläufe über Space-Neustarts hinweg persistent gespeichert werden sollen. Für Einzelbenutzertests nutzt Chat UI automatisch eine integrierte lokale Datenbank. - Starten Sie den Space neu. Chat UI erkennt den Endpunkt sofort und stellt das private Modell in der Oberfläche bereit.
Option B: Lokales oder On-Premise-Hosting (Node.js / Docker)
Wenn Sie die Anwendung auf Ihrer Workstation oder in einem internen Cluster betreiben möchten:
-
Klonen Sie das Repository von Chat UI:
git clone https://github.com/huggingface/chat-ui.git cd chat-ui -
Erstellen Sie eine Konfigurationsdatei
.env.local:# Konfiguration des Inference Endpoints OPENAI_BASE_URL=https://<endpoint-id>.<region>.<cloud>.endpoints.huggingface.cloud/v1 OPENAI_API_KEY=hf_ihr_token_hier # Datenbank (optional für lokale Entwicklung, nutzt standardmäßig ./db) # MONGODB_URL=mongodb://localhost:27017 -
Falls Ihr Endpunkt den Abruf über
/v1/modelsnicht unterstützt oder Sie feste Modellparameter und Namen erzwingen möchten, definieren Sie die VariableMODELSim JSON5-Format:MODELS=`[ { "id": "tgi", "name": "Unternehmensinternes Modell", "multimodal": false, "supportsTools": false, "parameters": { "temperature": 0.7, "max_tokens": 4096 } } ]` -
Installieren Sie die Abhängigkeiten und starten Sie den Entwicklungsserver:
npm install npm run dev -- --open
Chat UI öffnet sich unter http://localhost:5173 im Browser und stellt eine direkte Verbindung zu Ihren privaten Modellgewichten her.
Überprüfung vor Inbetriebnahme
Vor dem Test im Webbrowser empfiehlt sich ein schneller Verbindungstest per curl:
curl -X POST "https://<endpoint-id>.<region>.<cloud>.endpoints.huggingface.cloud/v1/chat/completions" \
-H "Authorization: Bearer hf_ihr_token_hier" \
-H "Content-Type: application/json" \
-d '{
"model": "tgi",
"messages": [
{"role": "system", "content": "You are a helpful assistant."},
{"role": "user", "content": "Hello! Confirm endpoint readiness."}
],
"max_tokens": 50
}'
Sobald eine wohlgeformte JSON-Antwort mit der generierten Nachricht zurückgegeben wird, sind Container und Zugangsdaten betriebsbereit.
Wichtige Praxishinweise und Trade-offs
- Öffentliche Assistenten vs. Dedizierte Bereitstellung: Das Erstellen eines „Assistant“ auf
hf.co/chaterlaubt zwar eigene System-Prompts und RAG-Dokumente, das zugrunde liegende Modell bleibt jedoch auf die öffentlichen Hub-Modelle beschränkt. Für vollständige Datenhoheit und eigene Modellgewichte ist das Self-Hosting von Chat UI zwingend erforderlich. - Kaltstartverzögerung (Scale-to-Zero): Ist der Endpunkt so konfiguriert, dass er bei Inaktivität auf 0 Instanzen skaliert, kann die erste Chat-Anfrage ein Timeout auslösen, während der GPU-Container hochfährt. In Produktivumgebungen sollte mindestens 1 aktive Instanz vorgehalten werden.
- Streaming-Übertragung: Chat UI nutzt Server-Sent Events (SSE) für die flüssige Textausgabe. TGI und vLLM unterstützen dies nativ. Achten Sie bei zwischengeschalteten Reverse-Proxies (z. B. Nginx) darauf, das Proxy-Buffering zu deaktivieren (
proxy_buffering off;).