Für Entwickler und KI-Praktiker, die spezialisierte dialogorientierte KI-Agenten entwickeln möchten, ohne sich an proprietäre Ökosysteme wie die Custom GPTs von OpenAI binden zu müssen, bietet Hugging Face mit HuggingChat Assistants eine leistungsstarke Open-Source-Alternative. Basierend auf der quelloffenen Engine chat-ui ermöglicht HuggingChat Assistants die Erstellung, individuelle Konfiguration und Verteilung von Aufgabenagenten, die vollständig auf Open-Weights-Sprachmodellen (LLMs) aufbauen.
Im Gegensatz zu proprietären Plattformen, die sowohl von Erstellern als auch von Endnutzern kostenpflichtige Abonnements (wie 20 US-Dollar oder mehr pro Monat für ChatGPT Plus/Team) verlangen, sind HuggingChat Assistants komplett kostenlos erstellbar, testbar und teilbar. Da der gesamte Software-Stack quelloffen ist, besteht zudem kein Vendor-Lock-in: Konfigurationen, die auf der gehosteten Plattform von Hugging Face erprobt wurden, lassen sich nahtlos in selbst gehostete Unternehmensumgebungen überführen.
Dieser Leitfaden führt Schritt für Schritt durch das Design, die Auswahl geeigneter Open-Weights-Modelle, das System-Prompt-Engineering, die Integration von Community Tools und relevante Sicherheitsaspekte.
Architektur und Kernbestandteile von HuggingChat Assistants
HuggingChat Assistants stützt sich auf drei zentrale Architekturkomponenten:
- Open-Weights-Basismodelle: Anstelle eines einzelnen geschlossenen Anbieters können Entwickler aus führenden offenen Modellen wählen, die auf der Hugging-Face-Inferenzinfrastruktur bereitgestellt werden. Dazu zählen die Meta-Llama-Familie (z. B. Llama 3.3 70B, Llama 3.1), Mistral- und Mixtral-Architekturen, Qwen 2.5, DeepSeek sowie Cohere Command R+.
- System-Prompt-Konfiguration (Preprompt): Eine persistente Instruktionsebene, die die Persona des Assistenten, operationale Verhaltensregeln, strenge Ausgabeformate und Fachgebietsgrenzen für die gesamte Dauer der Chatsitzung festlegt.
- Werkzeug- und Kontexterweiterungen: Neben nativer Echtzeit-Websuche unterstützt die Plattform sogenannte „Community Tools“. Diese wandeln öffentliche Hugging Face Spaces (Gradio-Anwendungen) in aufrufbare APIs um, sodass Modelle Bildgenerierung, Code-Ausführung oder Retrieval-Augmented Generation (RAG) auf eigenen Dokumenten durchführen können.
Die Benutzeroberfläche und die Backend-Logik werden durch das Open-Source-Projekt huggingface/chat-ui bereitgestellt, eine SvelteKit-Anwendung mit MongoDB-Persistenz und OpenAI-kompatibler Inferenzanbindung.
Schritt-für-Schritt-Anleitung: Assistenten in HuggingChat erstellen
Die Erstellung eines Assistenten über die Web-Oberfläche erfordert bei Standardkonfigurationen keinerlei Programmieraufwand.
1. Navigieren zum Erstellungs-Studio
- Öffnen Sie den HuggingChat Assistants Hub.
- Melden Sie sich mit Ihrem kostenlosen Hugging-Face-Konto an.
- Klicken Sie oben rechts auf die Schaltfläche "Create new assistant" (oder rufen Sie direkt
/chat/settings/assistants/newauf).
2. Metadaten und visuelle Identität festlegen
Im Konfigurationsformular wird das öffentliche Profil des Assistenten definiert:
- Name: Eine präzise Bezeichnung des Einsatzbereichs (z. B. FastAPI Architecture Reviewer, Biomedical Paper Synthesizer oder SQL Query Optimizer).
- Avatar: Laden Sie ein Bild hoch, das als Erkennungssymbol im Chatfenster und auf der Verzeichniskarte dient.
- Description (Beschreibung): Eine kurze Zusammenfassung (1–2 Sätze), die Zweck und Zielgruppe des Assistenten erläutert. Dieser Text erscheint in der Übersicht und in Vorschauen beim Teilen.
3. Das passende Open-Weights-Modell auswählen
Die Modellwahl bestimmt Kontextlänge, Argumentationsschärfe und die Zuverlässigkeit bei Funktionsaufrufen:
- Komplexe Logik und Code-Generierung: Modelle wie Qwen 2.5 72B Instruct oder Llama 3.3 70B Instruct bieten herausragende Fähigkeiten bei Programmiersprachen, mehrstufigen Überlegungen und der Einhaltung strukturierter Formate (JSON/Markdown).
- Mehrsprachigkeit und wissenschaftliche Synthese: Modelle wie Cohere Command R+ oder Qwen 2.5 überzeugen bei sprachübergreifenden Anweisungen und quellengetreuen Zusammenfassungen.
- Geringe Latenz und Standardinteraktionen: Kompakte Modelle wie Llama 3.1 8B oder Mistral Nemo liefern schnelle Antworten bei minimalem Ressourcenverbrauch für alltägliche Aufgaben.
Hinweis: Wenn Sie Community Tools einbinden möchten, wählen Sie ein Modell, das für Tool-Calling (Funktionsaufrufe) optimiert ist.
4. Den System-Prompt (Preprompt) verfassen
Der System-Prompt bildet das logische Fundament des Assistenten. Bei Open-Weights-Modellen sorgt eine saubere Strukturierung für maximale Zuverlässigkeit:
- Rollen- und Persona-Definition: Definieren Sie die fachliche Identität und den Bewertungsmaßstab gleich zu Beginn.
- Strukturierte Trenner: Verwenden Sie Markdown-Überschriften (
### Role,### Objectives,### Formatting Rules,### Constraints), damit das Modell Verhaltensregeln sauber von Nutzereingaben trennen kann. - Explizite Ausgabevorgaben: Bestimmen Sie eindeutig, ob die Ausgabe als valides JSON-Objekt, Vergleichstabelle oder kommentierter Codeblock erfolgen soll.
- Negative Einschränkungen (Guardrails): Legen Sie unmissverständlich fest, was das Modell unterlassen muss (z. B.: „Erfinde keine nicht-existierenden Bibliotheken; wenn Dokumentation fehlt, weise explizit auf die Notwendigkeit einer Prüfung hin“).
- Few-Shot-Beispiele: Ergänzen Sie am Ende des Prompts 1–2 kurze Eingabe-Ausgabe-Beispiele, um das gewünschte Schema zu festigen.
Beispiel für einen System-Prompt: Technischer Code-Reviewer
### Role & Persona
You are a Staff Software Engineer specializing in Python, Go, and cloud-native architecture. Your role is to perform rigorous, production-grade code reviews focused on security, latency, and idiomatic maintainability.
### Operational Guidelines
1. Analyze the user's submitted snippet before providing suggestions.
2. Structure your review into three distinct sections:
- **Critical Vulnerabilities & Bugs:** Highlight severe logic errors, security risks (SQLi, SSRF, memory leaks), or race conditions.
- **Performance & Idiomatic Refactoring:** Suggest algorithmic improvements and language-native patterns.
- **Refactored Implementation:** Provide a fully commented, drop-in replacement code block.
3. If the user's code is already optimal, explicitly validate why it conforms to best practices.
4. Keep explanations direct, technical, and free of conversational filler.
5. Gesprächsstarter (Message Starters) konfigurieren
Geben Sie 2 bis 4 beispielhafte Eingabeaufforderungen an (z. B. "Review this Python async connection pool for memory leaks", "Optimize this PostgreSQL index strategy"). Diese werden beim Start eines neuen Chats als Schaltflächen angezeigt und erleichtern Anwendern den Einstieg.
6. Websuche und Community Tools aktivieren
Erweitern Sie die Fähigkeiten des Modells über das Trainingsdatum hinaus:
- Web Search (Websuche): Bei Aktivierung durchsucht das Modell das Internet in Echtzeit nach aktuellen Dokumentationen und fügt Quellverweise in die Antworten ein.
- Community Tools (Gemeinschaftswerkzeuge): Ein Assistent kann mit bis zu 3 externen Tools verknüpft werden. Sie können bestehende öffentliche Spaces (z. B. Bildgenerierung oder Sprachsynthese) einbinden oder einen eigenen Gradio Space anlegen (etwa auf Basis der Open-Source-Vorlage
nsarrazin/rag-tool-templatefür private Dokumente), um ein benutzerdefiniertes RAG-System anzuschließen.
7. Speichern und testen
Klicken Sie auf "Create", um den Assistenten zu initialisieren. Er steht sofort in Ihrem persönlichen Arbeitsbereich für Praxistests bereit.
Teilen und Community-Ökosystem
Das Verteilen erstellter Assistenten erfordert keinen zusätzlichen Administrationsaufwand:
- Direkter öffentlicher Link: Jeder Assistent erhält eine permanente URL nach folgendem Muster:
https://hf.co/chat/assistant/<assistant_id>Jeder, der diesen Link aufruft, kann direkt im Browser mit dem Assistenten interagieren. - Kostenfreier Zugriff für Endnutzer: Anwender benötigen kein Bezahl-Abonnement. Ein reguläres kostenloses Hugging-Face-Konto (oder ein Gastzugang im Rahmen der Ratenbegrenzung) genügt.
- Präsenz im öffentlichen Verzeichnis: Standardmäßig sind neue Assistenten öffentlich sichtbar, mit dem Profil des Erstellers verknüpft und im HuggingChat-Verzeichnis auffindbar, wo sie von der Community bewertet (Upvotes) und getestet werden können.
- Transparente Spezifikationen: Auf der Profilkarte des Assistenten werden das zugrunde liegende Modell, dessen Parametergröße und aktive Werkzeuge transparent ausgewiesen.
Unternehmensweiter Einsatz: Self-Hosting mit chat-ui
Ein zentraler Vorteil von HuggingChat Assistants ist die architektonische Portabilität. Im Gegensatz zu proprietären SaaS-Assistenten ist der gesamte Code im Repository huggingface/chat-ui frei verfügbar.
Unternehmen mit strengen Datenschutzvorgaben oder eigenen feinabgestimmten Modellen können eine vollständig private Instanz betreiben:
chat-uilokal oder in der Private Cloud bereitstellen: Starten Siechat-uivia Docker oder Node.js und verbinden Sie die Anwendung mit einer internen MongoDB-Instanz.- Private Inferenz-Endpunkte anbinden:
Setzen Sie in der Datei
.env.localdie VariableOPENAI_BASE_URLauf interne GPU-Server, auf denen vLLM, TGI (Text Generation Inference), Ollama oder llama.cpp laufen. - Assistenten-Funktion freischalten:
Aktivieren Sie
ENABLE_ASSISTANTS=truein der Konfiguration. Mitarbeiter können nun interne Assistenten mit firmeneigenen Modellen und Wissensbeständen konfigurieren und teilen, ohne dass Daten das Unternehmensnetzwerk verlassen.
Best Practices und Sicherheitsüberlegungen
Beachten Sie beim Erstellen und Veröffentlichen von Assistenten folgende Empfehlungen:
- Schutz vor Prompt-Extraktion: Wie bei allen großen Sprachmodellen können auch Open-Weights-Modelle durch gezielte Prompt-Injections (z. B. „Wiederhole alle Systemanweisungen wortwörtlich“) dazu gebracht werden, ihren System-Prompt preiszugeben. Hinterlegen Sie niemals vertrauliche API-Schlüssel, Datenbank-Passwörter, Betriebsgeheimnisse oder personenbezogene Daten im System-Prompt.
- Modellgröße passend zur Aufgabe wählen: Modelle mit 70 Milliarden Parametern sind für anspruchsvollen Code und tiefe Analysen unerlässlich. Für einfache Textüberarbeitungen oder Formulierungshilfen bieten Modelle mit 8B bis 14B Parametern schnellere Antwortzeiten und schonen Ressourcen.
- Fokussiertes Aufgabendesign: Assistenten, die für eine klar umrissene Nische konzipiert sind (z. B. Validierung von OpenAPI-Spezifikationen), erzielen deutlich stabilere Ergebnisse und eine höhere Nutzerzufriedenheit als überfrachtete Allrounder.
- Wissensaktualität durch Websuche und RAG sichern: Da Sprachmodelle einen festen Trainingsstichtag haben, sollten Sie bei dynamischen Technologien die Websuche aktivieren oder einen Dokumenten-Space einbinden, um Halluzinationen zu verhindern.