Bei der Einführung von KI-Assistenten im Unternehmensumfeld stehen Knowledge Manager und IT-Verantwortliche vor einer zentralen Hürde: Standard-Sprachmodelle besitzen keinen Zugriff auf interne, proprietäre Unternehmensdokumente und neigen ohne verifizierten Kontext zu Halluzinationen. Cohere Coral und die zugrundeliegende Command-Modellfamilie begegnen dieser Herausforderung mit einer maßgeschneiderten Architektur für Retrieval-Augmented Generation (RAG), die auf sogenannten Data Connectors aufbaut.
Die Data Connectors von Cohere fungieren als authentifizierte HTTP-Brücke zwischen den Sprachmodellen und internen Datenspeichern – seien es Elasticsearch-Cluster, OpenSearch-Indizes, Confluence-Wikis, Notion-Bereiche, Cloud-Storage oder dedizierte Vektordatenbanken. Statt statische Komplettabgleiche vorauszusetzen oder Datensicherheitsrisiken einzugehen, ermöglichen Connectors das dynamische Abrufen relevanter Passagen und die Generierung fundierter Antworten mit maschinenlesbaren, überprüfbaren Zitaten (Citations).
Architektur: Wie Coral mit internen Dokumentenspeichern interagiert
Um zuverlässige Connectors zu konzipieren und zu betreiben, müssen Knowledge Manager die Interaktionskette zwischen Benutzer, Cohere Coral und dem internen Datenbestand verstehen:
- Anfrageanalyse und Suchbegriffgenerierung: Stellt ein Mitarbeiter eine Frage in der Coral-Oberfläche oder über die Chat API, analysiert Cohere den bisherigen Gesprächsverlauf. Das Command-Modell leitet die rohe Benutzerfrage nicht unreflektiert an die interne Datenbank weiter, sondern erzeugt gezielte, für Suchsysteme optimierte Suchanfragen (
search_queries). - Connector-Aufruf: Cohere sendet eine authentifizierte HTTP-Anfrage an den
/search-Endpunkt des registrierten Connectors und übergibt die erzeugten Suchbegriffe. - Internes Dokumenten-Retrieval: Der Microservice des Connectors nimmt die Anfrage entgegen, führt die Suche im internen System aus (mittels lexikalischer BM25-Suche, dichter Vektorsuche oder Hybridansatz) und gibt die Treffer in einem standardisierten Dokumentenschema an Cohere zurück.
- Kontextinjektion und Reranking: Cohere extrahiert die Textausschnitte und bettet sie in das Kontextfenster des Modells ein. Über konfigurierbare Ausschlussregeln (
excludes) lassen sich interne Datenbank-IDs und Routing-Metadaten aus dem Prompt herausfiltern, um Token-Kosten einzusparen. - Fundierte Generierung mit Zitierungsmetadaten: Das Modell formuliert die finale Antwort streng auf Basis der bereitgestellten Dokumente. Das Ergebnisobjekt enthält ein strukturiertes
citations-Array, das genaue Zeichenpositionen (startundend) direkt mit den Dokumenten-IDs und Quell-URLs verknüpft. In der Benutzeroberfläche von Coral ermöglicht dies klickbare Quellenbelege, über die Mitarbeiter jede Aussage direkt im Originaldokument nachprüfen können.
Schritt 1: Den Connector Search API Service implementieren
Ein Cohere Data Connector ist ein eigenständiger HTTP-Webdienst mit einem definierten Such-Endpunkt. Knowledge Manager können diesen Dienst in Python (mit FastAPI oder Flask) entwickeln oder als Docker-Container in der eigenen Cloud-Infrastruktur bereitstellen. Cohere bietet im Open-Source-Repository quick-start-connectors Referenzimplementierungen für Systeme wie Elasticsearch, Pinecone, Google Drive und GitHub.
Standard-Schema des Such-Endpunkts
Der Dienst muss Suchanfragen entgegennehmen und ein JSON-Objekt mit einem results-Array zurückgeben. Jeder Eintrag umfasst zentrale Metadatenfelder:
{
"results": [
{
"id": "kb-policy-4091",
"title": "Unternehmensrichtlinie zur Informationssicherheit und Zugriffskontrolle",
"text": "Alle Mitarbeiter müssen vierteljährliche Zugriffsprüfungen abschließen. Administrative Rechte für Cloud-Infrastrukturen erfordern Hardware-MFA-Token sowie die Genehmigung des Sicherheitsleiters.",
"url": "https://wiki.corp.internal/policies/infosec-access-control"
},
{
"id": "kb-handbook-1024",
"title": "Standard für Remote Work und Datenschutz",
"text": "Proprietärer Quellcode und interne Dokumente dürfen nicht auf private Speichermedien übertragen werden. Der Datenverkehr muss zwingend über das WireGuard-VPN-Gateway geleitet werden.",
"url": "https://wiki.corp.internal/handbook/data-protection"
}
]
}
Best Practices für Text-Chunking und Dokumentenqualität
Die Verlässlichkeit der Antworten in Coral hängt unmittelbar von der Qualität der Textausschnitte ab:
- Chunk-Größe: Ideal sind Abschnitte zwischen 250 und 500 Wörtern. Zu große Chunks verwässern die semantische Relevanz und treiben den Token-Verbrauch in die Höhe; zu kurze Fragmente verlieren den betrieblichen Kontext.
- Hierarchische Metadaten: Halten Sie Dokumenttitel, Abteilung und Überschriftenhierarchie in den Metadaten fest. So kann das Modell zwischen Richtlinien verschiedener Geschäftsbereiche sauber unterscheiden.
- Präzise Deep Links: Das Feld
urlsollte auf konkrete Anker oder Paragrafen der internen Dokumentation verweisen, damit Mitarbeiter die referenzierte Textstelle unmittelbar aufrufen können.
Schritt 2: Authentifizierung und Zugriffskontrolle einrichten
Unternehmensdatenbanken enthalten oft vertrauliche HR-, Finanz- oder Rechtsunterlagen, die nicht für alle Mitarbeiter bestimmt sind. Cohere unterstützt zwei wesentliche Authentifizierungsmodelle:
1. Service-to-Service-Authentifizierung (service_auth)
Eignet sich für Wissensquellen, auf die alle Coral-Nutzer im Unternehmen gleichermaßen Lesezugriff besitzen (etwa allgemeine Mitarbeiterhandbücher oder IT-Support-Leitfäden). Cohere überträgt bei jedem Aufruf des Endpunkts /search einen statischen Bearer-Token im HTTP-Header.
2. Benutzerbezogenes OAuth 2.0 (oauth)
Erforderlich für Systeme mit granularen Zugriffskontrolllisten (ACLs) wie Google Workspace, Confluence oder interne Personalsysteme:
- Startet ein Mitarbeiter eine Sitzung in Coral, initiiert die Plattform den Autorisierungsfluss über das unternehmenseigene SSO.
- Cohere speichert den OAuth-Access-Token des Nutzers und leitet ihn bei Anfragen an den Connector weiter.
- Der Connector führt die Abfrage im internen Datenspeicher unter der konkreten Identität des Mitarbeiters aus. Vertrauliche Dokumente ohne Leseberechtigung werden gar nicht erst abgerufen und gelangen nicht in das Modell.
Schritt 3: Connector auf der Cohere-Plattform registrieren
Sobald der Suchdienst bereitgestellt und über HTTPS erreichbar ist, wird er per POST-Anfrage an https://api.cohere.com/v1/connectors registriert.
API-Registrierungsaufruf
curl https://api.cohere.com/v1/connectors \
-H "Authorization: Bearer YOUR_COHERE_API_KEY" \
-H "Content-Type: application/json" \
-X POST \
-d '{
"name": "internal-knowledge-hub",
"description": "Interne technische Dokumentation, Standardarbeitsanweisungen und Unternehmensrichtlinien.",
"url": "https://connector.corp.internal/search",
"active": true,
"service_auth": {
"type": "bearer",
"token": "CORP_CONNECTOR_SECRET_TOKEN"
},
"excludes": [
"raw_database_id",
"internal_routing_hash"
]
}'
Erläuterung der Konfigurationsparameter
name: Eindeutiger Bezeichner, über den der Connector in der Coral-Verwaltung und in Aufrufen der Chat API adressiert wird.url: Die Adresse des Such-Endpunkts. Während der Registrierung führt Cohere automatisch einen Verbindungstest durch. Schlägt dieser fehl oder antwortet der Dienst nicht mit HTTP 200, bricht die Registrierung ab.excludes: Liste von JSON-Schlüsseln, die vor der Prompt-Erstellung entfernt werden sollen. Diese Felder belasten das Kontextfenster nicht, bleiben im Citation-Ergebnis jedoch für das Frontend erhalten.
Schritt 4: Zitierungen und Antworten validieren
Nach erfolgreicher Registrierung prüfen Administratoren das Zusammenspiel und die Exaktheit der Quellenangaben über die Chat API oder die Coral-Testkonsole.
Überprüfung mittels Python-SDK
import cohere
co = cohere.Client(api_key="YOUR_COHERE_API_KEY")
response = co.chat(
model="command-r-plus",
message="Welche Vorgaben gelten für Hardware-MFA bei Cloud-Infrastrukturen?",
connectors=[{"id": "internal-knowledge-hub"}]
)
print("Generierte Antwort:")
print(response.text)
print("\nZitierungen:")
for citation in response.citations:
print(f"[{citation.start}:{citation.end}] '{citation.text}' -> Quellen: {citation.document_ids}")
Struktur des Antwortobjekts
Das Antwortobjekt trennt generierten Text sauber von den Nachweisen:
{
"text": "Für administrative Zugriffsrechte auf die Cloud-Infrastruktur ist der Einsatz von Hardware-MFA-Token sowie die Genehmigung des Sicherheitsleiters zwingend vorgeschrieben.",
"citations": [
{
"start": 0,
"end": 169,
"text": "Für administrative Zugriffsrechte auf die Cloud-Infrastruktur ist der Einsatz von Hardware-MFA-Token sowie die Genehmigung des Sicherheitsleiters zwingend vorgeschrieben.",
"document_ids": ["internal-knowledge-hub_kb-policy-4091"]
}
],
"documents": [
{
"id": "internal-knowledge-hub_kb-policy-4091",
"title": "Unternehmensrichtlinie zur Informationssicherheit und Zugriffskontrolle",
"url": "https://wiki.corp.internal/policies/infosec-access-control",
"snippet": "Alle Mitarbeiter müssen vierteljährliche Zugriffsprüfungen abschließen. Administrative Rechte für Cloud-Infrastrukturen erfordern Hardware-MFA-Token sowie die Genehmigung des Sicherheitsleiters."
}
]
}
Mithilfe der Indizes start und end heben Frontends die belegten Textpassagen hervor, sodass Benutzer per Klick die Übereinstimmung mit dem Quelltext verifizieren können.
Schritt 5: Best Practices für den Betrieb und architektonische Weiterentwicklung
Für einen verlässlichen Produktivbetrieb sollten Knowledge Manager folgende Punkte berücksichtigen:
Hybride Suche und Cohere Rerank einbinden
Unternehmensdokumente enthalten viele Akronyme, Projektkürzel und Versionsbezeichnungen. Reine Vektorsuche scheitert gelegentlich an exakten Bezeichnern, während klassische Stichwortsuche an umgangssprachlichen Formulierungen leidet.
- Kombinieren Sie im Connector BM25-Suche mit Vektoreinbettungen (Cohere Embed).
- Leiten Sie die besten 30 bis 50 Vorabergebnisse an Cohere Rerank weiter und übergeben Sie nur die 5 bis 10 relevantesten Chunks an Cohere. Das verkürzt Latenzzeiten, reduziert Token-Kosten und erhöht die Treffsicherheit der Zitate.
Sauberes Verhalten bei fehlenden Informationen
Ein verlässlicher Assistent muss eingestehen können, wenn Unterlagen fehlen. Erreicht kein Dokument die Relevanzschwelle, sollte der Connector ein leeres Array (results: []) liefern. Command-Modelle sind so trainiert, dass sie bei mangelnder Quellenlage transparent mitteilen, dass keine passenden Unterlagen gefunden wurden, statt Vermutungen anzustellen.
Weiterentwicklung zu Multi-Step Tool Use und Cohere Toolkit
Mit steigender Komplexität migrieren viele Unternehmen von statischen Connectors hin zu Multi-Step Tool Use und dem quelloffenen Cohere Toolkit:
- Connectors lassen sich als Werkzeuge (Tools) für Agenten definieren, womit das Modell eigenständig mehrstufige Recherchen durchführen kann (etwa Jira-Tickets prüfen, Konzeptionen in Confluence abrufen und Quellcode im Git-Repository abgleichen).
- Für Unternehmen, die Cohere in Virtual Private Clouds (AWS Bedrock, Azure, OCI) oder isolierten Containerumgebungen betreiben, stellt das Cohere Toolkit eine modulare Microservice-Architektur bereit, bei der sämtliche Daten innerhalb des geschützten Unternehmensnetzwerks verbleiben.
Durch standardisierte Schnittstellen, strikte Zugriffskontrollen und die präzise Verknüpfung von Zitaten verwandeln Knowledge Manager unübersichtliche Dokumentenbestände in ein vertrauenswürdiges und nachvollziehbares Wissensnetzwerk.