RAG: Unternehmenswissen sicher mit KI nutzbar machen

So funktioniert ein RAG-System

Dokumente werden eingelesen, sinnvoll aufgeteilt und in einem Suchindex abgelegt. Bei einer Frage ermittelt das System passende Textstellen und übergibt sie zusammen mit der Anfrage an das Modell. Eine Referenzarchitektur von Google Cloud trennt dabei Datenaufnahme und Bereitstellung klar voneinander.

Quelle: Google Cloud – RAG reference architecture.

Datenqualität bestimmt Antwortqualität

Doppelte, veraltete oder widersprüchliche Dokumente führen zu schlechten Ergebnissen. Verantwortlichkeiten, Freigabestatus, Metadaten und Löschregeln sind deshalb ebenso wichtig wie Embeddings oder Vektordatenbanken.

Quellen und Unsicherheit sichtbar machen

Gute Wissensassistenten zeigen, auf welchen Dokumenten eine Antwort beruht. Wenn keine passende Quelle gefunden wurde, sollte das System dies offen sagen, anstatt eine plausible Antwort zu erfinden.

Berechtigungen nicht umgehen

Ein gemeinsamer Suchindex darf keine vertraulichen Inhalte an unberechtigte Nutzer ausgeben. Zugriffskontrollen müssen vor der Suche oder beim Filtern der Ergebnisse durchgesetzt werden. Besonders bei Personal-, Vertrags- und Kundendaten ist eine saubere Trennung unverzichtbar.

Geeignete Anwendungsfälle

RAG eignet sich für interne Handbücher, technische Dokumentation, Produktwissen, Richtlinien, Supportwissen und projektbezogene Archive. Für hochdynamische Transaktionsdaten ist häufig eine direkte API- oder Datenbankabfrage die bessere Ergänzung.