Was ist RAG? Wann sich ein RAG-System für Unternehmenswissen lohnt
RAG steht für Retrieval-Augmented Generation, auf Deutsch etwa „durch Abruf erweiterte Textgenerierung“. Gemeint ist ein einfaches, aber wirkungsvolles Prinzip: Bevor ein Sprachmodell antwortet, sucht das System die passenden Stellen aus deinen eigenen Dokumenten heraus und gibt sie dem Modell mit. Die Antwort basiert dann auf deinem Unternehmenswissen statt auf dem allgemeinen Trainingswissen des Modells - und kann die Quelle nennen.
Das löst zwei Probleme auf einmal: Sprachmodelle kennen deine Preislisten, Handbücher und Verträge nicht, und sie erfinden gern plausibel klingende Antworten, wenn ihnen Wissen fehlt. Ein gut gebautes RAG-System beantwortet Fragen aus deinem Wissen und sagt ehrlich, wenn es keine Antwort findet. In diesem Ratgeber wird RAG verständlich erklärt: wie es technisch funktioniert, wo seine Grenzen liegen, wann es sich lohnt und woran Projekte in der Praxis scheitern.
KI-Potenzial-Check
Finde heraus, wie viel Zeit KI in deinem Unternehmen freisetzen kann.
In welcher Branche bist du unterwegs?
So funktioniert ein RAG-System
Hinter jeder Antwort stecken vier Schritte. Die ersten beiden laufen einmalig und dann laufend im Hintergrund, die letzten beiden bei jeder Frage.
RAG, Fine-Tuning oder einfach ein großes Kontextfenster?
Wer KI mit eigenem Wissen ausstatten will, hat grundsätzlich drei Wege:
- Fine-Tuning trainiert ein Modell mit eigenen Beispielen nach. Das ist sinnvoll, um Stil, Format oder Fachsprache zu prägen - aber schlecht geeignet für Fakten, die sich ändern. Jede neue Preisliste hieße neu trainieren, und Quellen kann ein feinjustiertes Modell nicht nennen.
- Lange Kontextfenster erlauben, ganze Dokumente direkt in die Anfrage zu packen. Für ein einzelnes Vertragswerk funktioniert das gut. Für tausende Dokumente wird es langsam, teuer und unübersichtlich, und Berechtigungen lassen sich kaum sauber abbilden.
- RAG holt bei jeder Frage nur die relevanten Abschnitte. Neues Wissen steht nach dem nächsten Indexlauf zur Verfügung, Berechtigungen werden beim Abruf geprüft und jede Antwort ist belegbar.
Für Unternehmenswissen, das wächst und sich ändert, ist RAG deshalb fast immer der richtige Ausgangspunkt. In der Praxis werden die Ansätze auch kombiniert: RAG für die Fakten, gezielte Anweisungen oder Fine-Tuning für Tonalität und Format. Und wenn das System nicht nur antworten, sondern auch handeln soll, wird RAG zum Wissensbaustein eines KI-Agenten - mehr dazu im Ratgeber Was ist ein KI-Agent?
Wann sich RAG lohnt - und wann nicht
Nicht jedes Wissensproblem ist ein KI-Problem. Diese Kriterien helfen bei der Entscheidung.
Viele Fragen, verteiltes Wissen
Antworten müssen belegbar sein
Strukturierte Zahlen und Kennzahlen
Wissen existiert nur in Köpfen
Vier typische Anwendungsfälle
Die folgenden Szenarien sind verallgemeinerte Beispiele, wie sie in vielen Unternehmen vorkommen - keine konkreten Kundenprojekte.
Technischer Support
Ausgangslage: Servicetechniker suchen in Handbüchern, alten Tickets und Wartungsprotokollen. Das System beantwortet Fehlerfragen mit Verweis auf Handbuchseite und ähnliche gelöste Fälle. Ergebnis: Neue Kolleginnen und Kollegen lösen mehr Fälle selbst, Fachleute werden seltener unterbrochen.
Vertrieb und Angebot
Ausgangslage: Produktdaten, Zertifikate und Referenztexte liegen verstreut. Das System beantwortet Kundenfragen und liefert passende Textbausteine mit Quelle. Ergebnis: Angebote und Ausschreibungsantworten entstehen schneller und konsistenter.
Personal und interne Richtlinien
Ausgangslage: Fragen zu Reisekosten, Urlaub oder Arbeitszeit landen im Postfach der Personalabteilung. Das System beantwortet sie aus Betriebsvereinbarungen und Richtlinien. Ergebnis: weniger Routineanfragen, einheitliche Auskünfte.
Qualitätsmanagement
Ausgangslage: Normen, Prozessbeschreibungen und Prüfanweisungen sind umfangreich und versioniert. Das System findet die gültige Fassung und zitiert die relevante Stelle. Ergebnis: weniger Suchaufwand vor Audits, weniger Arbeit mit veralteten Versionen.
Woran RAG-Projekte in der Praxis scheitern
Eine Demo mit zwanzig PDFs ist in einem Nachmittag gebaut. Ein System, dem ein Unternehmen vertraut, ist etwas anderes. Die häufigsten Ursachen für Enttäuschung:
- Schlechte Aufbereitung: Tabellen, Scans und mehrspaltige PDFs werden falsch zerlegt. Das Modell bekommt dann Textfragmente ohne Zusammenhang und antwortet entsprechend.
- Veraltete Dubletten: Drei Versionen derselben Richtlinie im Index führen zu widersprüchlichen Antworten. Ohne Versionslogik und Aufräumen geht es nicht.
- Fehlende Berechtigungen: Wenn das System Gehaltslisten an alle ausliefert, weil die Rechte der Quellsysteme nicht übernommen wurden, ist das Projekt am ersten Tag beendet. Rechte müssen beim Abruf geprüft werden, nicht nachträglich in der Antwort.
- Keine Evaluation: Ohne einen Satz typischer Testfragen mit erwarteten Antworten lässt sich nicht messen, ob eine Änderung das System besser oder schlechter macht.
- Kein Betrieb: Neue Dokumente müssen automatisch nachindexiert, gelöschte entfernt werden. Sonst veraltet das Wissen schleichend.
Und es gibt echte Grenzen des Ansatzes: RAG findet passende Textstellen, aber es zählt und vergleicht nicht zuverlässig über hunderte Dokumente hinweg. Eine Frage wie „Welche unserer Lieferverträge haben eine Kündigungsfrist unter drei Monaten?“ braucht vorher eine strukturierte Extraktion der Vertragsdaten in eine Tabelle oder Datenbank - danach kann die KI darauf antworten. Gute Projekte erkennen solche Fragetypen früh und planen dafür den passenden Baustein ein.
Dazu kommt der Datenschutz: Auch der Suchindex enthält personenbezogene Daten und gehört in Löschkonzept und Rollenmodell. Was dabei zu beachten ist, steht im Ratgeber KI DSGVO-konform nutzen.
Was ein RAG-System kostet
Ein klar umrissener Wissensassistent auf einem gepflegten Dokumentenbestand gehört bei Sailrs zu den fokussierten Einstiegsprojekten, die ab etwa 15.000 Euro starten. Teurer wird es durch viele oder schwer zugängliche Quellsysteme, aufwendige Aufbereitung von Scans und Tabellen, feingranulare Berechtigungen und hohe Anforderungen an Hosting und Nachweise.
Im Betrieb fallen Kosten für Modellnutzung, Hosting von Anwendung und Vektordatenbank sowie Pflege an. Die Modellkosten skalieren mit der Zahl der Fragen, nicht mit der Zahl der Dokumente. Eine ausführliche Aufschlüsselung findest du im Ratgeber Was kostet KI-Entwicklung?
Checkliste: Ist dein Wissen bereit für RAG?
- Du kannst benennen, welche Fragen das System beantworten soll und wer sie heute stellt.
- Die relevanten Dokumente liegen digital vor und sind überwiegend aktuell.
- Es gibt eine führende Ablage je Dokumenttyp - oder du bist bereit, eine festzulegen.
- Die Zugriffsrechte in den Quellsystemen sind gepflegt und lassen sich auslesen.
- Du hast zwanzig bis fünfzig echte Fragen mit guten Antworten als Testsatz.
- Fachleute stehen für Feedback im Pilot bereit.
- Es ist geklärt, wo das System betrieben wird: EU-Cloud, deutsches Rechenzentrum oder eigene Infrastruktur.
- Jemand ist verantwortlich dafür, dass Dokumente gepflegt und veraltete Inhalte entfernt werden.
Sind die meisten Punkte erfüllt, ist ein Pilot in wenigen Wochen realistisch.
So gehen wir bei Sailrs vor
Wir starten mit einer kurzen Analyse: Welche Fragen sollen beantwortet werden, wo liegt das Wissen, wie sind die Rechte organisiert? Daraus entsteht ein schmaler Pilot mit echten Dokumenten, einem kleinen Nutzerkreis und einem Testsatz, an dem wir die Antwortqualität messen. Erst wenn die Qualität stimmt, binden wir weitere Quellen an und rollen das System aus - mit Monitoring, Nachindexierung und Betrieb in Deutschland.
Technisch setzen wir je nach Anforderung auf eine individuelle Lösung oder auf Aipe, unser KI-Betriebssystem mit Konnektoren, Wissensgraph und rollenbasierter Zugriffskontrolle. Details zu Architektur und Leistungsumfang findest du auf der Seite RAG-Systeme für den Mittelstand.
Eine gute KI-Antwort ist eine, die ihre Quelle nennt.
Häufige Fragen zu RAG
Was bedeutet RAG einfach erklärt?
RAG steht für Retrieval-Augmented Generation. Das System sucht zu jeder Frage zuerst passende Stellen in deinen Dokumenten und gibt sie einem Sprachmodell mit, das daraus eine Antwort formuliert. So antwortet die KI auf Basis deines Wissens statt aus ihrem allgemeinen Training und kann die Quelle nennen.
Verhindert RAG Halluzinationen vollständig?
Nein, aber es reduziert sie deutlich und macht sie überprüfbar. Gute Systeme antworten nur auf Basis gefundener Quellen, zeigen die Fundstellen an und sagen offen, wenn sie keine passende Information finden. Eine laufende Evaluation mit Testfragen ist trotzdem Pflicht.
Welche Datenquellen kann ein RAG-System nutzen?
Grundsätzlich alles, was sich als Text erschließen lässt: Dateiablagen, SharePoint, Confluence, Wikis, Ticketsysteme, E-Mail-Archive, PDFs und Scans mit Texterkennung sowie Textfelder aus ERP und CRM. Entscheidend ist, dass Zugriffsrechte mit übernommen werden.
Was ist der Unterschied zwischen RAG und Fine-Tuning?
Fine-Tuning trainiert ein Modell nach und prägt vor allem Stil und Format. RAG lässt das Modell unverändert und liefert bei jeder Frage aktuelles Wissen aus deinen Dokumenten mit. Für Fakten, die sich ändern, und für belegbare Antworten ist RAG die bessere Wahl.
Können wir ein RAG-System DSGVO-konform betreiben?
Ja, wenn Hosting, Auftragsverarbeitung, Rollenkonzept und Löschkonzept passen. RAG-Systeme lassen sich in einer EU-Cloud, in einem deutschen Rechenzentrum oder auf eigener Infrastruktur mit quelloffenen Modellen betreiben. Wichtig ist, dass Löschungen und Rechteänderungen auch im Suchindex ankommen.
Wie lange dauert die Einführung eines RAG-Systems?
Ein Pilot mit klar umrissenem Dokumentenbestand ist meist in wenigen Wochen nutzbar. Wie lange der Weg zum produktiven System dauert, hängt vor allem von der Zahl der Quellsysteme, der Qualität der Dokumente und den Anforderungen an Berechtigungen ab.