RAG einfach erklärt: die interne Wissensdatenbank für den Mittelstand
Die KI antwortet aus Ihren eigenen Unterlagen statt aus dem Internet. Was hinter RAG steckt und welchen Unterschied das im Betriebsalltag macht.
Ein Monteur steht vor einer Anlage, die er so noch nicht gesehen hat. Die Antwort steht in einer Serviceanleitung von 2019, irgendwo auf dem Firmenserver. Er ruft in der Zentrale an, dort sucht jemand mit, nach zwanzig Minuten ist die Datei gefunden. Zwei Leute haben gearbeitet, um eine Seite zu finden.
Genau an dieser Stelle setzt RAG an. Der Begriff steht für „Retrieval-Augmented Generation", und RAG einfach erklärt bedeutet: Die KI beantwortet Fragen nicht aus ihrem allgemeinen Training, sondern aus den Dokumenten Ihres Betriebs.
Wie das im Betrieb funktioniert
Sie stellen dem System Ihre Unterlagen zur Verfügung. Es zerlegt sie in kleine Abschnitte und legt sie so ab, dass es später inhaltlich passende Stellen wiederfinden kann. Stellt jemand eine Frage, sucht das System zuerst die passenden Textstellen heraus und formuliert erst dann eine Antwort daraus.
Der wichtige Teil steckt in der Reihenfolge. Erst suchen, dann antworten. Deshalb kann das System auch angeben, aus welchem Dokument eine Aussage stammt, und Ihre Leute können nachschlagen, statt zu vertrauen.
Der Unterschied zu einem allgemeinen KI-Chat
Ein frei verfügbarer KI-Chat kennt Ihre Preisliste nicht, Ihre Montageanweisung nicht und Ihre Kündigungsfristen nicht. Fragt man ihn trotzdem, liefert er eine Antwort, die plausibel klingt und im Zweifel erfunden ist.
Ein RAG-System hat diese Möglichkeit nicht, wenn es sauber gebaut ist. Findet es in Ihren Dokumenten nichts Passendes, sagt es das. Für einen Betrieb ist das der eigentliche Gewinn: eine Auskunft, die überprüfbar ist.
Der zweite Unterschied betrifft Ihre Daten. Beim Tippen in ein beliebiges Chatfenster verlassen Firmeninterna den Betrieb, oft ohne dass jemand das entschieden hat. Bei einer eigenen Wissensdatenbank legen Sie fest, wo die Dokumente liegen und wer sie sehen darf.
Welche Unterlagen hineingehören
Am meisten bringt es dort, wo Wissen schriftlich vorliegt, aber schlecht auffindbar ist. In der Praxis sind das Arbeitsanweisungen und Handbücher, Produkt- und Ersatzteilinformationen, Verträge und Angebotsvorlagen, QM-Dokumente, Formulare und die Sammlung an Regelungen, die über Jahre gewachsen ist.
Eine gute Faustregel: Wenn eine Frage im Betrieb regelmäßig gestellt wird und die Antwort irgendwo schon geschrieben steht, ist sie ein Kandidat für die Wissensdatenbank.
Drei typische Szenarien
Im Handwerk fragt der Monteur vor Ort nach dem Anzugsmoment oder der Freigabe für ein Ersatzteil und bekommt die Stelle aus dem Herstellerhandbuch angezeigt, statt in der Zentrale anzurufen. Für Handwerksbetriebe ist das der häufigste Einstieg.
In einer Kanzlei geht es um Klauseln. Wer eine Formulierung sucht, die man vor drei Jahren schon einmal sauber gelöst hat, durchsucht heute Ordner. Mit einer Wissensdatenbank fragt er in normaler Sprache und bekommt die Fundstellen mit Quellenangabe.
In der Hausverwaltung sind es Beschlüsse und Teilungserklärungen. Was wurde 2021 zur Gartenpflege beschlossen? Die Antwort steht in einem Protokoll, das jemand kennen muss, um es zu finden.
Diese Beispiele sind typische Anwendungsfälle, keine gemessenen Kundenergebnisse. Wie groß die Zeitersparnis in Ihrem Betrieb ausfällt, hängt davon ab, wie oft gesucht wird und wie gut Ihre Dokumente gepflegt sind.
Die Datenfrage kommt zuerst, nicht zuletzt
Eine interne Wissensdatenbank enthält das, was ein Betrieb nicht verlieren will. Deshalb gehört die Frage nach dem Speicherort an den Anfang eines Projekts und nicht ans Ende.
Technisch gibt es zwei saubere Wege. Entweder läuft das System vollständig im Haus, dann verlässt kein Dokument Ihr Netz. Oder es läuft auf Servern in der EU mit Auftragsverarbeitungsvertrag. Beides ist umsetzbar, und beides sollte vor der ersten Datei entschieden sein. Wie das bei besonders sensiblen Beständen aussieht, habe ich am Beispiel der Verwaltung ausführlicher beschrieben: Bürgerservice entlasten ohne Datenabfluss.
Dazu kommt der EU AI Act. Eine interne Wissensdatenbank ist kein Hochrisikosystem, aber Ihre Mitarbeiter brauchen nach Artikel 4 ausreichende KI-Kompetenz für das, was sie bedienen. Details dazu stehen in KI-Kompetenz nach Artikel 4.
Wissensdatenbank und Telefonassistent sind zwei verschiedene Dinge
Das wird oft vermischt. Die Wissensdatenbank arbeitet nach innen, für Ihr Team. Der KI-Telefonassistent arbeitet nach außen, am Telefon mit Ihren Kunden.
Sie ergänzen sich, wenn man sie richtig verbindet: Der Telefonassistent nimmt das Anliegen auf, Ihr Team beantwortet es mit Zugriff auf das Wissen aus den eigenen Unterlagen. Angefangen wird trotzdem mit einem von beiden, nie mit beiden gleichzeitig.
So sieht ein realistischer Einstieg aus
Nehmen Sie einen Bereich, in dem viel gesucht wird, und einen begrenzten Dokumentenbestand. Legen Sie vorher fest, woran Sie den Erfolg messen: Wie lange dauert eine typische Suche heute, und wie lange nach sechs Wochen?
Danach steht eine Entscheidung an. Entweder der Bereich wird ausgebaut, oder das Vorhaben wird sauber beendet. Beides ist ein Ergebnis. Was Sie vermeiden sollten, ist der Pilot ohne Enddatum, der zwei Jahre später immer noch als Testphase läuft.
Häufige Fragen
Was bedeutet RAG ausgeschrieben? Retrieval-Augmented Generation, sinngemäß: eine Antwort, die durch vorherige Suche in vorgegebenen Quellen gestützt wird.
Halluziniert die KI trotzdem? Das Risiko sinkt deutlich, weil die Antwort aus gefundenen Textstellen gebildet wird und die Quelle mitgeliefert wird. Ganz ausschließen lässt es sich nicht. Deshalb gehören Quellenangaben und stichprobenartige Kontrolle zum Betrieb dazu.
Wie viele Dokumente braucht man mindestens? Es gibt keine Untergrenze. Sinnvoll wird es, sobald das Suchen im Bestand länger dauert als das Fragen. Zwanzig gut gepflegte Dokumente bringen mehr als tausend veraltete.
Was kostet eine interne Wissensdatenbank? Das hängt vom Umfang, vom Speicherort und von der Zahl der Nutzer ab. Eine belastbare Aussage dazu gehört ins Erstgespräch, nicht auf eine Website.
Geht das auch komplett ohne Cloud? Ja. Für Betriebe mit besonders sensiblen Daten ist der vollständig lokale Betrieb der Normalfall. Er verlangt etwas mehr Hardware, dafür verlässt kein Dokument das Haus.
Ich bin Ulli Albrecht, KI-Berater aus Mettenheim in Rheinhessen, TÜV-zertifiziert. Das Erstgespräch ist kostenlos und dauert 30 Minuten.