Glossar
Was ist RAG (Retrieval-Augmented Generation)?
Kurz erklärt
RAG steht für Retrieval-Augmented Generation. Dabei sucht ein System zuerst passende Textstellen in einer Wissensquelle und gibt sie einem Sprachmodell mit, damit die Antwort auf diesen Quellen beruht.
Ein Sprachmodell kennt weder Ihre internen Dokumente noch Ereignisse nach seinem Trainingsstichtag. RAG ist ein verbreitetes Verfahren, diese Lücke zu schließen. Der Eintrag erklärt den Ablauf und die Stolpersteine.
Was bedeutet RAG?
RAG bedeutet, dass ein Modell vor dem Antworten relevante Informationen aus einer Wissensquelle nachschlägt. Der Begriff geht auf eine Veröffentlichung von Lewis und Kollegen aus dem Jahr 2020 zurück.
Das Large Language Model formuliert die Antwort dann auf Grundlage der gefundenen Textstellen und kann diese als Beleg nennen.
Wie funktioniert RAG?
Ein RAG-System arbeitet in zwei Phasen: Vorbereiten und Beantworten.
- Dokumente in kleine Abschnitte teilen
- Abschnitte in Zahlenvektoren umwandeln und in einer Vektordatenbank speichern
- Die Frage ebenfalls in einen Vektor umwandeln
- Die inhaltlich nächsten Abschnitte abrufen
- Abschnitte und Frage gemeinsam an das Modell übergeben
Die Textmenge, die ein Modell auf einmal verarbeiten kann, ist begrenzt und wird in Tokens gemessen. RAG hilft, nur die passenden Stellen mitzugeben statt ganzer Archive.
Wofür eignet sich RAG?
RAG passt, wenn Antworten auf eigenen, sich ändernden Unterlagen beruhen sollen: Handbücher, Verfahrensanweisungen, Verträge oder Wissenssammlungen. Die Quelle lässt sich anzeigen, und neue Dokumente sind ohne erneutes Training des Modells nutzbar.
Welche Grenzen hat RAG?
RAG verhindert Halluzinationen nicht vollständig. Findet die Suche die falschen Abschnitte, bleibt auch die Antwort falsch. Entscheidend sind deshalb saubere Quelldokumente, sinnvolle Textabschnitte und eine Rechteprüfung, damit niemand Inhalte sieht, die nicht für ihn bestimmt sind.
Alternativ können KI-Agenten Informationen gezielt über Werkzeuge abfragen, etwa über das Model Context Protocol, statt einen Textindex zu durchsuchen. Welcher Weg passt, hängt von Datenart und Aktualitätsbedarf ab.
Ein praktischer Hinweis: Die Qualität lässt sich mit einer Liste typischer Testfragen prüfen, deren richtige Antworten bekannt sind. Wer diese Fragen nach jeder Änderung an Dokumenten oder Einstellungen erneut stellt, bemerkt Verschlechterungen früh.