RAG erklärt: KI-Antworten aus eigenen Daten

Kurz gesagt

RAG (Retrieval Augmented Generation) ist ein Verfahren, bei dem eine KI vor der Antwort passende Textstellen aus deinen eigenen Dokumenten sucht und sie dem Sprachmodell als Kontext mitgibt. Dafür werden Dokumente in Abschnitte zerlegt, als Embeddings in einer Vektordatenbank gespeichert und bei jeder Frage per Ähnlichkeitssuche abgerufen. So antwortet die KI auf Basis aktueller, firmeneigener Inhalte, ohne dass das Modell neu trainiert wird.

Stand: 22. November 2026

RAG steht für Retrieval Augmented Generation: Eine KI sucht vor ihrer Antwort passende Textstellen in deinen eigenen Dokumenten und gibt sie dem Sprachmodell als Kontext mit. So beantwortet ein Chatbot Fragen zu deinen Preislisten, Handbüchern oder Verträgen, obwohl das Modell diese Inhalte nie im Training gesehen hat. Hier erfährst du, wie RAG funktioniert, welche Rolle die Vektordatenbank spielt und wie du RAG in n8n ohne Programmierung aufbaust.

Was ist RAG?

Ein Sprachmodell kennt nur die Daten, mit denen es trainiert wurde. Interne Dokumente, aktuelle Preise oder Kundendaten fehlen ihm. RAG schließt diese Lücke, indem es zwei Schritte verbindet: Zuerst sucht ein Abrufsystem die relevanten Textstellen (Retrieval), dann formuliert das Sprachmodell daraus die Antwort (Generation).

Der Begriff stammt aus einem Fachartikel von Patrick Lewis und Koautoren, der am 22. Mai 2020 auf arXiv erschien. Darin kombinieren die Autoren ein vortrainiertes Sprachmodell als „parametrisches Gedächtnis“ mit einem Vektorindex über Wikipedia als „nicht-parametrisches Gedächtnis“. Das Prinzip ist bis heute gleich, nur liegen im Index heute die eigenen Daten.

So funktioniert RAG Schritt für Schritt

RAG besteht aus zwei Abläufen: dem einmaligen oder regelmäßigen Einlesen der Dokumente und der Suche bei jeder Frage.

  1. Dokumente laden, etwa PDFs aus Google Drive, Seiten aus Notion oder Einträge aus einer Datenbank.
  2. Texte in Abschnitte (Chunks) zerlegen, die jeweils einen Gedanken enthalten.
  3. Jeden Abschnitt mit einem Embedding-Modell in einen Zahlenvektor umwandeln.
  4. Vektoren samt Originaltext und Metadaten in einer Vektordatenbank speichern.
  5. Bei einer Frage auch die Frage in einen Vektor umwandeln, mit demselben Embedding-Modell.
  6. Die ähnlichsten Abschnitte aus der Datenbank abrufen.
  7. Frage und gefundene Abschnitte an das Sprachmodell geben, das daraus die Antwort formuliert.

Embeddings und Vektordatenbank

Ein Embedding ist laut OpenAI-Dokumentation eine Liste von Gleitkommazahlen. Der Abstand zwischen zwei solchen Vektoren zeigt, wie verwandt zwei Texte sind: Kleiner Abstand bedeutet ähnliche Bedeutung. Deshalb findet RAG auch Textstellen, die andere Wörter benutzen als die Frage. Wer nach „Kündigungsfrist“ fragt, bekommt auch den Absatz zu „Vertrag beenden“.

Das Modell text-embedding-3-small von OpenAI erzeugt standardmäßig Vektoren mit 1.536 Werten, text-embedding-3-large mit 3.072. Wichtig ist nicht das konkrete Modell, sondern dass Einlesen und Abfrage dasselbe Modell verwenden. Sonst passen die Vektoren nicht zueinander.

Eine Vektordatenbank speichert diese Vektoren und findet in kurzer Zeit die ähnlichsten. n8n bietet unter anderem diese Anbindungen:

Vector Store in n8n Eignung Hinweis
Simple Vector Store nur Entwicklung Daten nur im Arbeitsspeicher
PGVector Betrieb Erweiterung für Postgres
Supabase Vector Store Betrieb Postgres als Dienst
Qdrant Vector Store Betrieb Metadaten-Filter möglich
Pinecone Vector Store Betrieb Namespaces möglich

Der Simple Vector Store verliert laut n8n-Dokumentation alle Daten beim Neustart, n8n empfiehlt ihn ausdrücklich nur für die Entwicklung.

RAG in n8n umsetzen

In n8n baust du RAG mit wenigen Nodes, ganz ohne Code. Die KI-Bausteine von n8n basieren auf LangChain, mehr dazu auf der Seite zu LangChain.

Zum Einlesen holst du die Dokumente mit einem passenden Node, etwa aus Google Drive. Dahinter hängst du einen Vector Store Node mit der Operation „Insert Documents“. An diesen Node schließt du ein Embedding-Modell und einen Default Data Loader an. Der Data Loader zerlegt die Texte, n8n empfiehlt für die meisten Fälle den „Recursive Character Text Splitter“. Optional ergänzt du Metadaten wie Dateiname oder Abteilung, nach denen du später filtern kannst.

Zum Abfragen gibt es zwei Wege. Entweder hängst du den Vector Store als Werkzeug an einen AI-Agent-Node und beschreibst, wofür das Werkzeug da ist. Der Agent entscheidet dann selbst, wann er sucht. Oder du nutzt den Vector Store direkt mit der Operation „Get Many“ und einer festen Anfrage. Für Agenten mit teurem Modell empfiehlt n8n, zuerst das „Vector Store Question Answer Tool“ zu nutzen und dessen Ergebnis an den Agenten zu geben, um Tokens zu sparen.

Wie du den Agenten selbst aufbaust, mit Modell, Gedächtnis und weiteren Werkzeugen, zeigt KI-Agent mit n8n. Einen Chatbot für Website oder Support auf dieser Grundlage beschreibt Chatbot erstellen. Fertige RAG-Abläufe als Vorlage teilen Mitglieder in der KI-Automatisierungs-Community.

Abschnittsgröße richtig wählen

Wie gut RAG antwortet, hängt stark von der Zerlegung der Dokumente ab. Die n8n-Dokumentation gibt dazu Anhaltspunkte:

  • Kleine Abschnitte mit etwa 200 bis 500 Tokens eignen sich für präzise Treffer.
  • Große Abschnitte enthalten mehr Kontext, werden aber schnell unscharf.
  • Eine Überlappung zwischen Abschnitten hält Zusammenhänge über die Grenzen hinweg.
  • Bei Markdown oder Code liefert die Zerlegung entlang der Struktur oft bessere Abschnitte.

Teste mit echten Fragen deiner Nutzer und schau dir an, welche Abschnitte zurückkommen. Das zeigt schneller als jede Theorie, ob die Größe passt.

Wann sich RAG lohnt

Aufgabe RAG passend?
Fragen zu internen Handbüchern ja
Support mit Produktdokumentation ja
Suche in Verträgen und Richtlinien ja
Rechnen mit Tabellenwerten eher nein, Datenbank abfragen
Tonfall des Modells ändern nein, Systemanweisung nutzen

Für exakte Zahlen aus Tabellen ist eine direkte Datenbankabfrage meist besser als eine Ähnlichkeitssuche. Viele Agenten kombinieren beides: RAG für Texte, eine API-Schnittstelle oder Datenbank für strukturierte Daten.

Typische Fehler bei RAG

  • Für Einlesen und Abfrage unterschiedliche Embedding-Modelle verwenden, sodass die Suche nichts Sinnvolles findet.
  • Den Simple Vector Store in einen produktiven Workflow übernehmen und nach dem nächsten Neustart leere Antworten bekommen.
  • Dokumente nur einmal einlesen und Änderungen nie nachziehen, sodass die KI mit veraltetem Stand antwortet.
  • Zu viele Abschnitte pro Frage abrufen, was Tokens kostet und das Modell mit Nebensächlichem ablenkt.
  • Vertrauliche Dokumente ohne Rechteprüfung einlesen, sodass jeder Nutzer alles abfragen kann.

Wer einem Agenten Zugriff auf interne Daten gibt, sollte die Risiken kennen. Was dabei schiefgehen kann und wie du dich schützt, erklärt kiagentensicherheit.de.

Was bedeutet RAG bei KI?

RAG steht für Retrieval Augmented Generation, also durch Abruf erweiterte Textgenerierung. Die KI holt sich vor der Antwort passende Informationen aus einer Datenquelle und formuliert ihre Antwort auf dieser Grundlage.

Wer hat RAG erfunden?

Der Begriff stammt aus dem Fachartikel „Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks“ von Patrick Lewis und Koautoren, erstmals veröffentlicht am 22. Mai 2020.

Was ist der Unterschied zwischen RAG und Fine-Tuning?

Beim Fine-Tuning veränderst du das Modell selbst durch weiteres Training. Bei RAG bleibt das Modell unverändert und bekommt bei jeder Frage passende Textstellen mitgeliefert. Neue Dokumente sind bei RAG sofort nutzbar, sobald sie in der Vektordatenbank liegen.

Brauche ich für RAG eine Vektordatenbank?

Für die übliche semantische Suche ja. In n8n kannst du zum Testen den Simple Vector Store nutzen, der Daten nur im Arbeitsspeicher hält. Für den Betrieb brauchst du eine dauerhafte Datenbank wie Postgres mit PGVector, Qdrant, Pinecone oder Supabase.

Kann man RAG ohne Programmieren umsetzen?

Ja. In n8n baust du RAG mit Nodes für Vector Store, Embeddings und Data Loader im visuellen Editor. Ein AI-Agent-Node nutzt die Vektordatenbank dann als Werkzeug.

Verhindert RAG Halluzinationen?

RAG verringert erfundene Antworten, weil das Modell echte Textstellen als Grundlage bekommt. Ausschließen kann es sie nicht, etwa wenn die Suche unpassende Abschnitte liefert. Quellenangaben in der Antwort helfen beim Prüfen.

KI-Automatisierungs-Community

Werde Teil der Community

Kostenlos auf Skool, mit über 14.000 Mitgliedern, Kursen und Vorlagen.

Kostenlos beitreten