Was ist GraphRAG – und wann lohnt sich der Einsatz?

Es gab Chatbots schon lange bevor ChatGPT in Erscheinung trat. Doch wer sich damals mit ihnen unterhielt, stieß schnell an Grenzen: Meist arbeiteten sie mit starren Regeln, verstanden nur bestimmte Fragen – oder ließen gar keine freien Fragen von Nutzer:innen zu, sondern nur vordefinierte Auswahloptionen. Meine eigenen Erfahrungen damit waren frustrierend: Am Ende führte fast jeder Versuch doch wieder zum Griff zum Hörer – zur Hotline. Der Chatbot war eher eine Barriere als eine Hilfe.

Dann kam ChatGPT – und damit eine neue Ära. Plötzlich hatte man das Gefühl, verstanden zu werden. Der Hype um generative KI nahm Fahrt auf. Doch so faszinierend diese neuen Sprachmodelle sind – eine entscheidende Frage bleibt: Können sie unsere Fragen zuverlässig beantworten?

Vielleicht hilft hier ein Vergleich: Wir als Nutzer:innen sind wie leitende Kommissar:innen. Wir haben einen Verdacht, formulieren eine Frage, und die KI sitzt uns gegenüber wie ein Streifenpolizist, der am Tatort war, als die Tat sich schon ereignet hat. Sie klingt sicher. Sie klingt schlau. Aber ist sie auch in der Lage all unsere Fragen zu beantworten?

Sprachmodelle: Genial, aber mit Wissens- und Gedächtnislücken

So beeindruckend moderne Sprachmodelle auch wirken – sie haben entscheidende Schwächen. Sie halluzinieren. Damit ist gemeint: Sie liefern manchmal Informationen, die erfunden, falsch oder schlicht unlogisch sind – und das mit großer sprachlicher Überzeugungskraft.

Hinzu kommt: Ihr Wissen ist begrenzt. Ein Sprachmodell kennt nur das, was es beim Training gelernt hat – und das ist meist ein Blick in die Vergangenheit. Wer ein Modell nutzt, das 2023 trainiert wurde, wird keine korrekten Aussagen über Ereignisse aus dem Jahr 2024 erhalten – es sei denn, man füttert es gezielt mit neuen Informationen.

Zurück zum Detektivbild: Der Streifenpolizist im Verhör hat ein gutes Gedächtnis – aber er war bei der Tat nicht dabei. Ohne neue Hinweise bleibt er auf Spekulationen angewiesen.

RAG – die Lösung?

Um die beschriebenen Probleme zu lösen – begrenztes Wissen und halluzinierte Antworten – wurde 2020 ein neuer Ansatz entwickelt: Retrieval-Augmented Generation, kurz RAG.

Die Idee klingt zunächst einfach: Wenn das Sprachmodell im Prompt keine brauchbare Antwort liefern kann, dann liegt das oft daran, dass es schlicht nicht genug weiß – weil seine Trainingsdaten veraltet oder unvollständig sind. RAG liefert daher zusätzliche Informationen quasi von außen nach – wie ein Ermittler, der dem Zeugen relevante Dokumente auf den Tisch legt.

Stell dir vor, du sitzt im Präsidium. Vor dir der Kollege – das Sprachmodell. Du stellst eine gezielte Frage: „Welche Gegenstände wurden am Tatort gefunden?“ Der Polizist schaut dich an, zögert. Er war nicht dabei. Seine Informationen stammen von alten Unterlagen – und die reichen nicht aus.

Jetzt legst du ihm einen Aktenordner mit relevanten Dokumenten und Befunden von der Spurensicherung am Tatort vor. Auf einmal beginnt er zu reden. Präziser. Fundierter. Er hat nun den Kontext, den er braucht, um deine Frage sinnvoll zu beantworten. Dieser Ordner – sorgfältig ausgewählt und passend zur Frage – ist das, was RAG liefert. Nicht mehr nur Halbwissen, sondern Aussagen, die sich auf konkrete Quellen stützen.

In einem einfachen RAG-Setup wird ein Dokument in kleinere Textabschnitte zerlegt – ähnlich wie die einzelnen Blätter des Ordners in unserem Vergleich. Das System sucht dann diejenigen Passagen, die der gestellten Frage am ähnlichsten sind – gemessen an der mathematischen Nähe in einem sogenannten Vektorraum (die Technik dahinter nennt sich „Embedding“, also das Umwandeln von Text in Zahlen). Je ähnlicher ein Abschnitt zur Frage ist, desto wahrscheinlicher enthält er die passende Antwort.

So weit, so gut. Doch auch diese Methode hat ihre Tücken. Was, wenn das „Blatt“ eine Info beinhaltet, die sich auf einen anderen Tatort bezieht? Genau das passiert, wenn RAG den falschen Kontext auswählt oder der richtige Kontext zu umfangreich für das Sprachmodell ist.

Ein Beispiel aus der Praxis: ESG-Reports großer Unternehmen, in denen Ziele und Maßnahmen zu Umwelt, Sozialem und Unternehmensführung dokumentiert werden. Solche Berichte umfassen schnell über 100 Seiten. Stellt man eine Frage wie „Was hat Ihr Unternehmen getan, um Wasser zu sparen?“, reicht ein einzelner Absatz meist nicht aus. Die Antwort verteilt sich über viele Seiten.

Ein einfaches RAG-System – auch Baseline-RAG genannt – gerät hier an seine Grenzen: Es kann nicht genug Kontext in den Prompt laden, um die Frage fundiert zu beantworten. RAG ist also schon ein wesentlicher Fortschritt – aber in seinem simplen, naiven Setup noch kein Alleskönner. Für komplexe Fälle braucht es mehr.

GraphRAG – Ermittler:in mit Beziehungsnetz

2024 stellte Microsoft Research eine neue Erweiterung des RAG-Prinzips vor: GraphRAG. Das Ziel: Fragen beantworten zu können, die sich nicht nur auf einzelne Abschnitte, sondern auf ein gesamtes, oft sehr langes Dokument beziehen.

Der Clou: GraphRAG arbeitet nicht mehr direkt mit Textabschnitten, sondern erstellt zunächst einen sogenannten Wissensgraphen – eine Art Beziehungsnetz aus Fakten, Entitäten (also Dingen oder Akteuren) und ihren Verbindungen.

Stell dir vor, du als Ermittler:in pinnst alle gesammelten Hinweise an eine Wand. Fotos von Verdächtigen, Orte, Zeitpunkte – verbunden durch rote Fäden. Genau das macht GraphRAG automatisch: Es baut aus dem Dokument ein Netzwerk, in dem die relevanten Informationen systematisch angeordnet sind. So lassen sich Zusammenhänge erkennen, die im Fließtext verborgen bleiben.

Ein Beispiel zur Veranschaulichung:
Nehmen wir QualityMinds als Organisation. Im Wissensgraphen stünde auf oberster Ebene die Entität „Unternehmen QualityMinds“. Darunter gruppieren sich die „Teams“, aus denen die Firma besteht. Und auf der dritten Ebene schließlich die einzelnen „Personen“, die den Teams zugeordnet sind. Drei Ebenen, drei „Communities“, wie GraphRAG sie nennt. Jede Ebene kann Informationen enthalten und durch die Struktur lassen sich Fragen gezielter beantworten.

Der Vorteil: Durch die Reorganisation des Textwissens entstehen thematisch gebündelte Einheiten, in denen Aussagen zu einer Entität nah beieinander liegen. Das bedeutet: Wenn eine Frage z. B. auf ein bestimmtes Team zielt, muss die KI nicht mehr im gesamten Text suchen – sie schaut direkt im relevanten Ausschnitt des Netzwerks nach.

Global Search und Local Search – Zwei Methoden, zwei Blickwinkel

In seiner ersten Version bringt GraphRAG zwei Suchstrategien mit:

• Global Search richtet den Blick auf das große Ganze. Die Methode analysiert ganze Communities – z. B. alle Aussagen auf Team- oder Unternehmensebene – und eignet sich gut für Fragen wie: „Was ist das zentrale Thema des Dokuments?“
• Local Search hingegen verfolgt konkrete Spuren. Sie identifiziert einzelne Entitäten im Graphen, die semantisch zur Frage passen, und verfolgt dann deren Verbindungen: Welche Aussagen, Zahlen oder Details hängen an diesen Knoten?

Aus unserer Erfahrung zeigt sich: Local Search liefert besonders dann starke Ergebnisse, wenn präzise Informationen oder konkrete Fakten gefragt sind.

Ein Praxisvergleich im ESG-Kontext

Wie effektiv die Methoden sind, zeigt ein Beispiel aus der Praxis: Untersucht wurde der ESG-Report eines Unternehmens aus dem Jahr 2022, das im Bereich (Ab)Wasser sowie Abfall- und Energieversorgung tätig ist. Die gestellte Frage: „Wie hoch ist der Anteil erneuerbarer Energiequellen an der eingekauften Energie?“

Wir sehen, dass Local-Search mit vielen Zahlen geantwortet hat und darunter ist auch die richtige Antwort. Global Search konnte keine Antwort liefern, weil auf Community-Ebene vermutlich keine relevanten Daten zu der Frage verfügbar sind. Und Baseline-RAG hat offenbar den passenden Textabschnitt, in dem die korrekte Antwort enthalten ist, nicht identifiziert.

Frage: Wie hoch ist der Anteil aus erneuerbaren Energiequellen an der eingekauften Energie?

• Local Search: ## Anteil der erneuerbaren Energiequellen an der eingekauften
  • Energie 
    Der Anteil der erneuerbaren Energiequellen an der eingekauften Energie des Unternehmens in Deutschland hat sich im Jahr 2022 auf 85% belaufen. Dies bedeutet, dass von den insgesamt 225.000 MWh, die das Unternehmen selbst konsumiert hat, 85% aus grünen Energiequellen stammen. Von diesen 225.000 MWh wurden 85.000 MWh direkt selbst produziert, während 140.000 MWh zugekauft wurden [Data: Sources (49); Entities (290, 293); Relationships (230)]. Zusätzlich ist zu beachten, dass der Anteil erneuerbarer Quellen an der gesamten Energieerzeugung (Strom und Wärme) für den Vertrieb und den Eigenverbrauch im Jahr 2022 bei etwa 26% lag. Dies zeigt, dass das Unternehmen aktiv daran arbeitet, den Anteil erneuerbarer Energien in ihrem Gesamtmix zu erhöhen, um ihre Nachhaltigkeitsziele zu erreichen [Data: Sources (49); Entities (290, 293); Relationships (230)]. 
    
  • ## Fazit 
    Insgesamt zeigt die Datenlage, dass das Unternehmen in Deutschland einen signifikanten Anteil an erneuerbaren Energiequellen in ihrem Energieeinkauf hat, was sowohl für die Umwelt als auch für die Unternehmensstrategie von Bedeutung ist. Die kontinuierliche Steigerung des Anteils erneuerbarer Energien ist ein wichtiger Schritt in Richtung einer nachhaltigeren Energiezukunft.
    
• Global Search: Es tut mir leid, aber ich kann diese Frage anhand der vorgelegten Daten nicht beantworten.
  
• Baseline RAG: Es tut mir leid, aber ich kann diese Frage anhand der vorgelegten Daten nicht beantworten

Wenn der Ermittler zu viele Ordner wälzt – die Grenzen von GraphRAG

So leistungsfähig GraphRAG auch ist, es hat auch Schwächen, die man kennen sollte. Die erste Herausforderung: die Nachvollziehbarkeit der Aussagen. In einem klassischen RAG-Setup ist es relativ einfach, die Antwort des Modells zu überprüfen – denn die verwendeten Textabschnitte (Chunks) stammen direkt aus dem Originaldokument. Man kann also genau sehen: „Dieser Absatz / diese Antwort stammt von Blatt 17 in unserem Ordner.“

Bei GraphRAG ist das schwieriger. Die Antworten basieren hier nicht auf originalen Absätzen, sondern auf extrahierten Entitäten, Beziehungen und zusammengefassten Inhalten aus dem gesamten Dokument. Eine einzelne Entität kann Informationen aus vielen verschiedenen Seiten bündeln und so wird es mühsamer, die genaue Herkunft einer Aussage im Quelltext zu bestimmen.

Für uns als leitende Kommissar:innen heißt das: Der Streifenpolizist nennt zwar eine Quelle (den Ordner) – aber die Spur führt nicht nur zu einer oder zwei Seiten, sondern gibt quasi seine „Lektüre“ des Ordners wieder. Die Antwort wird also aufgrund von Bezügen zu sehr vielen Stellen zusammengesetzt.

Ein zweiter Punkt sind die Kosten. GraphRAG nutzt große Sprachmodelle (LLMs), um aus dem Dokument den Wissensgraphen zu erstellen. Je umfangreicher das Ausgangsmaterial, desto rechenintensiver (und teurer) ist der Aufbau. Die gute Nachricht: Der Graph muss nur einmal erstellt werden – danach kann er für beliebig viele Abfragen genutzt werden. Die eigentliche Befragung ist also vergleichsweise günstig. Der Streifenpolizist muss also nur einmal den Ordner durchlesen.

GraphRAG oder Baseline-RAG? – Die richtige Methode für den richtigen Fall

GraphRAG ist nicht immer die beste Wahl. Wenn ein Dokument sehr lang ist, komplexe Zusammenhänge enthält oder viele verstreute Informationen beinhaltet – dann ist GraphRAG oft hilfreich. Ist das Dokument jedoch übersichtlich, thematisch gut gegliedert und eher kompakt – etwa eine FAQ-Seite oder ein internes Infoblatt – reicht meist ein einfaches RAG-Setup.

Unser Tipp aus der Praxis: Starte mit dem Baseline-RAG. Beobachte, wie präzise die Antworten sind, und achte auf typische Schwächen: Fehlen wichtige Zusammenhänge? Gibt es Halluzinationen? Dann kannst du gezielt entscheiden, ob ein Wechsel zu GraphRAG lohnt – wie ein:e Ermittler:in, die weiß, wann eine schnelle Nachfrage reicht und wann es Zeit ist, das gesamte Archiv zu öffnen und die Hinweise an eine Wand zu pinnen.

Lust auf eigene Spurensuche? Wir begleiten dich dabei.

Ob du erste Experimente mit RAG machst oder bereits konkrete Use Cases hast – wir von QualityMinds unterstützen dich gerne.
In unserem AI-Lab zeigen wir dir echte GraphRAG-Anwendungen und helfen dir dabei, die passende Lösung für deinen Kontext zu finden.

Sprich uns an – wir helfen dir, die richtigen Fragen zu stellen und die besten Antworten zu bekommen: ai@qualityminds.de