Veröffentlicht am 21. Oktober 2026
Stellt man einem allgemeinen AI-Assistenten eine Frage zur Rechtsprechung, liefert er meist eine selbstbewusste, sauber formatierte Antwort. Das Problem: Selbstvertrauen und Genauigkeit sind nicht dasselbe, und die juristische Recherche gehört zu den wenigen Bereichen, in denen eine plausibel klingende falsche Antwort einem Mandanten eher einen Fall kosten kann als nur einen Nachmittag Nacharbeit. Genau dieses Fehlverhalten soll Retrieval-Augmented Generation, kurz RAG, beheben: Statt ein Sprachmodell allein aus dem während des Trainings Gelernten an Rechtsprechung erinnern zu lassen, werden zuerst die tatsächlich relevanten Dokumente abgerufen und erst danach wird eine Antwort erzeugt, die auf dem basiert, was das Modell gerade gelesen hat.
Für Kanzleien liegt der Reiz nicht in RAG als allgemeinem AI-Konzept — sondern in der Variante, die speziell auf den eigenen Schriftsätzen, Memos, früheren Recherchen und kuratierten Fällen der Kanzlei beruht, statt auf dem, was ein Modell zufällig im Training aufgenommen hat. Dieser Unterschied ist in der juristischen Arbeit wichtiger als fast überall sonst, denn die Kosten einer nicht belegten oder erfundenen Quelle sind kein kleines Ärgernis — sondern ein sanktionierbarer Fehler.
Warum allgemeine Legal AI bei der Fallrecherche an ihre Grenzen stößt
Ein Modell, das auf einem breiten Internet- und Dokumentenkorpus trainiert wurde, hat zwar viele Fälle gesehen, aber keine verlässliche Möglichkeit zu sagen, welche Teile es korrekt erinnert, welche es aus ähnlich klingenden Entscheidungen vermischt und welche es schlicht erfindet, um eine plausibel wirkende Fundstelle zu vervollständigen. Genau dieser letzte Fehlerfall — erfundene Zitate, die strukturell korrekt aussehen, aber auf nichts Reales verweisen — ist gut dokumentiert und der Hauptgrund, warum Gerichte und Anwaltskammern vor ungeprüften, AI-generierten Schriftsätzen gewarnt haben.
Hinzu kommt eine ganz praktische Einschränkung: Ein allgemeines Modell hat einen Trainingsstichtag und keinen Einblick in die eigene Arbeitsergebnisse Ihrer Kanzlei. Es weiß nicht, wie Ihre Kanzlei ein bestimmtes Thema zuvor argumentiert hat, welche Richter in Ihrer Zuständigkeit eine bestimmte Frage in welche Richtung entschieden haben oder welches interne Memo bereits genau das Sachverhaltsmuster abdeckt, das ein neuer Fall mitbringt. Nichts davon ist öffentlicher Internettext, also behebt auch kein noch so umfangreiches allgemeines Training dieses Problem.
Was Retrieval-Augmented Generation tatsächlich anders macht
RAG teilt die Aufgabe in zwei getrennte Schritte, statt ein Modell gleichzeitig erinnern und argumentieren zu lassen. Zuerst durchsucht ein Abrufschritt einen indexierten Dokumentenbestand — Rechtsprechung, Gesetze, Kanzlei-Memos, frühere Schriftsätze — und holt die Textstellen zurück, die für die Frage am relevantesten sind, typischerweise mithilfe einer Kombination aus semantischer Suche auf Embedding-Basis und Stichwortsuche. Danach nimmt ein Generierungsschritt diese abgerufenen Passagen zusammen mit der ursprünglichen Frage und erstellt eine Antwort, die ausdrücklich aus diesem abgerufenen Text aufgebaut ist und nicht aus dem allgemeinen Training des Modells.
Die praktische Folge ist, dass die Antworten des Systems nur so gut sind wie das, was es abruft. Wenn das relevante Präjudiz im Index liegt und der Abrufschritt es findet, hat das Modell etwas Konkretes, auf dessen Basis es argumentieren und zitieren kann. Ist es nicht im Index, sollte ein gut gebautes System das auch sagen, statt die Lücke stillschweigend mit einer Vermutung zu füllen — und das ist eine Designentscheidung, nicht etwas, das automatisch passiert, nur weil man Retrieval ergänzt.
Den Bestand aufbauen: Was tatsächlich in ein juristisches RAG-System gehört
Für eine Kanzlei besteht der nützliche Korpus selten nur aus öffentlicher Rechtsprechung. Er umfasst in der Regel mehrere Kategorien mit jeweils eigenen Anforderungen an den Umgang:
- Öffentliche Rechtsprechung und Gesetze — die grundlegende Rechtsquelle, die dennoch sorgfältig verarbeitet werden muss, damit Fundstellen, Fußnoten und Leitsätze den Ingest-Prozess unbeschädigt überstehen.
- Eigene Schriftsätze, Memos und Recherchen der Kanzlei — oft die inhaltlich wertvollsten Bestandteile, weil sie die Argumente widerspiegeln, die die Kanzlei bereits vorgebracht hat, und die Positionen, die sie bereits eingenommen hat, zugleich aber aus Sicht der Vertraulichkeit am sensibelsten sind.
- Fallbezogene Dokumente — Zusammenfassungen von Vernehmungen, Unterlagen aus dem Discovery-Verfahren und Mandantenkommunikation zu einem aktiven Fall, die in der Regel vollständig von anderen Mandaten abgeschirmt werden müssen.
Diese Kategorien ohne klare Zugriffsgrenzen zu vermischen, gehört zu den schwerwiegenderen Risiken beim Aufbau eines juristischen RAG. Ein Abrufsystem, das eine Passage aus einem vertraulichen Mandat eines Mandanten in eine Antwort zu einem völlig anderen Mandat einfließen lässt, ist kein theoretisches Risiko — sondern ein Ethikverstoß, der nur darauf wartet, zu passieren. Metadaten-Tagging nach Mandat, Mandant und Vertraulichkeitsstufe, das auf der Retrieval-Ebene durchgesetzt wird statt lediglich auf Prompt-Ebene erhofft zu werden, ist hier nicht optional.
Integrität der Zitate: Der Teil, auf den es wirklich ankommt
Die wichtigste einzelne Designanforderung für ein juristisches RAG-System ist, dass jede Behauptung in einer generierten Antwort auf einen konkreten abgerufenen Abschnitt zurückführbar ist, den ein Anwalt öffnen und prüfen kann — nicht nur auf einen Dokumenttitel. „Dies wird durch Smith v. Jones gestützt“ allein ist nicht hilfreich; „dies wird durch die Entscheidung auf Seite 14 von Smith v. Jones gestützt, abgerufen aus der indizierten Rechtsprechung der Kanzlei“ mit einem Link zu genau diesem Abschnitt schon. Ohne diese Nachvollziehbarkeit bauen Sie nur eine überzeugender klingende Version desselben Halluzinationsproblems, das RAG eigentlich lösen soll.
Auch deshalb ist die Chunking-Strategie wichtiger, als es von außen wirken mag. Juristische Dokumente haben eine Struktur — Leitsätze, Obiter Dicta, Verfahrensgeschichte, abweichende Meinungen — und das Aufteilen eines Dokuments in beliebige, feste Chunks kann eine tragende Begründung von den Argumenten trennen, die sie stützen, oder eine Mehrheitsmeinung mit einer abweichenden Meinung so vermischen, dass es verfälscht, was das Gericht tatsächlich entschieden hat. Chunking, das auf die tatsächliche Struktur juristischer Dokumente abgestimmt ist statt auf ein generisches Token-Fenster, gehört zu den weniger glamourösen, aber folgenschwereren technischen Entscheidungen bei einem solchen Vorhaben.
Wo RAG weiterhin einen Menschen im Loop braucht
All das nimmt einem Anwalt nicht die Notwendigkeit, das zitierte Material tatsächlich zu lesen, bevor er sich darauf stützt. RAG reduziert die Zeit, die für das Auffinden potenziell relevanter Autoritäten aufgewendet wird; es ersetzt nicht die fachliche Entscheidung, ob diese Autorität die vertretene Argumentation tatsächlich stützt, ob sie noch geltendes Recht ist oder ob ein scheinbar passender Fall in einer Weise abgegrenzt oder aufgehoben wurde, die der Abrufschritt nicht sichtbar gemacht hat. Ein RAG-System-Ergebnis als fertiges Recherche-Memo statt als beschleunigten Ausgangspunkt zu behandeln, ist der häufigste Weg, wie Kanzleien mit dieser Technologie in Schwierigkeiten geraten.
Es gibt einen verwandten Fehlerfall, den man im Blick behalten sollte: Lücken beim Abruf. Wenn ein Präzedenzfall existiert, aber nicht gut indiziert war — schlechtes OCR bei einem älteren Fall, inkonsistente Metadaten, ein Dokument, das nie im Korpus gelandet ist —, wird das System ihn nicht anzeigen, und eine selbstbewusst klingende Antwort auf Basis dessen, was es abgerufen hat, kann ein falsches Gefühl von Vollständigkeit erzeugen. Gute Systeme sind so gebaut, dass sie Abrufe mit geringer Sicherheit markieren, statt diese Lücken zu überdecken.
Was ein produktionsreifer Aufbau tatsächlich erfordert
Vom RAG-Demo zu etwas zu gelangen, auf das sich eine Kanzlei im Alltag verlassen kann, erfordert eine Handvoll unspektakulärer, aber notwendiger Bausteine: eine Ingest-Pipeline, die juristische PDFs korrekt parst und für Zitate relevante Strukturen erhält, einen Chunking-Ansatz, der darauf abgestimmt ist, wie juristische Dokumente tatsächlich gegliedert sind, auf Mandats- und Klientenebene durchgesetzte Zugriffskontrollen auf Abrufebene sowie einen Audit-Trail, der genau festhält, welche Passagen für eine bestimmte Antwort abgerufen wurden. Dieser letzte Punkt ist für das Management von Haftungsrisiken ebenso wichtig wie für das Debugging — er ermöglicht es einer Kanzlei im Nachhinein genau zu zeigen, was das System gesehen hat und was nicht, als es eine bestimmte Antwort erzeugte.
So umgesetzt wird retrieval-augmented generation zu einem echten Beschleuniger für die Recherche statt zu einem Haftungsrisiko: Es verkleinert den Suchraum schnell, macht firmeneigene Vorarbeiten zu einem bestimmten Thema sichtbar und überlässt die eigentliche juristische Wertung genau dort, wo sie hingehört — beim Anwalt. Wenn Sie das für die Dokumenten- und Recherche-Workflows Ihrer Kanzlei bewerten, sind die oben genannten Architekturentscheidungen — Korpusgrenzen, Chunking, Zitations-Nachvollziehbarkeit — die Punkte, die Sie zuerst richtig treffen sollten. Kontaktieren Sie uns, wenn Sie besprechen möchten, wie das für den konkreten Dokumentenbestand Ihrer Kanzlei aussehen kann.
Verwandt