Die düstere Wahrheit über KI und juristische Recherche: Wie oft liegen sie daneben?

Künstliche Intelligenz (KI) ist das neue Zauberwort in vielen Bereichen – auch in der Rechtswissenschaft. Doch wie verlässlich sind diese hochgelobten Technologien wirklich? Eine aktuelle Studie der Stanford University zeigt beunruhigende Ergebnisse: KI-Tools für die juristische Recherche halluzinieren in 17% der Fälle. Doch die Geschichte geht noch weiter.

Stanford untersucht weiter: Woher kommen die Fehler?

Stanford’s RegLab und das Human-Centered Artificial Intelligence Forschungszentrum haben KI-gestützte Rechtsforschungstools von LexisNexis und Thomson Reuters genauer unter die Lupe genommen. Sie fanden heraus, dass diese Tools häufiger Fehler machen, als die Unternehmen zugeben wollen. Obwohl sie weniger Fehler machen als allgemeine KI-Modelle wie GPT-4, sind die Ergebnisse immer noch besorgniserregend. Die Untersuchung zeigt, dass LexisNexis in 65% der Fälle korrekte Antworten liefert, während Thomson Reuters nur auf eine Genauigkeitsrate von 18% kommt.

Vergleich von Äpfeln und Birnen: Kritik an der Studie

Ein wesentlicher Kritikpunkt an der Studie ist der Vergleich von zwei ungleichen Produkten. Während LexisNexis’ generative KI-Plattform Lexis+ AI untersucht wurde, wurde bei Thomson Reuters das Tool „Ask Practical Law AI“ getestet, das auf praktische Leitfäden und Vorlagen beschränkt ist. Thomson Reuters lehnte es ab, Zugang zu ihrem generativen AI-Tool für allgemeine Rechtsrecherche, Westlaw Precision, zu gewähren. Inzwischen hat Thomson Reuters den Zugang gewährt, und Stanford wird die Studie erweitern.

Was ist eine Halluzination in der KI?

Eine Halluzination in der KI ist nicht etwa ein Tagtraum, sondern ein gefährlicher Fehler. Es bedeutet, dass das KI-Tool falsche Informationen liefert oder behauptet, dass eine Quelle eine Aussage unterstützt, obwohl das nicht stimmt. Ein Beispiel: Ein Nutzer fragte, warum Richterin Ginsburg in einem bestimmten Fall dissentiert hat, obwohl sie das nie getan hat. Das Tool gab eine falsche Antwort, anstatt den Fehler zu erkennen.

Die Forderung nach mehr Transparenz

Die Ergebnisse der Stanford-Studie unterstreichen die Notwendigkeit von mehr Transparenz und Benchmarking in der Entwicklung und Bewertung von KI-Tools für die Rechtsbranche. Die Forscher fordern, dass diese Tools systematisch geprüft werden und ihre Ergebnisse öffentlich zugänglich machen, um die Integration und Überwachung der Technologie zu verbessern.

Fazit: KI-Tools mit Vorsicht genießen

Obwohl KI-gestützte Tools für die Rechtsrecherche erhebliches Potenzial haben, zeigen die Ergebnisse, dass sie noch weit davon entfernt sind, perfekt zu sein. Anwälte und Rechtsforscher sollten sich der Risiken bewusst sein und diese Technologien mit Bedacht einsetzen. Es bleibt abzuwarten, wie die erweiterte Studie von Stanford die bisherigen Ergebnisse beeinflusst und ob die Unternehmen ihre Technologien entsprechend verbessern werden. Die Zukunft der KI in der Rechtsbranche ist spannend, doch sie erfordert einen kritischen und gut informierten Ansatz.