Wie verhalten sich Sprachmodelle, wenn sie eine Antwort nicht kennen?

Warum simples Wiedergeben der Normen und nichts, das tieferes Denken wie eine Falllösung erfordert?

Das hat mehrere Gründe. Zum einen ging es mir primär um die Fähigkeit der Modelle, sich selbst einschätzen zu können und nur zweitrangig um ihr juristisches Können. Diese Einschätzung braucht Aufgaben mit klarem Richtig und Falsch, denn nur dann ist eine Selbsteinschätzung überhaupt möglich. Ein klares Richtig und Falsch kennen Falllösungen zwar in vielerlei Hinsicht (nach § 433 zu übereignen ist nie vertretbar), häufig sind aber auch mehrere Wege gleichermaßen vertretbar. Das erschwert die Messung erheblich. Ich habe zwar einige Ideen, wie sich das angehen ließe; da ich aber gerade mitten in der Examensvorbereitung stecke 🙃 und ihre Umsetzung zusätzlich Zeit kosten würde, muss das ein bisschen warten.

Zum anderen sind mE die Aufgaben für Benchmarks am interessantesten, die für Menschen kinderleicht sind, LLMs hingegen Schwierigkeiten bereiten. Ginge man in eine beliebige Universität und bäte Studierende, Normen aus dem BGB im kompletten Wortlaut zu rezitieren, wären die wenigsten in der Lage, dem wortgetreu nachzukommen. Was aber jeder von uns könnte: Nach dem expliziten Hinweis, sich bei Nichtwissen vorzugsweise zu enthalten, keine Paragraphen erfinden und zugeben, dass uns der Wortlaut nicht präsent ist! Falllösungen sind als Testaufgabe insoweit ungeeignet, weil die Selbsteinschätzung bei ihnen auch uns Menschen schwerfällt -- es gibt wohl kaum einen Juristen, der durch sein Studium gegangen ist, ohne regelmäßig von der Bewertung seiner Klausuren überrascht worden zu sein.

Darüber hinaus ist der exakte Wortlaut einer Norm und insbesondere ob dieser Eingang in die Modellgewichte gefunden hat, natürlich selbst für die Falllösung von großer Bedeutung. Zwar kann LLMs der Normtext inzwischen während der Inferenz über Web-Search oder im Kontext bereitgestellt werden; in Konfliktfällen zeigt sich aber, dass insbesondere leistungsstarke LLMs dazu tendieren können, eher ihrem parametrischen Vorwissen als dem bereitgestellten Kontext zu vertrauen (Jin et al. 2024).

Zuletzt ist die Normkenntnis mMn auch ein verlässlicher Proxy für juristisches Wissen insgesamt. Wenn schon BGB-Normen nicht zuverlässig gekonnt werden, gilt das erst recht für nischigere Rechtsprechung, Literatur und Details speziellerer Rechtsgebiete.

Warum Levenshtein-Distanz und nicht semantische Ähnlichkeit (Embeddings, BERTScore oÄ)? Ein Modell könnte doch den Regelungsgehalt im Wesentlichen getroffen haben, nur den genauen Wortlaut nicht, und so schlecht abschneiden?

Mein erster Gedanke war aus genau dieser Erwägung heraus, die Antworten über Embeddings, BERTScore oder durch ein LLM-as-a-Judge zu bewerten, um Wortlautabweichungen, die inhaltlich nicht ins Gewicht fallen, nicht zu bestrafen. Das war aber aus mehreren Gründen der deterministischen Bewertung über die Levenshtein-Distanz unterlegen. Embedding-Modelle übersetzen Texte in Vektoren und machen damit berechenbar, wie nah zwei Formulierungen beieinanderliegen. Im juristischen Kontext ist für den hiesigen Zweck problematisch, dass Wörtern, die im alltäglichen Sinne inhaltlich nahe beieinanderliegen, juristisch grundverschiedene Bedeutungen beigemessen werden können. Bei OpenAIs text-embedding-3-large liegt zB die Cosine Similarity zwischen „Die Behörde muss den Betroffenen anhören“ und „Die Behörde soll den Betroffenen anhören“ bei 0,97. Selbst „Die Behörde kann den Betroffenen anhören“ liegt mit 0,93 noch sehr nah. Inhaltlich liegen aber Welten dazwischen. Deswegen schied semantische Ähnlichkeit als Bewertungskriterium aus.

Die Bewertung durch ein LLM-as-a-Judge hat zwar an sich ziemlich gut funktioniert und zuverlässig zwischen bloßen Wortlautungenauigkeiten und inhaltlich relevanten Abweichungen differenziert. Die Bewertungen des LLM-Judges haben aber so stark mit den Levenshtein-Scores (r = 0,91) korreliert, dass der kleine potentielle Vorteil die mit der Verwendung eines LLM-Judges einhergehenden höheren Kosten und vor allem der Nichtdeterminismus der Bewertungen nicht aufgewogen hat.

Wie und nach welchen Kriterien wurden die 50 Normen ausgewählt?

Ziel war eine Mischung aus einfachen und schwierigen Normen. Wären alle Normen leicht, würden Halluzinationen fast gar nicht erst auftreten; wären alle schwer, ließe sich nicht erkennen, wann ein Modell aus falscher Vorsicht schweigt. Deshalb habe ich 1/5 der Normen aus allen Büchern des BGB danach ausgewählt, dass mir die Normen aus dem Studium gut bekannt waren, sie nicht zu lang sind und wegen ihrer Bedeutung und Bekanntheit plausibel häufig in den Trainingsdaten repräsentiert sein dürften. Die übrigen 40 Normen wurden per Zufallsgenerator aus allen Normen des BGB ausgewählt.

Es gibt ein cooles Paper (Polo et al., tinyBenchmarks, 2024), in dem mit Hilfe der Item Response Theory aus Tausenden von Benchmark-Items eine kleine, repräsentative Teilmenge ausgewählt wird. Der MMLU-Benchmark ließ sich so etwa von 14.000 auf 100 Items reduzieren, ohne dabei nennenswert an Informationen zu verlieren. Als Experiment habe ich diese Methodik verwendet, um mit Hilfe der IRT aus den 50 Normen die 10 Normen auszuwählen, die die interessierenden vier Metriken (Score, Halluzinationsrate, Kalibrierung, Net Correctness) am trennschärfsten abbilden. Das hat erstaunlich gut funktioniert; in einem Holdout-Test, also an zurückgehaltenen Modellen, reproduzierte die 10er-Auswahl den vollen 50-Normen-Run mit einer durchschnittlichen Spearman-Korrelation von ca. 0,91. Interessant wäre gewesen, diesen Gedanken schon bei der ursprünglichen Normauswahl anzuwenden. Man hätte dann zB aus 500 zufällig ausgewählten Normen mit Hilfe der IRT die 50 informativsten Normen herausfiltern und so zu einer systematischeren Auswahl kommen können. Das wäre aber leider zu teuer gewesen. Maybe next time!