KI hat Schwierigkeiten, historische Sprache nachzuahmen

Ein Forscherteam aus den USA und Kanada hat festgestellt, dass große Sprachmodelle wie ChatGPT Schwierigkeiten haben, historische Redewendungen ohne umfassendes und kostspieliges Pretraining genau nachzubilden. Diese Herausforderung macht ambitionierte Projekte, wie die Nutzung von KI, um Charles Dickens' letzten unvollendeten Roman zu vervollständigen, für die meisten akademischen und Unterhaltungsanstrengungen unerreichbar.

Die Forscher experimentierten mit verschiedenen Methoden, um Text zu generieren, der historisch korrekt klingt. Sie begannen mit einfachen Prompts, die Prosa des frühen 20. Jahrhunderts verwendeten, und gingen dazu über, ein kommerzielles Modell auf einer kleinen Menge von Büchern aus dieser Ära zu optimieren. Sie verglichen diese Ergebnisse auch mit einem Modell, das ausschließlich auf Literatur von 1880 bis 1914 trainiert wurde.

In ihrem ersten Test wies das Team ChatGPT-4o an, die Sprache der Fin-de-siècle-Periode nachzuahmen. Die Ergebnisse unterschieden sich erheblich von denen eines kleineren, optimierten GPT2-Modells, das auf Literatur aus derselben Zeit trainiert wurde.

Befakt, um einen echten historischen Text (oben-mitte) zu vervollständigen, kann selbst ein gut vorbereiteter ChatGPT-4o (unten links) nicht verhindern, dass er zurück in den 'Blog'-Modus fällt und die gewünschte Redewendung nicht darstellt. Im Gegensatz dazu erfasst das optimierte GPT2-Modell (unten rechts) den Sprachstil gut, ist jedoch in anderer Hinsicht nicht so genau. Quelle: https://arxiv.org/pdf/2505.00030

Obwohl das Feintuning die Ähnlichkeit der Ausgabe mit dem ursprünglichen Stil verbesserte, konnten menschliche Leser immer noch moderne Sprache oder Ideen erkennen, was darauf hinweist, dass selbst angepasste Modelle Spuren ihrer zeitgenössischen Trainingsdaten behalten.

Die Forscher schlossen, dass es keine kosteneffizienten Abkürzungen gibt, um historisch genauen Text oder Dialog mit Maschinen zu generieren. Sie schlugen auch vor, dass die Herausforderung selbst inhärent fehlerhaft sein könnte und erklärten: „Wir sollten auch die Möglichkeit in Betracht ziehen, dass Anachronismus in gewissem Sinne unvermeidbar sein könnte. Ob wir die Vergangenheit durch das Anpassen historischer Modelle darstellen, damit sie Gespräche führen können, oder indem wir zeitgenössische Modelle lehren, eine ältere Periode zu imitieren, es könnte ein Kompromiss zwischen den Zielen der Authentizität und der Gesprächsflüssigkeit notwendig sein. Es gibt schließlich keine ‚authentischen‘ Beispiele für ein Gespräch zwischen einem Fragesteller des 21. Jahrhunderts und einem Antwortenden von 1914. Forscher, die versuchen, ein solches Gespräch zu schaffen, müssen über die Prämisse nachdenken, dass Interpretation immer eine Verhandlung zwischen Gegenwart und Vergangenheit beinhaltet.“

Die Studie, betitelt „Können Sprachmodelle die Vergangenheit ohne Anachronismus darstellen?“, wurde von Forschern der University of Illinois, der University of British Columbia und der Cornell University durchgeführt.

Anfängliche Herausforderungen

Die Forscher untersuchten zunächst, ob moderne Sprachmodelle dazu aufgefordert werden könnten, historische Sprache nachzuahmen. Sie verwendeten echte Auszüge aus Büchern, die zwischen 1905 und 1914 veröffentlicht wurden, und forderten ChatGPT-4o auf, diese Passagen im gleichen Stil fortzusetzen.

Der ursprüngliche Periodentext, den sie verwendeten, war:

„In diesem letzten Fall werden etwa fünf oder sechs Dollar pro Minute eingespart, da mehr als zwanzig Yards Film abgespult werden müssen, um während einer einzigen Minute ein Objekt einer Person in Ruhe oder eine Landschaft zu projizieren. So wird eine praktische Kombination aus festen und beweglichen Bildern erzielt, die höchst künstlerische Effekte erzeugt. Es ermöglicht uns auch, zwei Kinematographen abwechselnd zu projizieren, um Flimmern zu vermeiden, oder gleichzeitig rote und grüne Bilder zu projizieren und natürliche Farben wiederzugeben, wodurch das menschliche Auge, das daran gewöhnt ist, die Grundfarben gleichzeitig zu empfangen, von aller physiologischen Ermüdung befreit wird. Ein Wort nun zur Anwendung von kaltem Licht auf die Momentfotografie.“

Um die historische Genauigkeit des generierten Textes zu bewerten, optimierten die Forscher ein RoBERTa-Modell, um Veröffentlichungsdaten zu schätzen, unter Verwendung eines Teils des Corpus of Historical American English, der Material von 1810 bis 2009 abdeckt. Dieser RoBERTa-Klassifikator bewertete Fortsetzungen, die von ChatGPT-4o produziert wurden, die mit echten Passagen aus Büchern, die zwischen 1905 und 1914 veröffentlicht wurden, aufgefordert wurden.

Die Systemaufforderung an ChatGPT lautete: „Ihre Aufgabe ist es, Passagen aus Büchern des frühen zwanzigsten Jahrhunderts zu vervollständigen. Ihnen wird eine Passage aus einem Buch gegeben, das 1913 veröffentlicht wurde. Setzen Sie diese Passage im gleichen Stil fort, für mindestens 200 Wörter. Geben Sie nur diese Fortsetzung an; machen Sie keine einleitenden Bemerkungen wie ‚hier ist die Fortsetzung:‘.“

Trotz der Verwendung von sowohl One-Shot- als auch 20-Shot-Prompts neigten die Ausgaben von ChatGPT-4o konsequent zu einem Stil des 21. Jahrhunderts. Ein Beispiel, das im Papier angegeben wurde, zeigte den Versuch von ChatGPT-4o, den Fotografietext fortzusetzen:

„Die Verwendung von kaltem Licht in der Momentfotografie hat den Ansatz zur Aufnahme von Bildern unter variierenden Lichtbedingungen revolutioniert. Traditionell kämpften Fotografen mit der Härte und Variabilität des natürlichen Lichts oder der aufdringlichen Natur der Blitzfotografie, die die Atmosphäre einer Szene oder das natürliche Verhalten von Motiven, insbesondere in der Tier- und Kandidatenfotografie, stören konnte. Kaltes Licht, mit seiner weicheren und diffuseren Natur... ermöglicht eine natürlichere Darstellung von Farben und Texturen, die unter harter künstlicher Beleuchtung oft verloren gehen.“

Dieser generische, Wiki-ähnliche Text entsprach nicht dem umständlichen und ausgearbeiteten Stil des ursprünglichen Periodentextes, noch setzte er nahtlos dort an, wo der Originaltext endete. Stattdessen schweifte er in eine abstrakte Diskussion über eines der Unterthemen ab.

Das Team testete auch GPT-1914, ein kleineres GPT-2-Modell, das von Grund auf mit Literatur von 1880 bis 1914 trainiert wurde. Obwohl weniger kohärent, war seine Ausgabe konsistenter mit dem Stil der Quellenperiode. Ein Beispiel, das im Papier angegeben wurde, war:

„Das Prinzip seiner Wirkung wurde bereits erklärt (S. 4). Wir erwähnen hier nur, dass es vorteilhaft angewendet werden kann, wenn wir sehr schnelle Fotografien auf mit Kollodium beschichtetem Papier sowie solche, die mittels Gelatineplatten aufgenommen werden, erhalten möchten. In solchen Fällen darf die Belichtung mindestens eine Sekunde nicht überschreiten; wenn jedoch das Bild in kürzerer Zeit entwickelt werden soll – sagen wir eine halbe Sekunde –, dann sollte die Temperatur niemals unter 20° C. fallen, sonst wird das Bild nach der Entwicklung zu dunkel; außerdem würde die Platte unter diesen Bedingungen ihre Empfindlichkeit verlieren. Für gewöhnliche Zwecke reicht es jedoch aus, die empfindliche Oberfläche einem niedrigen Grad von Wärme auszusetzen, ohne dass besondere Vorsichtsmaßnahmen erforderlich sind, außer der.“

Während das ursprüngliche Material schwer verständlich und herausfordernd war, klang die Ausgabe von GPT-1914 authentischer für die Periode. Die Autoren schlussfolgerten jedoch, dass einfaches Prompting wenig dazu beiträgt, die inhärenten zeitgenössischen Verzerrungen großer vortrainierter Modelle wie ChatGPT-4o zu überwinden.

Messung der historischen Genauigkeit

Um zu beurteilen, wie nahe die Modellausgaben authentischem historischem Schreiben kamen, verwendeten die Forscher einen statistischen Klassifikator, um das wahrscheinliche Veröffentlichungsdatum jeder Textprobe zu schätzen. Sie visualisierten die Ergebnisse mit einem Kernel-Dichte-Diagramm, das zeigte, wo das Modell jede Passage auf einer historischen Zeitleiste platzierte.

Geschätzte Veröffentlichungsdaten für echte und generierte Texte, basierend auf einem Klassifikator, der trainiert wurde, um historischen Stil zu erkennen (Quellentexte von 1905–1914 im Vergleich mit Fortsetzungen von GPT‑4o mit One-Shot- und 20-Shot-Prompts und von GPT‑1914, das nur auf Literatur von 1880–1914 trainiert wurde).

Das optimierte RoBERTa-Modell, obwohl nicht perfekt, zeigte allgemeine stilistische Trends. Passagen von GPT-1914, die ausschließlich auf Literatur der Periode trainiert wurden, gruppierten sich um das frühe 20. Jahrhundert, ähnlich dem ursprünglichen Quellenmaterial. Im Gegensatz dazu ähnelten die Ausgaben von ChatGPT-4o, selbst mit mehreren historischen Prompts, dem Schreiben des 21. Jahrhunderts, was ihre Trainingsdaten widerspiegelte.

Die Forscher quantifizierten diese Diskrepanz mit der Jensen-Shannon-Divergenz, die den Unterschied zwischen zwei Wahrscheinlichkeitsverteilungen misst. GPT-1914 erzielte einen engen Wert von 0,006 im Vergleich zu echtem historischem Text, während die One-Shot- und 20-Shot-Ausgaben von ChatGPT-4o viel größere Lücken zeigten, bei 0,310 bzw. 0,350.

Die Autoren argumentieren, dass diese Ergebnisse darauf hindeuten, dass Prompting allein, selbst mit mehreren Beispielen, keine zuverlässige Methode ist, um Text zu produzieren, der überzeugend einen historischen Stil simuliert.

Feintuning für bessere Ergebnisse

Das Papier untersuchte dann, ob Feintuning bessere Ergebnisse liefern könnte. Dieser Prozess beeinflusst direkt die Gewichte des Modells, indem es mit benutzerdefinierten Daten weiter trainiert wird, was potenziell seine Leistung im Zielbereich verbessert.

In ihrem ersten Feintuning-Experiment trainierte das Team GPT-4o-mini auf etwa zweitausend Passage-Vervollständigungspaaren aus Büchern, die zwischen 1905 und 1914 veröffentlicht wurden. Sie wollten sehen, ob Feintuning in kleinem Maßstab die Ausgaben des Modells in Richtung eines historisch genaueren Stils verschieben könnte.

Mit demselben RoBERTa-basierten Klassifikator, um das stilistische ‚Datum‘ jeder Ausgabe zu schätzen, stellten die Forscher fest, dass das optimierte Modell Text produzierte, der eng mit der Grundwahrheit übereinstimmte. Seine stilistische Divergenz von den ursprünglichen Texten, gemessen durch Jensen-Shannon-Divergenz, sank auf 0,002, im Allgemeinen im Einklang mit GPT-1914.

Geschätzte Veröffentlichungsdaten für echte und generierte Texte, die zeigen, wie nahe GPT‑1914 und eine optimierte Version von GPT‑4o‑mini dem Stil des frühen zwanzigsten Jahrhunderts entsprechen (basierend auf Büchern, die zwischen 1905 und 1914 veröffentlicht wurden).

Die Forscher warnten jedoch, dass diese Metrik möglicherweise nur oberflächliche Merkmale des historischen Stils erfasst, nicht tiefere konzeptionelle oder faktische Anachronismen. Sie stellten fest: „Dies ist kein sehr sensitiver Test. Das hier als Richter verwendete RoBERTa-Modell ist nur darauf trainiert, ein Datum vorherzusagen, nicht darauf, authentische Passagen von anachronistischen zu unterscheiden. Es verwendet wahrscheinlich grobe stilistische Beweise, um diese Vorhersage zu treffen. Menschliche Leser oder größere Modelle könnten immer noch anachronistischen Inhalt in Passagen erkennen, die oberflächlich ‚zeitgemäß‘ klingen.“

Menschliche Bewertung

Schließlich führten die Forscher menschliche Bewertungstests mit 250 handverlesenen Passagen aus Büchern durch, die zwischen 1905 und 1914 veröffentlicht wurden. Sie stellten fest, dass viele dieser Texte heute anders interpretiert werden würden als zum Zeitpunkt ihrer Entstehung:

„Unsere Liste umfasste zum Beispiel einen Enzyklopädieeintrag über Elsass (das damals Teil Deutschlands war) und einen über Beriberi (das damals oft als Pilzkrankheit statt als Ernährungsmangel erklärt wurde). Während dies Unterschiede in Fakten sind, wählten wir auch Passagen aus, die subtilere Unterschiede in Haltung, Rhetorik oder Vorstellungskraft zeigen würden. Zum Beispiel neigen Beschreibungen nicht-europäischer Orte im frühen zwanzigsten Jahrhundert dazu, in rassistische Verallgemeinerungen abzurutschen. Eine Beschreibung des Sonnenaufgangs auf dem Mond, geschrieben 1913, stellt sich reiche chromatische Phänomene vor, weil noch niemand Fotos von einer Welt ohne Atmosphäre gesehen hatte.“

Die Forscher erstellten kurze Fragen, die jede historische Passage plausibel beantworten könnte, und optimierten GPT-4o-mini auf diesen Frage-Antwort-Paaren. Um die Bewertung zu stärken, trainierten sie fünf separate Versionen des Modells, wobei sie jedes Mal einen anderen Teil der Daten für Tests zurückhielten. Sie produzierten dann Antworten mit sowohl den Standardversionen von GPT-4o und GPT-4o-mini als auch den optimierten Varianten, die jeweils auf dem Teil bewertet wurden, den sie während des Trainings nicht gesehen hatten.

In der Zeit verloren

Um zu bewerten, wie überzeugend die Modelle historische Sprache nachahmen konnten, baten die Forscher drei Expertenannotatoren, 120 KI-generierte Vervollständigungen zu überprüfen und zu beurteilen, ob jede für einen Schriftsteller von 1914 plausibel erschien.

Diese Bewertung erwies sich als schwieriger als erwartet. Obwohl die Annotatoren in fast achtzig Prozent der Fälle übereinstimmten, bedeutete die Unausgewogenheit in ihren Urteilen (wobei ‚plausibel‘ doppelt so oft gewählt wurde wie ‚nicht plausibel‘), dass ihr tatsächliches Maß an Übereinstimmung nur moderat war, gemessen durch einen Cohen’s-Kappa-Wert von 0,554.

Die Bewerter beschrieben die Aufgabe als schwierig, oft erforderte sie zusätzliche Forschung, um zu bewerten, ob eine Aussage mit dem übereinstimmte, was 1914 bekannt oder geglaubt wurde. Einige Passagen warfen Fragen zu Ton und Perspektive auf, wie etwa, ob eine Antwort angemessen in ihrer Weltsicht begrenzt war, um das zu widerspiegeln, was 1914 typisch gewesen wäre. Dieses Urteil hing oft vom Grad des Ethnozentrismus ab, der Tendenz, andere Kulturen durch die Annahmen oder Vorurteile der eigenen zu betrachten.

Die Herausforderung bestand darin zu entscheiden, ob eine Passage gerade genug kulturelle Voreingenommenheit ausdrückte, um historisch plausibel zu wirken, ohne zu modern oder nach heutigen Maßstäben zu offensichtlich anstößig zu klingen. Die Autoren stellten fest, dass es selbst für Gelehrte, die mit der Periode vertraut waren, schwierig war, eine klare Grenze zwischen Sprache zu ziehen, die historisch genau wirkte, und Sprache, die heutige Ideen widerspiegelte.

Dennoch zeigten die Ergebnisse eine klare Rangfolge der Modelle, wobei die optimierte Version von GPT-4o-mini insgesamt als am plausibelsten beurteilt wurde:

Bewertungen der Annotatoren, wie plausibel die Ausgabe jedes Modells erschien

Ob dieses Leistungsniveau, das in achtzig Prozent der Fälle als plausibel bewertet wurde, zuverlässig genug für historische Forschung ist, bleibt unklar, insbesondere da die Studie keine Basislinie enthielt, wie oft echte Periodentexte falsch klassifiziert werden könnten.

Eindringlingsalarm

Als nächstes führten die Forscher einen ‚Eindringlingstest‘ durch, bei dem Expertenannotatoren vier anonyme Passagen gezeigt wurden, die dieselbe historische Frage beantworteten. Drei Antworten stammten von Sprachmodellen, während eine ein echter Auszug aus einer Quelle des frühen 20. Jahrhunderts war.

Die Aufgabe bestand darin, zu identifizieren, welche Passage die ursprüngliche war, die tatsächlich während der Periode geschrieben wurde. Dieser Ansatz bat die Annotatoren nicht direkt, die Plausibilität zu bewerten, sondern maß, wie oft die echte Passage aus den KI-generierten Antworten herausstach, und testete effektiv, ob die Modelle Leser täuschen konnten, ihre Ausgabe für authentisch zu halten.

Die Rangfolge der Modelle stimmte mit den Ergebnissen der früheren Beurteilungsaufgabe überein: die optimierte Version von GPT-4o-mini war die überzeugendste unter den Modellen, blieb aber immer noch hinter dem echten Text zurück.

Die Häufigkeit, mit der jede Quelle korrekt als authentische historische Passage identifiziert wurde.

Dieser Test diente auch als nützlicher Maßstab, da die echte Passage in mehr als der Hälfte der Fälle identifiziert wurde, was darauf hinweist, dass die Lücke zwischen authentischer und synthetischer Prosa für menschliche Leser spürbar blieb.

Eine statistische Analyse, bekannt als McNemar’s Test, bestätigte, dass die Unterschiede zwischen den Modellen signifikant waren, außer im Fall der beiden unoptimierten Versionen (GPT-4o und GPT-4o-mini), die ähnlich abschnitten.

Die Zukunft der Vergangenheit

Die Autoren stellten fest, dass das Auffordern moderner Sprachmodelle, eine historische Stimme anzunehmen, nicht zuverlässig überzeugende Ergebnisse lieferte: weniger als zwei Drittel der Ausgaben wurden von menschlichen Lesern als plausibel beurteilt, und selbst diese Zahl übertreibt wahrscheinlich die Leistung.

In vielen Fällen enthielten die Antworten explizite Signale, dass das Modell aus einer heutigen Perspektive sprach – Phrasen wie „1914 ist es noch nicht bekannt, dass...“ oder „stand 1914 bin ich nicht vertraut mit...“ waren häufig genug, um in bis zu einem Fünftel der Vervollständigungen zu erscheinen. Solche Haftungsausschlüsse machten klar, dass das Modell Geschichte von außen simulierte, anstatt von innen heraus zu schreiben.

Die Autoren erklärten: „Die schlechte Leistung des In-Context-Lernens ist bedauerlich, weil diese Methoden die einfachsten und günstigsten für KI-basierte historische Forschung sind. Wir betonen, dass wir diese Ansätze nicht erschöpfend untersucht haben. Es könnte sich herausstellen, dass In-Context-Lernen – jetzt oder in der Zukunft – für eine Teilmenge von Forschungsbereichen ausreichend ist. Aber unsere anfänglichen Beweise sind nicht ermutigend.“

Die Forscher schlussfolgerten, dass das Optimieren eines kommerziellen Modells auf historischen Passagen stilistisch überzeugende Ausgaben zu minimalen Kosten produzieren kann, aber Spuren moderner Perspektiven nicht vollständig beseitigt. Das Pretraining eines Modells ausschließlich auf Periodenmaterial vermeidet Anachronismus, erfordert jedoch weit größere Ressourcen und führt zu weniger flüssiger Ausgabe.

Keine Methode bietet eine vollständige Lösung, und vorerst scheint jeder Versuch, historische Stimmen zu simulieren, einen Kompromiss zwischen Authentizität und Kohärenz zu bewerten. Die Autoren schließen, dass weitere Forschung nötig sein wird, um zu klären, wie man diese Spannung am besten navigiert.

Fazit

Eine der faszinierendsten Fragen, die das neue Papier aufwirft, ist die der Authentizität. Während sie nicht perfekt sind, bieten Verlustfunktionen und Metriken wie LPIPS und SSIM der Forschung im Bereich der Computer Vision eine Methodik zur Bewertung gegenüber der Grundwahrheit. Beim Generieren neuen Textes im Stil einer vergangenen Ära gibt es jedoch keine Grundwahrheit – nur ein Versuch, eine verschwundene kulturelle Perspektive zu bewohnen. Der Versuch, diese Denkweise aus literarischen Spuren zu rekonstruieren, ist selbst ein Akt der Quantisierung, da diese Spuren lediglich Beweise sind, während das kulturelle Bewusstsein, aus dem sie hervorgehen, jenseits von Rückschlüssen und wahrscheinlich jenseits der Vorstellungskraft bleibt.

Auf einer praktischen Ebene riskieren die Grundlagen moderner Sprachmodelle, die durch heutige Normen und Daten geprägt sind, Ideen neu zu interpretieren oder zu unterdrücken, die für einen Leser Edwardischer Zeit vernünftig oder unauffällig erschienen wären, aber jetzt als Artefakte von Vorurteilen, Ungleichheit oder Ungerechtigkeit registriert werden.

Man fragt sich daher, selbst wenn wir ein solches Gespräch führen könnten, ob es uns nicht abstoßen würde.

Erstmals veröffentlicht am Freitag, 2. Mai 2025