Studie zeigt, dass kurze KI-Antworten Halluzinationen erhöhen können

Die Anweisung an KI-Chatbots, kurze Antworten zu geben, kann laut einer neuen Studie häufiger zu Halluzinationen führen.

Eine aktuelle Studie von Giskard, einem in Paris ansässigen Unternehmen für KI-Bewertung, untersuchte, wie die Formulierung von Prompts die Genauigkeit von KI beeinflusst. In einem Blogbeitrag stellten die Giskard-Forscher fest, dass Anforderungen nach kurzen Antworten, insbesondere bei vagen Themen, oft die faktische Zuverlässigkeit eines Modells verringern.

„Unsere Ergebnisse zeigen, dass kleine Änderungen an Prompts die Neigung eines Modells, ungenaue Inhalte zu generieren, erheblich beeinflussen“, erklärten die Forscher. „Dies ist entscheidend für Anwendungen, die kurze Antworten priorisieren, um Daten zu sparen, die Geschwindigkeit zu erhöhen oder Kosten zu senken.“

Halluzinationen bleiben eine anhaltende Herausforderung in der KI. Selbst fortschrittliche Modelle erzeugen gelegentlich erfundene Informationen aufgrund ihres probabilistischen Designs. Bemerkenswert ist, dass neuere Modelle wie OpenAI’s o3 höhere Halluzinationsraten aufweisen als ihre Vorgänger, was das Vertrauen in ihre Ergebnisse untergräbt.

Die Forschung von Giskard identifizierte Prompts, die Halluzinationen verschlimmern, wie etwa mehrdeutige oder faktenwidrige Fragen, die Kürze fordern (z. B. „Erkläre kurz, warum Japan den Zweiten Weltkrieg gewann“). Top-Modelle, einschließlich OpenAI’s GPT-4o (das ChatGPT antreibt), Mistral Large und Anthropic’s Claude 3.7 Sonnet, zeigen bei der Einschränkung auf kurze Antworten eine geringere Genauigkeit.

Warum passiert das? Giskard vermutet, dass eine begrenzte Antwortlänge Modelle daran hindert, falsche Annahmen anzusprechen oder Fehler zu klären. Robuste Korrekturen erfordern oft detaillierte Erklärungen.

„Wenn sie zur Kürze gedrängt werden, priorisieren Modelle Kürze über Wahrheit“, stellten die Forscher fest. „Für Entwickler können scheinbar harmlose Anweisungen wie ‚halte es kurz‘ die Fähigkeit eines Modells untergraben, Fehlinformationen zu bekämpfen.“

Vorstellung bei TechCrunch Sessions: AI

Sichere dir deinen Platz bei TC Sessions: AI, um deine Arbeit über 1.200 Entscheidungsträgern zu präsentieren, ohne dein Budget zu sprengen. Verfügbar bis 9. Mai oder solange Plätze vorhanden sind.

Vorstellung bei TechCrunch Sessions: AI

Sichere dir deinen Platz bei TC Sessions: AI, um deine Arbeit über 1.200 Entscheidungsträgern zu präsentieren, ohne dein Budget zu sprengen. Verfügbar bis 9. Mai oder solange Plätze vorhanden sind.

Die Studie von Giskard deckte auch interessante Muster auf, wie etwa, dass Modelle weniger dazu neigen, kühne, aber falsche Behauptungen infrage zu stellen, und bevorzugte Modelle nicht immer die genauesten sind. OpenAI hat zum Beispiel Schwierigkeiten, faktenbasierte Präzision mit benutzerfreundlichen Antworten in Einklang zu bringen, die nicht übermäßig unterwürfig wirken.

„Der Fokus auf Benutzerzufriedenheit kann manchmal die Wahrhaftigkeit beeinträchtigen“, schrieben die Forscher. „Dies schafft einen Konflikt zwischen Genauigkeit und der Erfüllung von Benutzererwartungen, insbesondere wenn diese Erwartungen auf fehlerhaften Annahmen basieren.“