Fortschritt von KI-Modellen zur Schlussfolgerung könnte bis 2026 stagnieren, legt Epoch AI-Studie nahe

Eine Studie von Epoch AI, einem gemeinnützigen Forschungsinstitut für KI, deutet darauf hin, dass der KI-Sektor bald vor Herausforderungen stehen könnte, um signifikante Leistungsverbesserungen bei KI-Modellen zur Schlussfolgerung zu erzielen. Der Bericht prognostiziert, dass die Fortschritte bei diesen Modellen im nächsten Jahr nachlassen könnten.

Fortgeschrittene Modelle zur Schlussfolgerung, wie OpenAI’s o3, haben kürzlich bemerkenswerte Verbesserungen in KI-Benchmarks erzielt, insbesondere bei Mathematik- und Programmieraufgaben. Diese Modelle nutzen erhöhte Rechenleistung, um die Leistung zu steigern, was jedoch oft längere Verarbeitungszeiten im Vergleich zu traditionellen Modellen zur Folge hat.

Modelle zur Schlussfolgerung werden zunächst durch das Training eines Standardmodells mit riesigen Datensätzen erstellt, gefolgt von verstärkendem Lernen, das dem Modell Rückmeldungen gibt, um seine Problemlösungsfähigkeiten zu verfeinern.

Laut Epoch haben führende KI-Labore wie OpenAI bisher nicht intensiv Rechenressourcen für die Phase des verstärkenden Lernens bei der Entwicklung von Modellen zur Schlussfolgerung genutzt.

Dieser Trend ändert sich. OpenAI gab bekannt, dass etwa zehnmal mehr Rechenleistung für das Training von o3 im Vergleich zu seinem Vorgänger, o1, verwendet wurde, wobei Epoch suggeriert, dass der Großteil davon für verstärkendes Lernen aufgewendet wurde. Der OpenAI-Forscher Dan Roberts deutete kürzlich an, dass das Unternehmen plant, verstärkendes Lernen weiter zu priorisieren und möglicherweise noch mehr Rechenressourcen als für das anfängliche Modelltraining einzusetzen.

Epoch weist jedoch darauf hin, dass es eine Grenze gibt, wie viel Rechenleistung für verstärkendes Lernen eingesetzt werden kann.

Josh You, Analyst bei Epoch und Autor der Studie, bemerkt, dass die Leistungsgewinne durch das Training standardmäßiger KI-Modelle derzeit jährlich vervierfachen, während die Gewinne durch verstärkendes Lernen alle drei bis fünf Monate verzehnfachen. Er prognostiziert, dass der Fortschritt bei Modellen zur Schlussfolgerung bis 2026 wahrscheinlich mit den allgemeinen KI-Fortschritten übereinstimmen wird.

Präsentation bei TechCrunch Sessions: AI

Sichern Sie sich Ihren Platz bei TC Sessions: AI, um Ihre Innovationen über 1.200 Entscheidungsträgern zu präsentieren, ohne Ihr Budget zu sprengen. Verfügbar bis 9. Mai oder solange Plätze verfügbar sind.

Präsentation bei TechCrunch Sessions: AI

Sichern Sie sich Ihren Platz bei TC Sessions: AI, um Ihre Innovationen über 1.200 Entscheidungsträgern zu präsentieren, ohne Ihr Budget zu sprengen. Verfügbar bis 9. Mai oder solange Plätze verfügbar sind.

Die Studie von Epoch stützt sich auf bestimmte Annahmen und bezieht öffentliche Aussagen von Führungskräften der KI-Branche ein. Sie hebt auch hervor, dass die Skalierung von Modellen zur Schlussfolgerung über rechentechnische Grenzen hinaus auf Hindernisse stoßen könnte, wie hohe Forschungskosten.

„Laufende Forschungskosten könnten die Skalierbarkeit von Modellen zur Schlussfolgerung einschränken“, erklärt You. „Da schnelle rechentechnische Skalierung ein Schlüsselfaktor für ihren Fortschritt ist, verdient dies besondere Aufmerksamkeit.“

Jegliche Anzeichen dafür, dass Modelle zur Schlussfolgerung bald an eine Leistungsgrenze stoßen könnten, könnten in der KI-Branche Besorgnis erregen, die stark in ihre Entwicklung investiert hat. Forschungsergebnisse deuten bereits darauf hin, dass diese Modelle trotz ihrer hohen Betriebskosten erhebliche Mängel aufweisen, einschließlich einer höheren Neigung, im Vergleich zu einigen traditionellen Modellen ungenaue Ergebnisse zu liefern.