Anthropics neuer KI: überraschend erschwinglich zu trainieren

Anthropics neuestes KI-Modell, Claude 3.7 Sonnet, wurde Berichten zufolge für nur wenige zehn Millionen Dollar trainiert und nutzte weniger als 10^26 FLOPs an Rechenleistung. Diese Information stammt von Wharton-Professor Ethan Mollick, der auf X mitteilte, dass er dies direkt vom PR-Team von Anthropic erfahren habe. Sie sagten ihm: „Ich wurde von Anthropic kontaktiert, die mir mitteilten, dass Sonnet 3.7 nicht als ein 10^26 FLOP-Modell betrachtet wird und einige zehn Millionen Dollar gekostet hat“, obwohl sie andeuteten, dass zukünftige Modelle deutlich größer sein werden.

TechCrunch versuchte, Details von Anthropic zu bekommen, erhielt aber vor Veröffentlichung ihres Artikels keine Antwort.

Falls Claude 3.7 Sonnet wirklich nur wenige zehn Millionen Dollar für das Training gekostet hat, ist es ziemlich beeindruckend, wie viel günstiger es wird, erstklassige KI-Modelle einzuführen. Zum Vergleich: Claude 3.5, das im Herbst 2024 erschien, kostete laut Anthropics CEO, Dario Amodei, ebenfalls nur wenige zehn Millionen Dollar für das Training.

Wenn man diese Zahlen mit den Kosten für die großen Modelle von 2023 vergleicht, ist das noch beeindruckender. OpenAI investierte über 100 Millionen Dollar, um ihr GPT-4-Modell zum Laufen zu bringen, so ihr CEO, Sam Altman. Und Google? Sie gaben laut einer Stanford-Studie fast 200 Millionen Dollar für ihr Gemini Ultra-Modell aus.

Aber Achtung, Amodei glaubt, dass die Kosten für zukünftige KI-Modelle in die Milliarden gehen könnten. Und denk dran, Trainingskosten sind nur ein Teil des Ganzen. Es gibt auch Sicherheitstests, Grundlagenforschung und all das. Außerdem, da die KI-Welt zunehmend auf „Reasoning“-Modelle setzt, die länger an Problemen arbeiten, werden die Betriebskosten für diese Modelle wahrscheinlich weiter steigen.