Innovationsgrenze erreicht? Die Kostenexplosion bei KI-Modellen und ihre Folgen

Der zunehmende Bedarf an Chips für Künstliche Intelligenz (KI), insbesondere an den leistungsstarken GPUs von Nvidia, scheint unersättlich. Im dritten Quartal generierte Nvidia allein im Datencenter-Segment über 30 Milliarden US-Dollar Umsatz, fast das Zehnfache im Vergleich zu vor zwei Jahren. Technologiegiganten eilen, KI-Datencenter mit den GPUs von Nvidia auszustatten und investieren dabei Milliardenbeträge in Hardware. Bislang hat jedes neue KI-Modell von OpenAI oder anderen Tech-Giganten signifikante Verbesserungen gegenüber seinen Vorgängern gezeigt. So ist etwa OpenAIs GPT-4 weitaus leistungsfähiger als GPT-3, während Alphabets Gemini-Modelle ihre älteren Versionen deutlich übertreffen. Doch diese Fortschritte sind mit hohen Kosten verbunden. Die Ausbildung von GPT-4 wird auf rund 100 Millionen Dollar geschätzt, während GPT-3 nur ein paar Millionen Dollar gekostet haben dürfte. Dario Amodei, CEO von Anthropic, erwartet für die nächste Generation von KI-Modellen Produktionskosten von rund einer Milliarde Dollar. Der Kauf und Betrieb von Tausenden leistungsstarker GPUs ist kostspielig, ebenso wie die Beschaffung großer Mengen von Trainingsdaten. Es zeigt sich jedoch ein fundamentales Limit. Große Sprachmodelle wie GPT-4 funktionieren, indem sie das nächste Element im Textvorhersageprozess prognostizieren. Zwar liefern sie in vielen Fällen hochwertige Texte und überzeugende Bilder sowie scheinbar fortgeschrittene Schlussfolgerungen, doch die Weiterentwicklung dieser Modelle scheint an eine Grenze zu stoßen. Trotz mehr Daten und Rechenleistung verlangsamt sich das Tempo der Verbesserungen. Marc Andreessen, Mitgründer des Risikokapitalunternehmens a16z, bemerkte kürzlich, dass KI-Modelle offenbar eine Leistungsobergrenze erreicht haben, unabhängig von der Menge an Daten oder Rechenleistung. Ein bedeutender Durchbruch könnte helfen, diese Grenze zu überwinden, doch es ist ebenso möglich, dass große Sprachmodelle nicht viel mehr leisten können. Wenn die Fähigkeiten von KI-Modellen tatsächlich weitgehend ausgereizt sind, könnten die hektischen milliardenschweren KI-Investitionen der Tech-Giganten letztlich keine Gewinne einbringen. Die Folgen überbordender Investitionen könnten für Unternehmen wie Nvidia verheerend sein, falls die Nachfrage nach KI-Chips nachlässt.