Die Diskussion um das vermeintliche Ende des exponentiellen Wachstums in der Leistungsfähigkeit von KI-Systemen hat in der Technologiebranche Fahrt aufgenommen. Ausgangspunkt dieser Debatte ist die Sorge, dass die gegenwärtigen KI-Modelle aufgrund fehlender hochwertiger Eingabedaten an ihre Grenzen stoßen könnten und somit Skalierungsproblematiken für die gesamte Branche nach sich ziehen.
In einem kürzlich ausgestrahlten Programm beleuchtete CNBC-Moderatorin Deirdre Bosa diese Thematik, die in den Hallen Sillicon Valleys heftig diskutiert wird. Im Kern steht die Frage, ob die kontinuierliche Erweiterung von Datengrundlagen und Modellgrößen zwangsläufig zu besseren KI-Ergebnissen führt oder ob diese Fortschritte bereits ihren Zenit erreicht haben. Diese Debatte hat erhebliche Auswirkungen auf die Industrie – von Unternehmensbewertungen über die GPUs, die das Rückgrat der KI-Berechnungen bilden, bis hin zu den ganz großen Namen wie Nvidia. Auf einer KI-Konferenz in San Francisco tauschten sich führende Experten wie Alexander Wang von Scale AI, Dario Amodei von Anthropic und Ali Ghodsi von Databricks über dieses brisante Thema aus.
Auch Nvidia-Chef Jensen Huang äußerte sich in einem jüngsten Earnings Call zu den Herausforderungen, vor denen KI-Systeme stehen. Er betonte dabei, dass das Prä-Training von Basis-Modellen immer noch skalierbar sei. Darüber hinaus wies er auf neue Ansätze zur Skalierung hin, die das traditionelle Prä-Training ergänzen: etwa das Post-Training durch Verstärkungslernen mit KI-Feedback sowie das Generieren synthetischer Daten zur Unterstützung dieses Prozesses.
Im Rahmen der Debatte betonten weitere Tech-Größen, dass das Ende des sogenannten Datenplateaus noch nicht erreicht sei, sondern es noch vielfältige Möglichkeiten zur Weiterentwicklung gäbe.