Die Kosten für die Entwicklung von Künstlicher Intelligenz fallen rasant. Noch vor wenigen Jahren war die Entwicklung leistungsfähiger Sprachmodelle ein Privileg milliardenschwerer Tech-Giganten.
Doch eine neue Technik namens Distillation verändert das Spielfeld radikal – und könnte etablierte KI-Firmen wie OpenAI oder Google DeepMind unter massiven Druck setzen.
Mit der Methode lassen sich kleinere, spezialisierte KI-Modelle aus großen, teuren Systemen extrahieren – und das zu einem Bruchteil der bisherigen Kosten.
Eine Entwicklung, die Investoren aufhorchen lässt und den Wettbewerb in der Branche grundlegend verändern könnte. Während Startups und kleinere Player profitieren, geraten die einstigen Platzhirsche zunehmend ins Schwitzen.
Distillation – Ein alter Trick mit neuer Sprengkraft
Das Prinzip der Distillation ist nicht neu. Bereits 2015 präsentierten Google-Forscher um Geoffrey Hinton eine Technik, bei der ein großes „Lehrer“-Modell ein kleineres „Schüler“-Modell trainiert. Dabei imitiert das kleinere Modell nicht nur die Ergebnisse, sondern auch die Denkprozesse des großen Modells.
Doch erst jetzt entfaltet diese Methode ihre volle Wirkung. DeepSeek, ein chinesisches KI-Unternehmen, hat kürzlich ein Modell entwickelt, das mit OpenAI konkurrieren kann – und das für nur fünf Millionen Dollar. Das erschütterte die Branche, ließ Nvidias Börsenwert kurzfristig um 600 Milliarden Dollar sinken und zeigte: Die Eintrittsbarriere in den KI-Markt ist drastisch gesunken.
Noch drastischer war das Ergebnis einer Forschungsgruppe der University of California, die mit Distillation ein funktionierendes KI-Modell für unter 1.000 Dollar entwickelte. Auch Forscher von Stanford und der University of Washington zeigten, dass leistungsfähige Modelle für minimale Kosten gebaut werden können.
KI-Entwicklung zum Schnäppchenpreis – was bedeutet das?
Einerseits ist die Entwicklung positiv: Die Demokratisierung der KI-Entwicklung ermöglicht mehr Unternehmen, eigene Lösungen zu schaffen.
Mit Distillation können bestehende Open-Source-Modelle wie Metas Llama oder Alibabas Qwen gezielt für bestimmte Aufgaben spezialisiert werden – etwa für Steuerrecht, medizinische Diagnosen oder juristische Beratung.
Doch es gibt auch Schattenseiten:
- Qualitätsverlust: Distillierte Modelle sind oft spezialisierter, verlieren aber an Vielseitigkeit.
- Lizenzprobleme: Viele Modelle werden mit Trainingsdaten gefüttert, die möglicherweise urheberrechtlich geschützt sind.
- Kommerzielle Risiken: Unternehmen wie OpenAI, Google DeepMind und Anthropic haben Milliarden in die Entwicklung großer Foundation-Modelle investiert – doch die sinkenden Entwicklungskosten könnten ihr Geschäftsmodell ins Wanken bringen.
„Die führenden KI-Unternehmen werden in den nächsten Monaten versuchen, Distillation zu verhindern“, prognostiziert David Sacks, KI- und Kryptowährungsberater von Donald Trump.
OpenAI beispielsweise hat begonnen, bestimmte Teile seiner Modellantworten bewusst zu verschleiern, um deren Nutzung zur Distillation zu erschweren.
Das Rennen um die Zukunft der KI ist eröffnet
Trotz aller Versuche, den Trend zu bremsen, scheint die Bewegung kaum aufzuhalten. Schon jetzt sind auf Hugging Face, einer Plattform für Open-Source-KI-Modelle, mehr als 30.000 distillierte Modelle zu finden. Die Open-Source-Gemeinschaft hat einen massiven Vorteil: Sie entwickelt sich schneller als regulierte Unternehmen und verteilt neue Technologien in Windeseile.
Die große Frage bleibt: Werden große KI-Player ihre Geschäftsmodelle anpassen und sich auf spezialisierte Produkte konzentrieren? Oder werden sie Distillation aktiv bekämpfen und versuchen, ihre Modelle stärker abzuschotten?
Das könnte Sie auch interessieren:
InvestmentWeek