Der Gegentrend zu „größer ist besser“
Das Modul „Der Transformer: das Paper, das alles änderte“ hat gezeigt, wie Skalierungsgesetze den Sprachmodell-Wettlauf angetrieben haben. Parallel dazu wächst ein zweiter Forschungszweig: Wie lässt sich dieselbe Leistung mit einem kleineren, günstigeren Modell erreichen? Techniken wie „Distillation“ (ein kleines Modell lernt von einem großen) und Quantisierung (weniger Rechengenauigkeit bei kaum Leistungsverlust) machen das möglich.
Warum das die eigentlich relevantere Kurve ist
Für die meisten Geschäftsanwendungen zählt nicht die absolute Spitzenleistung, sondern das beste Verhältnis aus Kosten, Geschwindigkeit und ausreichender Qualität (siehe „Token-Ökonomie: Wie AI-Kosten wirklich entstehen“). Ein kleines, spezialisiertes Modell, das eine enge Aufgabe zuverlässig löst, schlägt oft ein großes Universalmodell – bei einem Bruchteil der Kosten.
Lokale und spezialisierte Modelle
Kleinere Modelle lassen sich zunehmend auch lokal betreiben – auf eigener Hardware statt in der Cloud (siehe „Cloud vs. On-Premise: Wo läuft euer KI-Modell?“), was Datenhoheit und Unabhängigkeit stärkt. Gleichzeitig entstehen spezialisierte Modelle für enge Aufgabenbereiche statt eines Universalmodells für alles.
Die Grenze: nicht jede Aufgabe lässt sich verkleinern
Für Aufgaben, die breites Weltwissen oder komplexes mehrstufiges Schlussfolgern brauchen, bleibt ein großes Modell überlegen – Verkleinerung funktioniert vor allem bei eng abgegrenzten, wiederkehrenden Aufgaben. Realistisch verschiebt sich die Kostenkurve für Standardaufgaben laufend nach unten, ohne dass ein fester Zeitpunkt absehbar ist, wann sie sich „stabilisiert“ – der Trend selbst ist verlässlicher als jede einzelne Preisangabe.
Warum das für dich als Entscheider zählt
Wer heute eine AI-Lösung plant, sollte die Kostenkurve mitdenken, nicht nur den aktuellen Preis: Was heute nur mit dem teuersten Modell möglich ist, kann in ein bis zwei Jahren mit einem kleinen, günstigen Modell laufen. Das verändert Build-vs.-Buy- (siehe „Build vs. Buy vs. API: Wann lohnt sich was?“) und Cloud-vs.-On-Premise-Kalkulationen laufend.