KI-Effizienz neu denken: Der Aufstieg der Train-to-Test-Skalierung

Der Entwurf für den Aufbau von Large Language Models (LLMs) konzentriert sich seit Jahren auf ein einziges Ziel: die Optimierung der Schulungskosten. Mit der Verlagerung der KI aus Forschungslaboren in reale Anwendungen ist jedoch ein neues Problem aufgetaucht. Die Kosten für die tatsächliche Nutzung dieser Modelle – die Inferenzphase – werden während der Entwurfsphase oft ignoriert, was zu massiven Ineffizienzen führt, wenn Modelle in großem Maßstab eingesetzt werden.

Forscher der University of Wisconsin-Madison und der Stanford University stellen diesen Status quo in Frage. Sie haben ein neues Framework namens Train-to-Test (T2)-Skalierungsgesetze eingeführt, das darauf hindeutet, dass wir zum Aufbau der effektivsten KI aufhören sollten, Training und Inferenz als getrennte Budgets zu betrachten und sie stattdessen als eins zu behandeln.

Der Konflikt: Training vs. Schlussfolgerung

Um zu verstehen, warum dies wichtig ist, müssen wir uns die beiden unterschiedlichen Funktionsweisen der „Skalierung“ derzeit ansehen:

1. Skalierung vor dem Training (die Chinchilla-Regel): Traditionell folgen Entwickler der „Chinchilla-Regel“, die ein bestimmtes Verhältnis von Trainingsdaten zur Modellgröße vorschlägt (ungefähr 20 Token pro Parameter). Dies optimiert die Kosten für die Erstellung des Modells.
2. Testzeitskalierung (Inferenzzeitbegründung): Hierbei handelt es sich um die Praxis, ein Modell während der Bereitstellung „länger nachdenken“ zu lassen. Anstatt die erste Antwort eines Modells zu verwenden, generieren Entwickler mehrere Argumentationsbeispiele (mit $k$-facher Stichprobe), um das genaueste Ergebnis zu finden. Dies kommt häufig bei komplexen Aufgaben wie Programmieren oder Mathematik vor.

Das Problem: Diese beiden Prozesse sind derzeit getrennt. Wenn Sie ein umfangreiches, „Chinchilla-optimales“ Modell erstellen, wird jede einzelne Abfrage extrem teuer. Wenn Sie dann versuchen, die „Testzeitskalierung“ zu verwenden (das Modell mehrere Versuche durchführen zu lassen, um die Genauigkeit sicherzustellen), steigen Ihre Betriebskosten sprunghaft an.

Die T2-Lösung: Kleinere Modelle, mehr Daten, mehr Beispiele

Das T2-Framework stellt eine mathematische Formel bereit, die drei Variablen gemeinsam optimiert:
* $N$ : Modellgröße (Parameter)
* $D$ : Trainingsdatenvolumen (Tokens)
* $k$ : Anzahl der Argumentationsbeispiele bei der Schlussfolgerung

Die Forschung beweist eine kontraintuitive Strategie: Um die Leistung bei einem festen Budget zu maximieren, ist es besser, ein viel kleineres Modell auf einer riesigen Datenmenge zu trainieren, als ein großes Modell nach traditionellen Regeln zu trainieren.

Durch das „Übertraining“ eines kompakten Modells sparen Entwickler so viel Rechenaufwand, dass sie es sich leisten können, dasselbe Modell während der Inferenz mehrmals auszuführen. Im Wesentlichen tauschen Sie die hohen Kosten eines „schweren“ Modells gegen die hohe Frequenz eines „leichten“ Modells ein.

Leistung und Kompromisse in der Praxis

Um dies zu bestätigen, testeten die Forscher über 100 Modelle und trainierten 21 neue Modelle von Grund auf. Die Ergebnisse waren eindeutig: Stark übertrainierte kleine Modelle übertrafen durchweg größere, traditionell optimierte Modelle bei Aufgaben, die Arithmetik, räumliches Denken und Wissenserinnerung umfassten.

Allerdings handelt es sich bei dieser Strategie nicht um eine universelle „Wunderwaffe“. Die Forscher stellten mehrere wichtige Überlegungen fest:

• Aufgabenspezifität: T2 ist maßgeschneidert für beweisintensive Anwendungen (wie Codierung oder Logik). Für „wissensintensive“ Aufgaben, wie zum Beispiel einfache Chat-Modelle, bei denen es nur darum geht, Informationen abzurufen, bietet es weniger Nutzen.
• Die Datenwand: Es gibt eine physikalische Grenze dafür, wie weit Sie ein Modell übertrainieren können. Wenn Sie diese Strategie zu weit treiben, kann es sein, dass Ihnen die im Internet verfügbaren hochwertigen Trainingsdaten ausgehen.
• Hürden bei der Feinabstimmung: Extrem übertrainierte Modelle können manchmal „hartnäckig“ sein und die Feinabstimmung für bestimmte Aufgaben schwieriger machen, obwohl die Forscher herausfanden, dass dies die allgemeinen Effizienzgewinne nicht zunichte machte.

Warum das für die KI-Branche wichtig ist

Dieser Wandel stellt eine bedeutende Chance für Unternehmensentwickler dar. Derzeit stellen die hohen Kosten von „Frontier-Modellen“ (die massiven, teuren Modelle wie GPT-4) ein Hindernis für die Skalierung „agentischer“ Arbeitsabläufe dar – KI-Agenten, die ihre eigene Arbeit begründen, schleifen und überprüfen müssen.

Das T2-Framework bietet eine Blaupause für die Demokratisierung des Denkens auf hoher Ebene. Es zeigt, dass man nicht das größte Modell der Welt braucht, um Spitzenleistungen zu erzielen; Sie benötigen lediglich eine intelligentere Zuweisung Ihres gesamten Rechenbudgets.

Schlussfolgerung: Durch die Verlagerung des Fokus von „Wie groß können wir es bauen?“ bis hin zu „Wie effizient können wir es nutzen?“ ermöglichen die T2-Skalierungsgesetze Entwicklern die Erzielung überlegener Argumentationsfähigkeiten mithilfe kleinerer, kostengünstigerer Modelle.