Bauen mit KI
Fine-Tuning
Ein vorhandenes Modell mit eigenen Beispielen weitertrainieren, damit es Stil oder Format zuverlässig trifft.
Beim Fine-Tuning wird ein fertiges Modell mit eigenen Beispielpaaren nachtrainiert. Sinnvoll ist das, wenn ein bestimmter Stil, ein festes Format oder ein engmaschiges Klassifikationsschema verlässlich getroffen werden muss und Prompts das nicht stabil hinbekommen.
Für die häufigste Anforderung, nämlich „das Modell soll unsere Inhalte kennen“, ist Fine-Tuning der falsche Hebel. Wissen gehört in den Kontext, also RAG. Ein feingetuntes Modell lernt Form besser als Fakten, und es veraltet mit jedem neuen Dokument.
Dazu kommen die Kosten: Beispieldaten aufbereiten, trainieren, bewerten und das Ganze bei jedem Modellwechsel wiederholen. Das lohnt sich erst bei entsprechendem Volumen.
Verwandte Begriffe
- RAG
Passende Ausschnitte aus eigenen Dokumenten suchen und dem Modell als Kontext mitgeben, statt es aus dem Gedächtnis antworten zu lassen.
- Inferenz
Das Ausführen eines fertig trainierten Modells, also jede einzelne Anfrage.
- Open-Weight-Modell
Ein Modell, dessen Gewichte frei verfügbar sind, sodass es auf eigener Infrastruktur laufen kann.
In der Praxis üben
In der AI Masterclass kommt dieser Begriff nicht als Definition vor, sondern in einer Session, in der damit gearbeitet wird.