Fine-Tuning

Definition

Fine-Tuning bezeichnet den Prozess, bei dem ein bereits vortrainiertes Large Language Model (LLM) mit einem spezifischen, kleineren Datensatz nachtrainiert wird, um es für bestimmte Aufgaben, Domänen oder Verhaltensweisen zu spezialisieren. Durch Fine-Tuning wird ein Allzweck-Modell zu einem Spezialisten, ohne dass das gesamte Training von Grund auf wiederholt werden muss.

Kontext

Das Training eines LLM erfolgt typischerweise in mehreren Phasen. Im Pre-Training lernt das Modell auf riesigen Textmengen allgemeines Sprachwissen. Beim Fine-Tuning wird dieses Basiswissen anschließend gezielt angepasst. Dieser zweistufige Ansatz ist deutlich effizienter als ein vollständiges Neutraining.

Gängige Fine-Tuning-Verfahren:

• Supervised Fine-Tuning (SFT): Training mit Beispielpaaren aus Eingabe und gewünschter Ausgabe
• Instruction Tuning: Anpassung an spezifische Anweisungsformate und Nutzerdialoge
• RLHF (Reinforcement Learning from Human Feedback): Optimierung anhand menschlicher Bewertungen, wie bei ChatGPT eingesetzt
• LoRA / QLoRA: Ressourcenschonende Verfahren, die nur einen kleinen Teil der Modellparameter anpassen
• Domain-spezifisches Fine-Tuning: Spezialisierung auf Fachgebiete wie Medizin, Recht oder Technik

ChatGPT ist ein prominentes Beispiel: Das Basismodell GPT wurde durch Fine-Tuning und RLHF zu einem dialogfähigen Assistenten spezialisiert.

Praktische Relevanz

Für die GEO-Optimierung ist das Verständnis von Fine-Tuning relevant, weil es erklärt, wie KI-Modelle ihr Wissen über Marken und Themen formen. Inhalte, die während des Pre-Trainings oder Fine-Tunings eines Modells verarbeitet wurden, können das Antwortverhalten dauerhaft beeinflussen. Anders als bei RAG, wo Inhalte in Echtzeit abgerufen werden, wird beim Fine-Tuning Wissen direkt in die Modellgewichte eingebettet. Wer versteht, wie Fine-Tuning funktioniert, kann besser einschätzen, warum KI-Systeme bestimmte Marken oder Quellen bevorzugen.