Zurück zum Glossar

Transfer Learning: Definition, Funktionsweise und Anwendungsfälle

Transfer Learning bezeichnet eine Technik des maschinellen Lernens, bei der ein bereits trainiertes Modell als Ausgangspunkt für eine neue, verwandte Aufgabe dient. Statt ein Modell jedes Mal von Grund auf neu zu trainieren, wird bestehendes Wissen wiederverwendet. Das spart Trainingszeit, reduziert den Datenbedarf und senkt den Rechenaufwand erheblich. Besonders relevant ist das Verfahren dort, wo Trainingsdaten knapp oder teuer sind.

‍

Was ist Transfer Learning?

Transfer Learning – auf Deutsch auch „übertragendes Lernen" – beschreibt die Wiederverwendung eines vortrainierten Machine-Learning-Modells für eine neue Aufgabe. Das Modell bringt dabei bereits gelernte Muster und Repräsentationen mit, die auf die Zielaufgabe übertragen werden. Ein anschaulicher Vergleich aus der Praxis: Wer bereits ein Instrument beherrscht, lernt ein ähnliches schneller, weil frühere Erfahrungen das neue Lernen beschleunigen. Genau dieses Prinzip liegt Transfer Learning zugrunde.

Wie funktioniert Transfer Learning?

Neuronale Netze bestehen aus mehreren Schichten. Frühe Schichten erfassen dabei häufig allgemeine Merkmale – etwa Kanten in Bildern oder grundlegende Sprachstrukturen. Spätere Schichten sind stärker auf die jeweilige Aufgabe zugeschnitten.

Beim Transfer Learning werden die frühen, allgemeinen Schichten beibehalten. Die aufgabenspezifischen Schichten werden für die neue Zielaufgabe angepasst. Alternativ lässt sich das vortrainierte Modell als Feature-Extraktor einsetzen: Es erzeugt zunächst aussagekräftige Repräsentationen, auf deren Basis anschließend nur bestimmte Teile weiter trainiert werden.

Drei verwandte Konzepte sind dabei zentral:

  • Multi-Task-Learning: Gemeinsame frühe Schichten werden für mehrere Aufgaben genutzt; spätere Schichten decken die jeweiligen Aufgabenspezifika ab.
    •  
  • Feature Extraction: Ein vortrainiertes Modell erzeugt allgemeine, wiederverwendbare Merkmale für eine neue Aufgabe.
    •  
  • Fine-Tuning: Das vortrainierte Modell wird zusätzlich auf einem domänenspezifischen Datensatz weiter trainiert – eine weitergehende Form des Transfer Learnings.

Vorteile von Transfer Learning

  • Kürzere Trainingszeit: Ein Training „from scratch" entfällt, da das Modell auf bestehenden Parametern aufbaut.
    •  
  • Geringerer Datenbedarf: Selbst bei wenigen verfügbaren Daten für die Zielaufgabe kann das Modell durch vorhandenes Wissen effektiv lernen.
    •  
  • Niedrigere Kosten: Das Neuaufsetzen eines Modells inklusive Datenbeschaffung und Rechenaufwand ist deutlich aufwendiger.
    •  
  • Bessere Modellleistung: Transfer Learning kann die Leistung verbessern und das Risiko von Overfitting reduzieren, wenn die Zielaufgabe nur begrenzte Trainingsdaten bietet.

Praxisbeispiele und Anwendungsfälle

Computer Vision: Vortrainierte Netzwerke erfassen in frühen Schichten allgemeine Bildstrukturen wie Kanten. Spätere Schichten werden auf die spezifische Aufgabe spezialisiert. Typischerweise bleiben frühe und mittlere Schichten unverändert; nur die finalen Schichten werden angepasst. Bekannte Modellfamilien sind VGG für Bildklassifikation und YOLO für Objekterkennung.

Natural Language Processing (NLP): Vortrainierte Sprachmodelle lernen zunächst eine allgemeine Sprach- und Bedeutungsrepräsentation. Anschließend werden sie für konkrete Aufgaben feinjustiert. Anwendungen umfassen Textklassifikation, Sprachübersetzung, Sprachassistenten und Spracherkennung. Als Beispiele werden BERT – unter anderem für Textklassifikation, Übersetzung und Sprachmodellierung – sowie GPT genannt.

Worauf du achten solltest

Fine-Tuning kommt dann zum Einsatz, wenn Ausgangs- und Zielaufgabe nicht eng genug verwandt sind, um allein mit Feature Extraction oder dem Einfrieren bestimmter Schichten zu arbeiten. Zu starkes Fine-Tuning kann jedoch zu Overfitting führen. Herausforderungen entstehen außerdem, wenn die Domänen sehr unterschiedlich sind oder die verfügbaren Trainingsdaten extrem knapp oder von schlechter Qualität sind. Entscheidend ist daher die inhaltliche Verwandtschaft zwischen Ausgangs- und Zielaufgabe sowie die Wahl einer passenden Strategie.

Fazit

Transfer Learning macht bestehendes Wissen aus vortrainierten Modellen für neue, verwandte Aufgaben nutzbar. Die Wiederverwendung allgemeiner Schichten und Repräsentationen senkt Trainingszeit, Datenbedarf und Kosten. Ob Feature Extraction oder Fine-Tuning die richtige Strategie ist, hängt davon ab, wie nah sich Ausgangs- und Zielaufgabe inhaltlich sind.