Zurück zum Glossar

ETL (Extract, Transform, Load): Datenintegration Schritt für Schritt erklärt

ETL steht für Extract, Transform, Load – einen dreistufigen Prozess der Datenintegration. Er überführt Rohdaten aus heterogenen Quellen in ein konsistentes Zielformat, das für Analytik und Machine Learning nutzbar ist. Typische Zielsysteme sind Data Warehouses oder Data Lakes. Wer Daten aus mehreren Systemen zusammenführen und für BI oder Compliance-Anforderungen aufbereiten muss, kommt an ETL kaum vorbei.

‍

Was ist ETL?

ETL beschreibt einen regelbasierten Integrationsprozess mit drei klar getrennten Schritten: Extrahieren, Transformieren und Laden. Ziel ist es, aus verteilten, uneinheitlichen Rohdaten einen konsistenten Datensatz aufzubauen. Dieser Datensatz bildet die Grundlage für nachgelagerte Analysen sowie für Machine-Learning-Workstreams.

Wie funktioniert ETL?

Schritt 1 – Extract (Extrahieren)

Relevante Daten werden aus den Quellsystemen in einen Staging-Bereich kopiert. Dieser Zwischenspeicher, auch Landing Zone genannt, nimmt die Rohdaten vor der weiteren Verarbeitung auf. Laut AWS ist der Staging-Bereich häufig temporär und kann nach erfolgreichem Abschluss bereinigt werden; bei Fehlerbehebung dient er aber auch als Archiv- oder Referenzbereich. Je nach Bedarf stehen drei Extraktionsmodi zur Verfügung: vollständige Extraktion (alle Daten neu laden), inkrementelle Extraktion (nur Änderungen eines bestimmten Zeitraums) sowie Aktualisierungsbenachrichtigungen.

Schritt 2 – Transform (Transformieren)

Die Transformation findet im Staging-Bereich statt. Grundlegende Schritte sind Datenbereinigung, Deduplizierung und die Zuordnung der Quelldaten in das Zielformat. Konkrete Beispiele: Entfernen fehlerhafter Einträge, Ersetzen leerer Felder mit definierten Werten, Vereinheitlichen von Zeichensätzen, Maßeinheiten oder Datumswerten (z. B. Umrechnung von kg in Pfund). Darüber hinaus gibt es komplexere Transformationstypen:

  • Ableitung: Berechnung neuer Werte aus vorhandenen Daten, z. B. Gewinn aus Einnahmen
    •  
  • Joining: Verknüpfung von Daten aus verschiedenen Quellen, z. B. Aggregation von Kosten über Anbieter
    •  
  • Splitting: Aufteilen von Attributen, z. B. Zerlegung von Vor- und Nachnamen
    •  
  • Summarization: Verdichtung vieler Werte, z. B. Zusammenführung von Rechnungswerten zu einem Customer Lifetime Value (CLV)

Transformationen nutzen häufig Business Rules, um BI- und Compliance-Anforderungen zu erfüllen. Je nach Governance-Vorgaben können auch Verschlüsselung und der Schutz sensibler Daten Teil dieses Schritts sein.

Schritt 3 – Load (Laden)

Die transformierten Daten werden vom Staging-Bereich in das Zielsystem überführt, typischerweise ein Data Warehouse. Laut AWS läuft dieser Schritt meist automatisiert und stapelorientiert ab. Beim initialen Laden werden alle Daten beim ersten Durchlauf übernommen. Beim inkrementellen Laden fließen nur Änderungen (Delta) seit der letzten erfolgreichen Abfrage ein – entweder als Streaming-Variante für zeitnahe Entscheidungen oder als Batch-Variante bei großen Datenmengen.

Vorteile von ETL

  • Bessere Datenqualität: Bereinigung und Validierung reduzieren Fehler im Datensatz.
    •  
  • Konsolidierte Sicht: Mehrere Datenbanken und Datentypen werden zu einer einheitlichen Datenbasis zusammengeführt.
    •  
  • Compliance-Unterstützung: Konsequente Validierung hilft, gesetzliche Standards einzuhalten.
    •  
  • Automatisierung: Wiederholbare Aufgaben wie Verschieben, Formatieren und Standardisieren von Daten laufen automatisiert ab und sparen Zeit.

Chancen und Risiken

ETL erfordert eine präzise Definition der Anforderungen zu Beginn des Projekts. Analytik-Ziele und das Zielschema müssen frühzeitig feststehen, da die Transformation auf diesen Vorgaben aufbaut. Das unterscheidet ETL vom verwandten Ansatz ELT (Extract, Load, Transform): Bei ELT werden Daten zunächst ins Zielsystem geladen und erst dort transformiert. Ein separater Staging-Bereich für die Transformation entfällt, weil die Umwandlung direkt in der Zieldatenbank stattfindet. Wer Anforderungen noch nicht vollständig kennt oder flexible Transformationen bevorzugt, sollte ELT in Betracht ziehen.

Fazit

ETL überführt Rohdaten aus heterogenen Quellen in drei klar definierten Schritten in ein konsistentes Zielformat. Die Trennung von Extrahieren, Transformieren im Staging-Bereich und Laden sowie der Einsatz definierter Business Rules sichern Datenqualität, Konsistenz und Compliance. Für Analytik- und Machine-Learning-Vorhaben bildet ein sauber aufgesetzter ETL-Prozess eine verlässliche Datenbasis.