Die Definition von Datentransformation

Daten sind in einem immer größeren Umfang verfügbar und bieten Unternehmen die Möglichkeit, bessere Entscheidungen zu treffen und erfolgreicher zu agieren. Aber wie können Sie all die wertvollen Erkenntnisse zu Ihrem Geschäft, Ihren Kunden und Wettbewerbern aus Ihren Daten extrahieren und für alle Mitarbeiter verfügbar machen? Ganz einfach: Mithilfe der Datentransformation.

Die Definition von Datentransformation

Bei der Datentransformation geht es um die Konvertierung von Daten in verschiedene Formate. In der Regel wird dabei das Datenformat des Ursprungssystems in das des Zielsystems umgewandelt. Datentransformation ist eine Komponente der meisten Datenintegrations- und Datenverwaltungsaufgaben, wie Data Wrangling und Data Warehousing.

Als Teil des ELT-/ETL-Prozesses kann die Datentransformation „einfach“ oder „komplex“ sein, – je nachdem welche Änderungen an den Daten vorzunehmen sind, bevor sie ins Zielsystem überführt werden können. Der Datentransformationsprozess selbst erfolgt manuell, automatisiert oder mittels einer Kombination aus beidem.

Im Zeitalter von Big Data ist Datentransformation für Unternehmen wichtiger als je zuvor. Immer mehr Programme, Anwendungen und Geräte produzieren konstant enorme Datenmengen. Da diese Daten aus den unterschiedlichsten Quellen stammen, ist Datenkompatibilität dabei eher die Ausnahme als die Regel. Hier kann der Datentransformationsprozess Abhilfe schaffen: Er bietet Unternehmen die Möglichkeit, Daten aus beliebigen Quellen in ein Format umzuwandeln, das sich integrieren, speichern, analysieren und letztlich zur Gewinnung praxisrelevanter Business Intelligence-Erkenntnisse nutzen lässt.

So funktioniert Datentransformation.

Ziel des Datentransformationsprozesses ist es, Daten aus einer Quelle zu extrahieren, sie in ein nutzbares Format umzuwandeln und sie am Zielort verfügbar zu machen. Den gesamten Prozess bezeichnet man als ETL (Extract, Transform, Load). Während der Extraktion werden die Daten identifiziert, aus verschiedenen isolierten Quellen entnommen und an einem zentralen Speicherort integriert.

Gleich nach ihrer Extraktion aus einer Quelle befinden sich Daten oft noch im „Rohzustand“ und lassen sich in diesem nicht nutzen. Um dieses Hindernis zu überwinden, müssen die Daten transformiert werden. Das ist der Schritt im ETL-Prozess, der den Mehrwert Ihrer Daten am meisten steigert, da sie anschließend genutzt werden können, um mittels Data-Mining Business Intelligence-Erkenntnisse zu generieren. Während der Transformation werden verschiedene Schritte ausgeführt, um die Daten ins Zielformat zu konvertieren. In manchen Fällen müssen die Daten vor der Transformation zudem bereinigt werden. Bei der Datenbereinigung werden die Daten für die Transformation aufbereitet, indem fehlende Werte ergänzt und Konsistenzprobleme gelöst werden. Nach Bereinigung der Daten folgen diese Transformationsschritte:

1. Data Discovery. Im ersten Schritt des Datentransformationsprozesses werden die gesuchten Daten im Ursprungsformat identifiziert und verifiziert. Dazu wird in der Regel ein Data-Profiling-Tool verwendet. Dieser Schritt dient dazu, die Maßnahmen zu bestimmen, die erforderlich sind, um die Daten ins Zielformat zu konvertieren.
2. Daten-Mapping. In dieser Phase wird der eigentliche Transformationsprozess geplant.
3. Codegenerierung. Um den Transformationsprozess abschließen zu können, muss ein Code erstellt werden, der den Transformationsjob ausführt. Dieser wird oft mithilfe eines Tools oder einer Plattform für die Datentransformation generiert.
4. Ausführung des Codes. Nach erfolgter Planung und Codierung des Datentransformationsprozesses wird dieser nun ausgelöst, wobei die Daten ins Zielformat überführt werden.
5. Prüfung. Anschließend werden die transformierten Daten geprüft, um sicherzustellen, dass die Formatierung korrekt ist.

Zusätzlich zu diesen grundlegenden Schritten kann der Prozess auch individuelle Maßnahmen umfassen, wie zum Beispiel:

• Filterung (es werden beispielsweise nur bestimmte Spalten ausgewählt).
• Anreicherung (zum Beispiel durch Hinzufügen von Vornamen, Adressdaten, etc.).
• Aufteilen einer Spalte in mehrere Einheiten oder umgekehrt
• Integration von Daten aus verschiedenen Quellen
• Entfernen von Datendubletten

Nach Abschluss der Transformation können die Daten ins Zielsystem geladen werden und sind einsatzbereit.

Abschließend ist es wichtig anzumerken, dass nicht immer alle Daten transformiert werden müssen. Manchmal liegen im Ursprungssystem auch Daten in einem nutzbaren Format vor. Diese bezeichnet man als „Direct Move-“ oder „Pass-Through-Daten“.

Die Vorteile der Datentransformation

Ob es um Informationen zum Kundenverhalten geht, zu internen Prozessen, der Lieferkette oder dem Wetter – Unternehmen und Organisationen sind sich heute einig, dass Daten das Potenzial haben, ihre Effizienz und ihren geschäftlichen Erfolg zu steigern. Die Herausforderung liegt darin, alle gesammelten Daten wirklich nutzbar zu machen. Mithilfe eines Datentransformationsprozesses können Unternehmen aus ihren Daten enorme Vorteile ziehen:

• Maximale Wertschöpfung aus Daten: Forrester meldet, dass zwischen 60 & und 73 % aller Daten niemals für Business-Intelligence-Zwecke analysiert werden. Datentransformationstools bieten Unternehmen die Möglichkeit, ihre Daten zu standardisieren. So lässt sich der Datenzugriff vereinfachen und die Nutzbarkeit verbessern.
• Effizientere Datenverwaltung: Da Daten heute aus den unterschiedlichsten Quellen stammen können, sind inkonsistente Metadaten die Regel. Das erschwert die Strukturierung und Zuordnung der Daten. Datentransformation optimiert die Metadaten und macht den Inhalt der Datensätze nachvollziehbar. So lassen sich selbst massive Datenbestände einfach strukturieren.
• Schnellere Abfragen: Transformierte Daten sind standardisiert und werden an einem zentralen Speicherort vorgehalten, an dem man schnell und einfach auf sie zugreifen kann.
• Bessere Datenqualität: Versucht man, mithilfe minderwertiger Daten Business Intelligence-Erkenntnisse zu generieren, ist das gleichermaßen teuer und riskant. Aus diesem Grund wird Datenqualität für viele Unternehmen zu einem immer kritischeren Thema. Datentransformation kann helfen, Qualitätsprobleme wie Inkonsistenzen und fehlende Werte zu eliminieren.

Datentransformation in der Praxis

Unternehmen aller Branchen benötigen heute Lösungen für die Datentransformation. Ganz gleich, ob ein E-Commerce-Unternehmen in Hunderten von Ländern Millionen von Transaktionen verwalten muss oder ob eine gemeinnützige Organisation Spenderdaten aus unterschiedlichen Quellen integrieren möchte – Datentransformationstools beseitigen Produktivitätshürden und ermöglichen tiefe Einblicke in die Daten der Organisation.

• RingCentral bietet cloudbasierte Telekommunikations-, Messaging- und Collaboration-Lösungen für kleine und mittlere Unternehmen. Da das Unternehmen über 100 verschiedene Systeme betreibt, ist die Optimierung und Standardisierung der Datenprozesse für RingCentral erfolgsentscheidend. Mithilfe einer Datenintegrationslösung einschließlich ETL konnte RingCentral zentrale HR-Prozesse automatisieren und damit den Verwaltungsaufwand reduzieren. So haben die Mitarbeiter wieder mehr Zeit für strategische Aufgaben.
• Die gemeinnützige Organisation Save the Children UK schützt und rettet Leben, indem sie Vorkehrungen für Naturkatastrophen und humanitäre Krisen trifft und in solchen Notfällen auch direkte Hilfe leistet. Um ihre Aufgaben erfüllen zu können, muss die Organisation gewaltige Datenmengen effizient verwalten können – Angaben zu Spendern und Freiwilligen ebenso, wie Daten zu Compliance-Initiativen. Mithilfe einer Plattform für die Datenverwaltung kann Save the Children Daten aus zahlreichen CRM-Quellen integrieren und so einheitliche Datenbanken schaffen, die einen schnellen Zugriff auf die benötigten Informationen ermöglichen.
• Als ein globales Technologie- und Produktionsunternehmen setzt Johnson Controls weltweit rund 200 ERP- und CRM-Systeme ein, um die operativen Abläufe zu steuern. Mit 120.000 Mitarbeitern sowie Kunden in über 150 Ländern ist ein schneller Zugriff auf relevante Daten dabei ein absolutes Muss. Johnson Controls nutzt eine umfassende Datenverwaltungsplattform, um Datenprozesse im gesamten Unternehmen zu optimieren und zu konsolidieren.

Datentransformationstools

Es mag zwar verlockend sein, Datentransformationsfunktionen per Handcodierung zu erstellen; oft sind aber entsprechende Tools oder Plattformen unter Kosten- und Effizienzaspekten die bessere Wahl. Zudem gilt es zu bedenken, dass bei der manuellen Codierung das Fehlerrisiko steigt und die Codierung sich nicht einfach replizieren lässt. So muss Code oft jedes Mal neu geschrieben werden, wenn ein bestimmter Prozess zum Einsatz kommt. Das führt dazu, dass die Kosten für Handcodierung meist deutlich höher ausfallen als die Kosten für die Implementierung eines ETL-Tools.

ETL-Tools bieten aber nicht nur Kostenvorteile. Sie können auch Datenflüsse visualisieren und einfacher nachvollziehbar machen. Zudem umfassen ETL-Tools oft Parallelisierungs-, Überwachungs- und Failover-Features. Im Endeffekt behindert individuell erstellter Code die Skalierbarkeit und bremst Innovationen, da es schwer ist Fachkräfte zu finden, die sich mit individuell codierten Integrationen auskennen. So werden anfänglich durch manuelle Codierung erzielte Einsparungen in aller Regel durch die stark steigenden Wartungskosten und die Unfähigkeit, die Lösung zu skalieren, wieder zunichte gemacht.

Bei der Abwägung diverser Optionen für die Datentransformation sollte man nicht außer Acht lassen, dass die hybriden Datenverarbeitungsumgebungen von heute deutlich komplexer sind als herkömmliche Infrastrukturen. So werden heute konventionelle Server mit Big Data-Analyseplattformen verbunden und Daten werden vor Ort ebenso vorgehalten, wie in der Cloud. Zudem nutzen Unternehmen für die Verwaltung vieler Datenressourcen in zunehmendem Maße „As-a-Service“-Angebote. ETL-Tools verfügen oft über die nötigen Konnektoren, um die Daten aus diesen verschiedenen Quellen zu migrieren.

Abschließend sei angemerkt, dass ETL-Tools darauf abzielen, jede einzelne Phase des ETL-Prozesses zu optimieren, wodurch sich Rohdaten wesentlich schneller in wertvolle Erkenntnisse verwandeln lassen.

Auf die Plätze, fertig, transformieren!

Datentransformation bietet Unternehmen die Möglichkeit, Daten, die an verschiedenen Orten und in unterschiedlichen Formaten vorliegen, in geschäftsrelevante Erkenntnisse zu verwandeln. Um dies zu erreichen, werden die Prozesse optimiert, die all diese unterschiedlichen Datenarten verfeinern, standardisieren und konsolidieren.

Talend Open Studio for Data Integration bietet eine zentrale Plattform für das Extrahieren, Transformieren und Laden Ihrer Daten, und zwar unabhängig von Format oder Speicherort. Grafische Drag-and-Drop-Tools sowie verschiedene Komponenten und Konnektoren stellen sicher, dass Sie Ihre ETL-/ELT-Jobs schnell und einfach umsetzen können. Jetzt herunterladen.