Datenprofiling – Definition
Datenprofiling ist der Prozess der Analyse eines Datensatzes, um seine Struktur, Inhalte und Qualität vor der Verwendung oder Migration zu verstehen. Anstatt Daten zu korrigieren, liefert Profiling eine Diagnose: wie vollständig jedes Feld ist, welche Werte vorkommen und wie häufig, wo Formate inkonsistent sind, und wo Duplikate oder Anomalien existieren.
Was analysiert Profiling?
Typische Profiling-Prüfungen umfassen Vollständigkeit (welcher Prozentsatz der Datensätze einen Wert in jedem Feld hat), Wertverteilung (die Spanne und Häufigkeit von Werten, die Ausreißer wie einen Produktpreis von -40 offenlegt), Formatkonsistenz (Daten, die sowohl als 01.02.2025 als auch als 2025-02-01 gespeichert sind), Eindeutigkeit (Felder, die eindeutig sein sollten, wie SKUs, aber nicht sind), und Beziehungen (ob Verweise zwischen Datensätzen tatsächlich aufgelöst werden).
Warum ist das wichtig?
Profiling ist der wesentliche erste Schritt vor Datenmigration, Systemintegration oder jeder Datenqualitäts-Initiative. Migrationsprojekte scheitern am häufigsten, weil Probleme mit den Quelldaten erst während des Projekts entdeckt werden; Profiling bringt sie nach vorne, wenn sie am kostengünstigsten zu beheben sind. In MDM-Plattformen arbeiten Profiling- und Qualitätswerkzeuge zusammen, um Daten zu analysieren, zu bereinigen und zu standardisieren und verwandeln Ratereien in einen definierten Bereinigungsplan.
Wie unterscheidet es sich von Datenvalidierung?
Datenvalidierung setzt Regeln für Daten durch, wenn diese in ein System eingehen oder sich durch es bewegen, und lehnt Datensätze ab, die fehlschlagen. Profiling ist explorativ: es untersucht Daten, die bereits existieren, um ihren tatsächlichen Zustand offenzulegen. Die Ergebnisse von Profiling werden häufig verwendet, um die Validierungsregeln zu definieren, die verhindern, dass die gleichen Probleme erneut auftreten.
