Definizione di Data Profiling
Data profiling è il processo di analisi di un dataset per comprenderne la struttura, il contenuto e la qualità prima di utilizzarlo o trasferirlo. Piuttosto che correggere i dati, il profiling produce una diagnosi: quanto è completo ogni campo, quali valori si verificano e con quale frequenza, dove i formati sono incoerenti e dove esistono duplicati o anomalie.
Cosa analizza il profiling?
I controlli di profiling tipici includono completezza (quale percentuale di record contiene un valore in ogni campo), distribuzione dei valori (l'intervallo e la frequenza dei valori, che espone anomalie come un prezzo di prodotto negativo), coerenza del formato (date archiviate sia come 01/02/2025 che come 2025-02-01), unicità (campi che dovrebbero essere univoci, come gli SKU, ma non lo sono), e relazioni (se i riferimenti tra record si risolvono effettivamente).
Perché è importante?
Il profiling è il passaggio essenziale prima della migrazione dei dati, dell'integrazione di sistemi o di qualsiasi iniziativa di qualità dei dati. I progetti di migrazione falliscono più spesso perché i problemi dei dati di origine vengono scoperti durante il progetto; il profiling li evidenzia in anticipo, quando il costo della correzione è minore. Nelle piattaforme MDM, gli strumenti di profiling e qualità lavorano insieme per analizzare, bonificare e standardizzare i dati, trasformando le supposizioni in un piano di pulizia definito.
Come differisce dalla convalida dei dati?
La convalida dei dati applica regole ai dati mentre entrano o si spostano attraverso un sistema, rifiutando i record che non superano i controlli. Il profiling è esplorativo: esamina i dati già esistenti per rivelare il loro stato effettivo. I risultati del profiling sono frequentemente utilizzati per definire le regole di convalida che prevengono il ripetersi degli stessi problemi.
