Definizione di Associazione Probabilistica
L'associazione probabilistica è un metodo per identificare record che probabilmente si riferiscono alla stessa persona, organizzazione o elemento nel mondo reale, confrontando più campi contemporaneamente e calcolando un punteggio che indica la probabilità di una corrispondenza. Invece di richiedere che i valori siano identici, valuta quanto strettamente ciascun campo coincide e quanto significativa sia quella coincidenza, consentendo di trovare corrispondenze nonostante errori di digitazione, valori mancanti o ortografie diverse.
Come funziona l'associazione probabilistica?
Il processo segue solitamente quattro fasi:
- Confrontare i campi: due record vengono confrontati campo per campo, ad esempio nome, indirizzo, data di nascita e numero di telefono. I confronti spesso consentono piccole differenze, quindi "Jon Smith" e "John Smith" possono comunque contare come simili.
- Applicare pesi: a ciascun campo viene assegnato un peso in base a quanto fortemente la coincidenza suggerisce una corrispondenza. La coincidenza su un cognome raro conta più della coincidenza su uno comune, e un codice fiscale corrispondente conta più di una città corrispondente.
- Calcolare un punteggio: i pesi vengono combinati in un unico punteggio di corrispondenza per la coppia di record.
- Ordinare per soglie: le coppie al di sopra di una soglia superiore vengono trattate come corrispondenze, le coppie al di sotto di una soglia inferiore come non-corrispondenze, e le coppie nel mezzo vengono contrassegnate per la revisione umana.
Una volta confermate le corrispondenze, i record vengono solitamente combinati in una singola versione attendibile, spesso chiamata disco d'oro.
In che modo differisce dall'associazione deterministica?
L'associazione deterministica utilizza regole fisse: i record corrispondono solo se campi specifici sono esattamente uguali, come lo stesso indirizzo email o lo stesso ID cliente. È semplice, veloce e facile da spiegare, ma perde corrispondenze ogni volta che i dati vengono inseriti in modo incoerente.
L'associazione probabilistica scambia parte di questa semplicità con la flessibilità. Può riconoscere che "Acme Corp., 12 Main St." e "ACME Corporation, 12 Main Street" sono probabilmente la stessa azienda, mentre le regole esatte le tratterebbe come diverse. Molte organizzazioni utilizzano entrambe: regole deterministiche per i casi chiari e associazione probabilistica per tutto il resto.
Quali sono i rischi e i compromessi?
- Falsi positivi: due persone o aziende diverse possono essere unite per errore se le soglie sono impostate troppo basse, il che può essere difficile da annullare.
- Corrispondenze mancate: le soglie impostate troppo alte lasciano i duplicati in posizione.
- Sforzo di ottimizzazione: i pesi e le soglie devono essere testati e regolati per ciascun set di dati, e rivisti quando i dati cambiano.
- Carico di lavoro di revisione: il gruppo di "possibile corrispondenza" richiede che persone prendano decisioni, e un gruppo numeroso può creare un arretrato.
Dove viene utilizzata l'associazione probabilistica?
Viene utilizzata ovunque la stessa entità appaia in più sistemi o set di dati senza un identificatore condiviso. Gli esempi comuni includono il consolidamento dei record clienti nella gestione dei dati master (MDM), l'associazione dei record pazienti tra ospedali, il collegamento dei record fornitori dopo una fusione aziendale e l'eliminazione dei duplicati prima di una migrazione dei dati. È una delle tecniche fondamentali dietro match and merge.