La plupart des entreprises savent déjà qu'elles ont un problème de données. Les rapports se contredisent. Le même client apparaît sous trois noms différents dans quatre systèmes. Quelqu'un à l'approvisionnement travaille à partir d'une liste de fournisseurs qui n'a pas été mise à jour depuis deux ans. Personne n'est vraiment sûr de quelle version du catalogue produits est la version actuelle.
Ce ne sont pas des cas exceptionnels. Ce sont les conditions de fonctionnement normales pour un fabricant ou un distributeur de taille moyenne qui utilise un ensemble standard de systèmes ERP, CRM, e-commerce et gestion des données produits qui n'ont jamais été conçus pour partager un modèle de données commun. Chaque système a été implémenté pour un objectif spécifique, chacun a sa propre façon de représenter les mêmes entités, et les maintenir synchronisés a toujours été un processus manuel sujet aux erreurs.
Les outils censés corriger ce problème s'appellent les outils de gouvernance des données. Mais le terme couvre une large gamme de logiciels, et les catégories se chevauchent rapidement. Cet article explique ce que ces outils font réellement, quelles fonctionnalités sont importantes pour les fabricants et les distributeurs, et comment la gestion des données maîtresses et l'intégration système s'intègrent dans ce contexte.
Ce que les outils de gouvernance des données font réellement
La gouvernance des données est la pratique consistant à gérer la disponibilité, l'utilisabilité, l'intégrité et la sécurité des données de votre organisation. Les outils de cette catégorie fournissent l'infrastructure technique pour appliquer les politiques, suivre la traçabilité des données, mesurer la qualité des données, contrôler l'accès et maintenir la cohérence des données entre les systèmes.
Le besoin est réel. Selon Gartner, la mauvaise qualité des données coûte aux organisations au minimum 12,9 millions de dollars par an en moyenne. Ce chiffre ne comprend pas les conséquences en aval : mauvaises décisions d'achat, défaillances de conformité, lancements de produits retardés, ou systèmes ERP et e-commerce fonctionnant avec des données désynchronisées.
Les outils de gouvernance des données ne résolvront pas tous ces problèmes seuls. Mais ils fournissent les mécanismes pour détecter les problèmes tôt, assigner la responsabilité, et réduire le taux auquel les mauvaises données se propagent dans une organisation.
Cadres, rôles et maturité
La gouvernance des données n'existe pas à travers les outils seuls. Les outils mettent en œuvre les règles, mais quelqu'un doit les définir, les posséder et les appliquer quand elles sont violées.
La plupart des programmes de gouvernance matures sont construits autour de trois rôles. Le propriétaire des données est une partie prenante métier (pas une personne IT) qui est responsable de la qualité et de l'utilisation des données dans un domaine spécifique. Le gestionnaire des données fait le travail quotidien : examiner les enregistrements, résoudre les problèmes de qualité, appliquer les règles de classification et maintenir le glossaire métier. Le dépositaire des données gère le côté technique : stockage, contrôles d'accès et infrastructure. Sans ces rôles définis et occupés par de véritables personnes avec une véritable responsabilité, les outils de gouvernance deviennent des tableaux de bord de rapports sur lesquels personne n'agit.
Le cadre de référence du secteur pour la gestion des données est DAMA-DMBOK (Data Management Body of Knowledge), qui organise la gouvernance des données dans onze domaines de connaissances, notamment la qualité des données, les métadonnées, les données maîtresses et l'intégration des données. Ce n'est pas une méthodologie prescriptive mais une carte utile pour identifier les lacunes de votre programme. La plupart des entreprises mettant en place la gouvernance pour la première fois constatent qu'elles sont raisonnablement couvertes dans un ou deux domaines et n'ont pratiquement rien en place pour les autres.
La maturité de la gouvernance suit un arc prévisible. Les organisations commencent généralement à un niveau ad hoc, où la qualité des données est gérée de manière réactive et aucune propriété formelle n'existe. Elles progressent à travers des politiques définies, puis l'application systématique, et finissent par atteindre un état où la gouvernance est proactive : les problèmes sont détectés avant qu'ils ne atteignent les systèmes de production, et la qualité des données est mesurée en continu. La plupart des fabricants et distributeurs de taille moyenne sont quelque part au milieu de cet arc, avec des politiques qui existent mais sont appliquées de manière incohérente et des outils qui surveillent plutôt que de prévenir.
Les fonctionnalités essentielles
Tous les outils de cet espace ne couvrent pas le même terrain. Voici à quoi ressemblent les principales catégories de fonctionnalités en pratique.
La gestion de la qualité des données est la couche la plus fondamentale. Elle couvre le profilage (comprendre à quoi ressemblent réellement vos données), la validation (vérifier les enregistrements par rapport à des règles définies), la déduplication et les contrôles de complétude. Sans cela, la gouvernance reste théorique. Vous pouvez définir toutes les politiques que vous voulez, mais s'il n'y a aucun mécanisme automatisé pour détecter qu'un enregistrement de produit manque un attribut requis ou qu'un fournisseur apparaît deux fois avec des noms légèrement différents, ces politiques ne seront pas appliquées de manière cohérente.
Les outils de gestion des métadonnées et catalogue de données vous donnent un inventaire consultable de vos actifs de données : ce qui existe, où il se trouve, qui le possède et ce qu'il signifie. Dans les grandes organisations, cela seul économise un temps important quand les équipes essaient de localiser et de faire confiance à un ensemble de données avant de l'utiliser. Le catalogue rend également possible de définir des glossaires métier, afin que « client » dans le département financier signifie la même chose que « client » dans le système de vente.
La traçabilité des données suit comment les données se déplacent et se transforment entre les systèmes. Quand un calcul dans un rapport financier s'avère être faux, la traçabilité vous permet de retracer le problème à sa source plutôt que de passer des jours à enquêter manuellement. Pour les secteurs réglementés, la documentation de traçabilité est une exigence de conformité dans le cadre de réglementations comme le RGPD et BCBS 239. Mais la traçabilité est aussi opérationnellement utile pour les entreprises qui ne sont pas dans les secteurs réglementés : si vous avez besoin de modifier la façon dont un attribut produit est calculé dans votre ERP, la traçabilité vous indique tous les systèmes en aval qui seront affectés avant de faire le changement, pas après.
Les outils catalogue de données autonomes (Collibra, Alation, Microsoft Purview sont les plus largement déployés) se concentrent principalement sur la gestion des métadonnées, la traçabilité et la gestion des glossaires. Ils sont forts pour rendre les données découvrables et documentées. Ce qu'ils ne couvrent pas, c'est la couche de données maîtresses elle-même ou l'infrastructure d'intégration. Pour les entreprises qui ont déjà un système MDM propre et bien gouverné et qui ont besoin d'ajouter la découvrabilité et la traçabilité par-dessus, un outil catalogue a du sens. Pour les entreprises qui ont encore des données maîtresses fragmentées et une mauvaise intégration, un catalogue est le mauvais point de départ.
Le contrôle d'accès et l'application des politiques garantissent que les bonnes personnes peuvent voir les bonnes données et que les politiques sont appliquées de manière cohérente, pas seulement documentées quelque part dans une feuille de calcul. L'accès basé sur les rôles, le masquage des données pour les champs sensibles et la journalisation d'audit relèvent tous de cette catégorie.
Les outils de flux de travail et de gouvernance gèrent le côté humain : qui examine un enregistrement, qui approuve une modification, qui est notifié quand un seuil est dépassé. C'est particulièrement important dans les entreprises où les responsabilités concernant les données traversent les départements. Un fabricant dont les données produits sont possédées en partie par l'ingénierie et en partie par le marketing a besoin d'un processus structuré pour résoudre les conflits, pas seulement de bonnes intentions.
La plupart des outils de gouvernance d'entreprise couvrent plusieurs de ces domaines. La question est de savoir quelles fonctionnalités comptent le plus pour votre contexte et si l'outil est construit pour gérer les volumes de données et la complexité structurelle que vous avez réellement.
Où la gouvernance des données et le MDM se chevauchent
La gestion des données maîtresses (MDM) et la gouvernance des données sont liées mais ne sont pas la même chose.
La gouvernance des données définit les politiques et les processus : qui peut créer un nouvel enregistrement de fournisseur, quels champs sont requis et qui doit approuver une modification avant qu'elle soit publiée aux systèmes connectés. Le MDM fournit le référentiel central et géré où vivent vos données partagées les plus critiques : clients, fournisseurs, produits, matériaux et emplacements. Gouverner les politiques sans avoir une couche de données maîtresses propres, c'est appliquer les règles contre des entrées fragmentées et incohérentes. Construire un système MDM sans gouvernance, et les données se dégraderont avec le temps parce qu'il n'y a aucun processus systématique pour les maintenir.
Dans les projets que nous avons mis en œuvre pour les fabricants et les distributeurs, les deux problèmes sont presque toujours présents ensemble. Les politiques de gouvernance existent sur papier, mais les données maîtresses sont dispersées dans un ERP, une base de données de produits hérités et plusieurs feuilles de calcul que quelqu'un met à jour manuellement. L'application est impossible parce qu'il n'y a aucun endroit unique où le dossier autoritaire se trouve.
Une plate-forme MDM appropriée sert de source unique de vérité. Elle centralise les données entre les domaines, applique les règles de validation, gère les relations entre les entités et maintient un historique des modifications. Les outils de gouvernance peuvent alors fonctionner contre une fondation propre et cohérente plutôt que d'essayer de réconcilier les sources contradictoires après coup.
La portée des données maîtresses varie selon l'entreprise. Pour un fabricant, les domaines critiques sont généralement les produits, les matériaux et les fournisseurs. Pour un distributeur, les clients et les tarifs sont généralement ajoutés à cette liste. La plate-forme MDM doit gérer tous ces domaines avec des contrôles de gouvernance cohérents, pas seulement le domaine pour lequel le logiciel a été originalement conçu.
La gestion des données de référence est une discipline liée mais distincte qui est souvent intégrée au MDM. Les données de référence couvrent les listes de classification, les tables de codes et les valeurs de recherche sur lesquelles les autres données dépendent : codes pays, codes d'unité de mesure, catégories de produits et valeurs de statut. Quand ces listes sont incohérentes entre les systèmes (un système utilise « EA » pour chacun, un autre utilise « PCS »), chaque intégration qui les mappe introduit une erreur potentielle. Centraliser les données de référence dans le hub MDM et les distribuer de manière cohérente aux systèmes connectés élimine toute une classe de problèmes de qualité des données que la plupart des programmes de gouvernance oublient.
Intégration système : la pièce manquante dans la plupart des implémentations
La gouvernance des données s'effondre au niveau de l'intégration. Une entreprise peut avoir d'excellentes politiques, un système MDM bien entretenu et des données maîtresses propres, et constater quand même que l'ERP est trois jours en retard sur la base de données des produits, la plate-forme e-commerce fonctionne avec la liste de prix du mois dernier, et les données clients dans le CRM ne correspondent pas à ce qui se trouve dans le système de facturation.
C'est parce que la plupart des cadres de gouvernance traitent l'intégration comme le problème de quelqu'un d'autre. L'équipe de gouvernance définit les règles. L'équipe IT gère les intégrations. Il y a rarement une vision partagée de ce qui se passe quand une modification du système MDM doit se propager à six systèmes connectés dans le bon ordre sans perte de données ou erreurs de transformation.
Une plate-forme d'intégration système comble cette lacune. Elle connecte le hub MDM à chaque système externe, automatise l'échange de données bidirectionnel, et garantit qu'une modification apportée à un enregistrement de fournisseur se propage à chaque système qui en dépend sans intervention manuelle. Sans cette couche, la gouvernance est réactive : vous détectez les erreurs après qu'elles se soient déjà propagées. Avec elle, la gouvernance devient préventive.
Les exigences pratiques pour cette couche d'intégration ne sont pas compliquées en concept, mais difficiles à implémenter correctement :
- Support des protocoles standards (REST API, SOAP, EDI, formats de fichiers plats)
- Mappage configurable entre différents schémas de données
- Synchronisation programmée et pilotée par événements
- Journalisation des erreurs et alertes quand une synchronisation échoue
- La capacité à gérer des volumes de données élevés sans dégradation des performances
Pour les fabricants gérant des dizaines de milliers de SKU entre ERP, e-commerce et portails de distributeurs, ce ne sont pas des fonctionnalités optionnelles. C'est la différence entre un programme de gouvernance qui fonctionne et un qui nécessite une correction manuelle constante.
Ce qu'il faut rechercher lors de l'évaluation des outils
Le marché des outils de gouvernance des données comprend tout, des produits catalogue de données autonomes aux plates-formes complètes qui combinent MDM, gouvernance, traçabilité et intégration dans un seul système. Le choix dépend de votre plus grande douleur et de la façon dont votre architecture est structurée.
Quelques éléments à évaluer honnêtement avant de sélectionner un outil :
- Flexibilité du modèle de données. Vos structures de données ne sont probablement pas standard. Les fournisseurs ont des attributs différents des clients. Les produits dans la catégorie des composants électriques ont des exigences de classification différentes des produits en matériaux de construction. Une plate-forme de gouvernance qui vous force dans un schéma fixe créera plus de contournements qu'elle ne résout. C'est l'une des plaintes les plus courantes que nous entendons de la part d'entreprises qui migrent loin de leur premier outil de gouvernance.
- Profondeur d'intégration. Vérifiez si l'outil peut se connecter à vos systèmes réels, pas seulement aux populaires. De nombreuses plates-formes listent Salesforce et SAP comme des intégrations, mais ont un support limité pour tout ce qui sort de cette liste.
- Configurabilité sans code personnalisé. D'après notre expérience, les entreprises qui doivent faire appel au fournisseur chaque fois qu'elles ont besoin d'une nouvelle règle de données ou d'un flux de travail finissent par abandonner le programme de gouvernance dans les 18 mois. La capacité de configurer vous-même les règles, les validations et les flux de travail compte.
- Flexibilité de déploiement. On-premise, cloud ou hybride. Certains secteurs et tailles d'entreprise ont de véritables contraintes ici que les préférences des fournisseurs ne peuvent pas contourner.
- Ouverture. Les modèles de données propriétaires et les API fermées créent un verrouillage à long terme qui ne devient visible que quand vous avez besoin de migrer ou d'étendre le système.
AtroCore comme plate-forme MDM et d'intégration open-source
AtroCore est une plate-forme open-source construite pour couvrir les couches MDM et intégration système ensemble. Elle utilise un modèle de données entité-attribut-valeur hautement configurable, de sorte que les structures de données s'adaptent à votre domaine plutôt que l'inverse. Les règles de validation, les flux de travail d'approbation multi-étapes et les relations d'entités sont tous configurables via l'interface utilisateur sans code personnalisé.
Du côté de l'intégration, AtroCore fournit une API REST complètement documentée et des modules d'import/export natifs qui supportent l'échange de données automatisé et bidirectionnel avec les systèmes ERP, les plates-formes e-commerce et les outils CRM. La plate-forme fonctionne sous GPLv3, avec la propriété complète du code et les options de déploiement on-premise ou cloud.
Ce n'est pas un outil catalogue de données autonome ou un outil de traçabilité. Il est conçu pour les entreprises qui ont besoin d'un hub de données maîtresses central avec des contrôles de gouvernance forts et une profondeur d'intégration réelle dans un seul système configurable.
La réalité pratique
Les projets de gouvernance des données échouent plus souvent qu'ils ne réussissent, non pas parce que les outils sont mauvais mais parce que la portée de l'implémentation est trop large et la propriété est peu claire. Les entreprises qui obtiennent des résultats durables ont tendance à commencer par un domaine spécifique (données produits, données de fournisseurs ou données clients) et à s'étendre à partir de là une fois que le processus est établi.
Commencer étroitement facilite aussi la construction d'un soutien interne. Une initiative de gouvernance qui promet de tout corriger dans tous les systèmes en 18 mois fera face à la résistance de chaque équipe qui sent que son autonomie est compromise. Une qui commence par résoudre une douleur spécifique et visible (enregistrements de fournisseurs en doublon, attributs de produits incohérents dans l'ERP par rapport à la boutique Web) renforce la crédibilité avant d'étendre la portée.
Le choix de l'outil compte moins que de nombreux fournisseurs le suggèrent. Ce qui compte, c'est que la plate-forme soit suffisamment flexible pour correspondre à votre modèle de données réel, intégrée suffisamment étroitement pour éliminer le travail de synchronisation manuelle qui consomme votre équipe, et suffisamment ouverte pour ne pas être verrouillée dans une feuille de route que vous ne pouvez pas influencer.
Si vous évaluez les options, AtroCore vaut la peine d'être examinée pour la couche MDM et intégration, surtout si votre architecture actuelle implique plusieurs systèmes déconnectés et que vous avez besoin d'une plate-forme qui peut s'adapter à des structures de données complexes et spécifiques au domaine.