Data Mesh : le modèle ultime des entreprises data-driven ?

Nouveau paradigme du data management, le Data Mesh rompt avec les modèles de centralisation des données poursuivis depuis 30 ans. Ses fondations : décentralisation fédérée et redistribution des rôles au profit d’un fort engagement des métiers. Le Data Mesh propose ainsi un cadre de travail complet et constitue le modèle ultime pour les entreprises data-driven. Cet article vous propose une définition et un panorama de ce concept à forte valeur, ainsi que les 4 piliers du Data Mesh.

💡 Qu’est-ce que le Data Mesh ?

Approche socio-technique décentralisée conçue pour fédérer la gestion et l’accès aux données à l’échelle, le Data Mesh est un puissant outil de transformation. Pour les métiers, c’est l’opportunité de reprendre leur destin Data en main.

Avec le Data Mesh, c’est un peu comme si Spiderman lui-même venait organiser la gestion et la valorisation des données pour plus d’agilité au travers de toute l’organisation.

Décentraliser, distribuer et fédérer. Le concept de Data Mesh repose sur ces trois grands principes. Et pour y parvenir, il sous-tend une forte dose d’agilité et d’autonomie dans la gestion de la Data. Qui de mieux alors pour incarner le Data Mesh qu’un super-héros comme Spiderman et ses toiles ?

Une super-héroïne : Zhamak Dehghani. C’est à elle que nous devons la création en 2018 du Data Mesh, au travers d’un article fondateur. Les contours continuent depuis de se préciser. Il a fait l’objet d’un livre en avril 2022 intitulé “Data Mesh: Delivering Data-Driven Value at Scale”.

Ce concept réunit tous les ingrédients nécessaires pour fédérer dans sa toile l’ensemble de l’organisation autour des enjeux de valorisation de données. C’est pour le démontrer et aussi afin de partager nos convictions sur le Data Mesh que nous proposons cette série d’articles dédiée à ce thème de rupture. Notre ambition : vous aider à en saisir les contours et les atouts au bénéfice de votre propre transformation Data.

En quelques décennies, l’univers de la gestion des données a vu émerger de multiples concepts, parmi lesquels l’infocentre, le Data Warehouse et, il y a une dizaine d’années, le Data Lake.

Tous les concepts d’architecture data édictés jusqu’à maintenant ont en commun une très forte centralisation des compétences mais aussi des données et de leur traitement. Ils partagent aussi une ambition : la création de valeur. La Commission européenne estime à ce titre que la valeur de l’économie fondée sur les données atteindra les 829 milliards d’euros d’ici à 2025, contre 301 milliards en 2018.

Pourquoi utiliser le Data Mesh ?

✅ Data Mesh pour exploiter les données et créer de la valeur à l’échelle de l’entreprise

La valorisation des données, ce sont aussi des usages internes au profit de l’amélioration de l’efficacité opérationnelle et d’une meilleure prise de décision. Ces enjeux sont les premiers bénéfices recherchés de la mise en place d’un projet de valorisation des données selon une étude d’Opendatasoft.

La finalité du Data Mesh : embarquer toute l’entreprise sur les enjeux de valorisation du patrimoine de données en tant qu’actif stratégique.

Cependant, en pratique, l’observation des difficultés rencontrées par les organisations à faire évoluer les solutions et le cadre de Data Management pour répondre à des aspirations ambitieuses en matière de données remet en question les hypothèses sur la façon dont elles peuvent tirer de la valeur des données. Pourquoi un tel écart entre les aspirations et les objectifs atteints ? Les raisons sont multiples. On peut notamment citer un manque de maturité et de compétences, ainsi que des inefficacités en termes d’exécution des stratégies data.

Dans les entreprises dont la culture et l’organisation rendent difficile la mise à l’échelle des initiatives data, la centralisation des données sur une plateforme monolithique (telle qu’un Data Warehouse, un Data Hub ou un Data Lake) ainsi que la valorisation et la gouvernance des données centralisées constituent en fait un goulot d’étranglement.

Et si le Data Mesh permettait de combler ces lacunes ? De fait, il constitue un véritable renversement puisqu’il se fonde sur un modèle distribué et une réponse globale à l’échelle de l’entreprise. C’est là aussi une rupture. Le Data Mesh ne relève pas du solutionnisme technologique.

Le Data Mesh réunit dans sa toile les sujets d’architecture, d’organisation, de méthodologie et de gouvernance, au service d’une même finalité : embarquer toute l’entreprise sur les enjeux de valorisation du patrimoine de données en tant qu’actif stratégique. Le Data Mesh s’impose alors comme un véritable modèle pour l’entreprise data-driven.

✅ Du Data Chaos au Data Mesh : sur le chemin de l’entreprise data-driven

L’émergence de la philosophie portée par le Data Mesh peut être perçue comme une réaction. Oui, mais à quoi ? A une problématique largement partagée par les organisations, celle de la tragédie des silos (oui oui… rien que ça ! Une véritable tragédie !). C’est à cette tragédie que nous devons en grande partie tous les efforts (et échecs) consacrés à la gouvernance des données et au passage à l’échelle des usages analytiques dans l’entreprise.

Les entreprises sont historiquement organisées en silos. Les directions, départements et services sont ainsi structurés par fonctions, par produits ou encore par canaux de vente. Ce modèle organisationnel, par effet miroir, engendrent presque mécaniquement la création de silos de données. Ceux-ci complexifient profondément leur exploitation à des fins analytiques à l’échelle de l’entreprise.

Le Data Mesh porte une véritable rupture. Ce modèle repose sur l’idée fondatrice consistant non plus à lutter contre la tragédie des silos, mais à en tirer profit, littéralement à jouer avec elle.

Pour sortir de la tragédie des silos et du Data Chaos qu’elle entraîne, la réponse jusqu’à ce jour a toujours consisté en une recherche de centralisation des données, au travers par exemple de solutions d’entrepôt Data Warehouse, de Data Lake ou encore de Data Hub. Quelle que soit la dénomination de la solution, l’ambition demeure la même : centraliser pour mieux traiter !

Le Data Mesh porte donc une véritable rupture. Ce modèle repose sur l’idée fondatrice consistant non plus à lutter contre la tragédie des silos, mais à en tirer profit, littéralement à jouer avec elle. Le changement de paradigme est donc total… Et bien loin de revenir à l’approche totalement décentralisée façon Data Chaos, le Data Mesh propose une approche fédérée pour garder la meilleure maîtrise du patrimoine et des usages des données.

✅ Valoriser les données à l’échelle par l’analytique

Cependant, le Data Mesh reste une matière vivante. Sa mise en œuvre opérationnelle continue de s’élaborer. De grandes entreprises s’efforcent ainsi de le déployer dans une démarche itérative.

Zhamak Dehghani décrit le Data Mesh comme une approche socio-technique décentralisée permettant de gérer et d’accéder aux données à des fins analytiques, et surtout, à l’échelle. Chaque mot est important. La décentralisation souligne la rupture avec la recherche d’extrême centralisation appliquée jusqu’à présent.

Le Data Mesh ne se résume donc pas à un concept technique. Le Data Mesh n’est pas la somme de briques technologiques, pas plus qu’il ne se cantonne à des problématiques d’architecture et d’infrastructure. Il couvre l’ensemble des aspects de la gestion des données : organisation, compétences, méthodologies, gouvernance, architecture…

Le Data Mesh vise à fournir un cadre pour l’entreprise et ses utilisateurs dans le pilotage et dans la création de nouveaux produits (Data). La notion de passage à l’échelle de l’analytique est au cœur du concept, et une réponse aux obstacles que rencontrent les organisations. Par son approche globale, le Data Mesh constitue un modèle pertinent pour l’entreprise data-driven.

Le Data Mesh s’appuie sur le principe que la valeur est intrinsèquement portée par chaque produit de données, par leur niveau d’interopérabilité et par le résultat de leur corrélation avec d’autres produits de données. Il tend ainsi à réunifier deux écoles de pensée, la première prônant une centralisation des données immédiatement indépendante de l’identification des cas d’usage métiers, la seconde imposant de disposer de l’ensemble des cas d’usages à couvrir comme un prérequis à la modélisation des données.

🔎 Les 4 piliers du Data Mesh : Domaines, Produits, Plateforme, Gouvernance

Approche globale, le Data Mesh repose pour sa mise en œuvre sur quatre piliers fondamentaux :

Pilier 1 : Domaine de données (Data Domains)

Inspiré du Domain-Driven-Design (DDD), ce pan du Data Mesh consiste en un découpage métier des données et des usages. Les métiers, responsables des domaines, deviennent naturellement autonomes et responsables de la conduite de toutes leurs initiatives data.

Pilier 2 : Produits de Données (Data as a product)

Avec le Data Mesh, les données deviennent le produit, dans la continuité des autres pans du numérique axés produit. Le Data Mesh s’inspire et dépasse ces concepts. En effet, il revient à chaque domaine de données de mettre à disposition des produits comptant leurs consommateurs, leurs caractéristiques incontournables et une roadmap de développement. Les produits sont délivrés sous un format standardisé pour être utilisés à travers l’organisation.

Pilier 3 : Plateforme et Infrastructure Data (Self-service Data Infrastructure as a Platform)

Comme l’intitulé le suggère, cet axe concerne l’infrastructure technique et applicative. Le Data Mesh requiert la mise à disposition d’une plateforme interopérable pour l’ensemble des domaines de données. Cette mutualisation vise à permettre aux différents domaines de provisionner des ressources techniques à la demande pour la conception et l’exploitation de leurs produits. La plateforme peut reposer sur tout type de solution technologique et s’appuie sur des architectures et des modes d’échange standardisés. La finalité de ce pilier reste celle de la rationalisation du socle et des technologies utilisées à travers l’organisation.

Pilier 4 : Gouvernance des données fédérée (Federated data governance)

Dans le modèle du Data Mesh, la gouvernance des données porte plusieurs enjeux, dont celui de l’interopérabilité des domaines. C’est au travers de ce pilier que sont définis et mis en œuvre la protection des données et le dictionnaire des données au travers de règles et normes unifiées de gouvernance. Les domaines remplissent ici aussi un rôle critique. Il leur revient de documenter les données et les produits mis à disposition en se basant sur les standards définis au niveau fédéré. La gouvernance est par conséquent pilotée de manière hybride avec des responsabilités distribuées et fédérées.

Le Data Mesh redistribue les rôles et responsabilités

Le Data Mesh repose donc sur une organisation du data management à la fois distribuée et fédérée. De fait, son implémentation passe par l’implication de l’ensemble de l’organisation. Ce n’est par conséquent possible qu’avec un sponsoring de la Direction et des directions métiers et fonctionnelles (IT compris). L’objectif poursuivi est d’appuyer pour réconcilier : enjeux stratégiques, besoins fonctionnels et capacité à faire. En effet, cette approche requiert une redéfinition des rôles et, dès lors, de s’écarter d’un modèle reposant uniquement sur une équipe centralisée, qui constitue trop souvent un goulet d’étranglement.

Le Data Mesh va redéfinir les rôles et responsabilités des métiers, des équipes Data (Data Office) et de la DSI. Il fait bouger les lignes pour engager l’organisation dans une véritable transformation vers l’entreprise data-driven.

Le Data Mesh est une approche socio-technique décentralisée permettant de gérer et d’accéder aux données à des fins analytiques, et surtout, à l’échelle.

Le changement le plus important est certainement pour les métiers. Pour eux, le Data Mesh consiste donc à acquérir autonomie, agilité et responsabilité dans la réalisation de produits Data, la gestion de leur cycle de vie et dans la gouvernance des données. Pour y parvenir, il convient de rattacher une partie des compétences Data directement dans les métiers, ou à clarifier et renforcer le rôle des Data Stewards. Ceux-ci gagnent alors en indépendance et peuvent faire avancer leurs projets en fonction de leurs propres priorités et de celles partagées au sein de l’entreprise. Avec cela, les directions métiers vont réellement pouvoir activer par et pour elles-mêmes le pouvoir des données !

La DSI va voir son rôle évoluer tout en conservant une place majeure. Elle conçoit et gère une plateforme modulaire fournissant de services IT à la demande tout en garantissant en outre un cadre d’interopérabilité. Cette plateforme unifiée, gérée en central, assure ainsi la mise à disposition d’assets communs. A cet effet, le cloud et la virtualisation des données constituent des approches d’architecture particulièrement adaptées au Data Mesh. La DSI voit donc son rôle se centrer sur l’infrastructure et l’architecture applicative. Elle est garante de la cohérence et de la rationalisation technologique. L’IT pilote la modernisation et la l’agilisation du SI, ainsi que les innovations générées par le Cloud.

Enfin, le Data Office, emmené par le Chief Data Officer, prend un rôle d’animation, d’acculturation et de fédération des initiatives data. Il favorise la mutualisation des données, la coordination des actions, en particulier de gouvernance, et prévient la création de nouveaux silos. Le Data Office agit en véritable chef d’orchestre de la fonction data transverse de l’organisation.

Cette transformation est soutenue par ailleurs par une stratégie d’entreprise et par de la conduite du changement. Elle est progressive et passe souvent par des débuts auprès de métiers moteurs sur la Data dans l’objectif de démontrer la valeur et d’encourager les initiatives parmi les autres fonctions de l’entreprise. Les moins matures adopteront les principes du Data Mesh graduellement. Elles pourront de plus bénéficier dans cette transition du support de compétences en central.

Data Mesh : redonner le pouvoir au métier

Le Data Mesh permet de résoudre des problèmes jusque-là insolubles pour les organisations.

A titre d’exemple, le manque de qualité des données est un fléau généralisé. Il demeure encore trop souvent délégué à l’IT, qui n’a pas les moyens de le résoudre seul. En effet, c’est surtout le métier, avec sa connaissance fine des processus et règles de gestion, qui est véritablement en mesure d’améliorer durablement la qualité des données. C’est aussi à lui qu’il revient de repenser certains processus si cela s’avère nécessaire pour améliorer la qualité des données dès leur création, avant même leur collecte dans une base de données analytique. En rapprochant les problématiques data du métier et en lui donnant la responsabilité de la totalité du patrimoine de données à la fois analytique et opérationnel, le Data Mesh est en mesure de résoudre ce problème à la racine.

Plus largement, le Data Mesh présente de multiples avantages par rapport aux approches centralisées :

• Autonomes et responsabilisés, les métiers retrouvent « naturellement » la maîtrise de leurs données, de leurs ambitions et de leurs priorités business. Ils s’affranchissent des limitations imposées ou subies par une équipe Data centrale. Cette liberté, accompagnée par des moyens technologiques communs et en mode self-service, peut aussi contribuer à réduire le shadow IT tout en améliorant la mutualisation et l’interopérabilité des données.
• Amélioration générale de la qualité des données en rapprochant à la fois la production et l’exploitation de données des métiers.
• Gain d’agilité pour des métiers dont les activités et les besoins évoluent rapidement. Le Data Mesh, par sa décentralisation et sa proximité immédiate avec le métier, participe à une plus grande réactivité et donc un meilleur time-to-market. 
• Rationalisation des coûts et mutualisation de la plateforme technologique. Les métiers consomment avant tout des services de données, indépendamment des solutions sous-jacentes.
• Réduction des coûts d’exploitation des données pour l’entreprise, notamment par une gestion optimisée des opérations de déplacement des données et de modélisation.
• Gouvernance fédérée et mutualisation des métadonnées.
• Approche à la fois distribuée pour donner le pouvoir de la donnée aux métiers et fédérée pour garder la meilleure maîtrise du patrimoine des données et de la cohérence technologique.

Le Data Mesh est à la fois radical et fédérateur

Il ne fait aucun doute que le Data Mesh incarne une véritable rupture avec toutes ces années dominées par le dogme data-centric, dont les limites en termes de création de valeur et de passage à l’échelle constituent des freins à la transformation Data des organisations.

A notre sens, le Data Mesh émerge comme le premier concept réellement global au service de l’entreprise data-driven. Contrairement à des approches essentiellement technologiques ou trop déconnectées de la réalité terrain, il combine toutes les composantes utiles à la construction et à la mise en œuvre de stratégies Data efficaces.

En outre, le Data Mesh fournit aux métiers des opportunités et méthodologies afin de leur permettre de regagner du pouvoir et de l’autonomie dans la production, la gouvernance et l’exploitation des données.

Cette agilité dans la création de produits Data et leur mutualisation est pour le business l’occasion de raccourcir le time-to-market afin de s’adapter plus rapidement aux évolutions de marché, qu’il s’agisse d’usage ou de concurrence.

En bref, le Data Mesh réunit toutes les caractéristiques requises pour aider les entreprises désireuses de placer les données au cœur de leur prise de décision pour se hisser au rang d’acteurs data-driven.

💡 Ce qu’il faut retenir

📌 Une approche complète (technologie, méthodologie, architecture…) pour les stratégies data
📌 Des compétences Data réparties dans les domaines
📌 Des métiers autonomes et responsable de la gestion et de la valorisation des données
📌 4 piliers :
       👉 Une organisation en domaines de données au plus près des métiers
       👉 Un cadre pour la création de produits Data
       👉 Une plateforme technologique fédérée
       👉 Une gouvernance des données distribuée et fédérée

Dans le prochain article, nous abordons la question des domaines de métiers ou comment le Data Mesh donne de super-pouvoirs aux métiers 😉

👉 Retrouvez toute notre actu en temps réel en nous suivant sur LinkedIn 👈

Cet article a été rédigé en collaboration avec Christophe Auffray.