Qu’est ce que le data mesh ?

A quoi sert-il et quels sont ses fondements ?

Avec la quantité croissante de données et la complexité des métiers, il peut être utile de repenser le concept d’entrepôts de données centralisés en lui donnant une dimension distribuée. C’est le concept du data mesh.

Le découpage des données en réseau de domaines de données (à voir comme des sous domaines spécialisés) permet de :

• Accorder de l’autonomie en proposant une gestion locale des données
• Apporter l’évolutivité nécessaire au stockage de façon plus aisée
• Conserver la cohérence forte technique et organisationnelle

Un brin de vocabulaire

Quelques concepts de base :

• La donnée est un ensemble de valeurs (ex: 32° est une donnée)
• Une information est une donnée dont le sens est défini par un ensemble de règles (ex: chaud / froid est une information), ce qui fait de la donnée un support d’information.
• La connaissance est l’ensemble de l’information structurée.

• Les données opérationnelles sont les données, nécessaires au fonctionnement du métier, qui permettent des opérations métier. Ces données sont généralement gérées de façon transactionnelle avec des opérations élémentaires de type CRUD.
• Les données analytiques ajoutent une notion temporelle, d’agrégation, d’enrichissement et de corrélation métier.

Les limites du modèle centralisé

L’évolution moderne des entrepôts de données vers un modèle de lac de données a apporté de nouvelles complexités, du fait du volume massif de données à gérer :

• L’inventaire et la cartographie des données
• La gestion de la qualité de données

L’émergence du data mesh

Ces limites ont mis en avant le besoin de structurer la donnée, en domaines de données dont l’interconnexion forme le maillage (mesh en anglais)

Ce nouveau paradigme repose sur 4 piliers :

• Découper la donnée en ensemble de noeuds élémentaires appelés domaines de données (cf DDD), qui gèrent de façon commune les données analytiques et opérationnelles. Ce modèle conduit à une indépendance technologique par domaine de données et normalise l’information au regard du contexte métier (au même titre que l’ubiquitous language dans le DDD).
• Gérer la donnée en tant que produit (data product) en appliquant les concepts de product thinking, pilotée par un data product owner, garant de la fiabilité de la donnée. Ces data product doivent donc être partagés, découvrables, auto-suffisant, inter-opérables, disposer de contrat de service et de qualité et être sécurisés. Ceci impose la mise en place d’outils de gestion de qualité et de standards d’échanges inter-domaines (au travers d’un langage / format commun par exemple).
• Utiliser une infrastructure self-service en tant que support des data-products, en proposant aux équipes l’ensemble des outils qui leur seront nécessaires pour gérer leurs données.
• Appliquer une gouvernance fédérée autour de la donnée, pour notamment régir les droits et devoirs concernant la mise à disposition des différentes informations au sein du SI, mais aussi pour outiller et mesurer la mise en application de ces règles ainsi que des données (cf les principes du data ops).

Les apports de la virtualisation

Les modèles de virtualisation de données reposent sur l’ajout d’une couche d’abstraction virtuelle au modèle physique permettant d’apporter une vue sémantique de l’information sans opérer de mouvement de données.

Cette technologie permet la gestion de la découverte des données à la source ainsi que de mettre en œuvre un standard d’échange pour les données sur la base d’interfaces normées (REST, OData, GraphQL, MDX…).

En cela, elle dispose de sérieux avantages pour répondre aux enjeux du data mesh et se positionne comme un accélérateur stratégique pour atteindre cet objectif à cout modéré.

Bien entendu, elle a également ses limites et ne doit pas être considérée comme la solution unique à la mise en œuvre du data mesh.

Références

Pour en savoir plus, se référer aux deux articles ci-dessous qui ont servi de support à l’article courant :

• Les principes du data mesh — État des lieux
• Data mesh et virtualisation des données : le duo gagnant