EL, ELT et ETL : savez-vous différencier ces processus de traitement de données ?

Dans le monde de la Data, on rencontre régulièrement les termes EL, ELT et ETL. Ce sont 3 acronymes qui se ressemblent, et signifient : Extract and Load (EL), Extract, Load, and Transform (ELT) et Extract, Transform, and Load (ETL). Ils  expriment surtout des processus de traitement de la donnée bien différents que nous allons aborder dans cet article.

Il existe déjà de nombreuses explications techniques sur ce sujet. A travers cet article, nous allons essayer de mieux comprendre leurs différences grâce à une analogie illustrée et un exemple technique avec Google Cloud Platform (GCP).

EL, ELT et ETL : késako ?

Commençons tout de même par une définition de chacun de ces termes :

• EL pour Extract & Load, c’est-à-dire pour Extraction de la donnée, puis Chargement en l’état de la donnée dans un autre système cible.
• ELT pour Extract, Load & Transform, cela correspond à l’Extraction de la donnée, puis au Chargement en l’état de la donnée dans un autre système cible, et pour terminer Transformation de la donnée au sein du système cible.
• ETL pour Extract, Transform & Load, ici, nous avons l’Extraction de la donnée, puis la Transformation de la donnée via un programme avant de le charger dans le système cible.

Analogie de la cuisine

Pour le type EL, on peut imaginer que l’on prend une tablette de chocolat dans notre placard, et qu’on la mange tout simplement. On mange alors le produit en l’état (brut).

Pour le type ELT, on ne sera pas sûr de la cuisine fait maison. Partons d’une pizza industrielle achetée au supermarché. On la choisit, on l’extrait de son emballage et on la charge dans notre four (pré-chauffé c’est mieux). C’est après quelques minutes dans notre four que la pizza sera consommable. La cuisson aura transformé notre pizza et celle-ci aura alors du fromage fondant et une pâte croustillante !

Pour le type ETL, nous nous intéressons cette fois à la recette de cuisine ! On sélectionne des ingrédients dans notre réfrigérateur et dans nos placards. Ces aliments sont bruts, et pour les sublimer, on va suivre une recette de cuisine. Le résultat sera un beau plat ou un délicieux gâteau que vous pourrez exposer sur votre table à manger avant dégustation !

Exemple technique avec Google Cloud Platform (GCP)

Sur Google Cloud Platform (GCP), vous pouvez réaliser une alimentation de type EL en récupérant les données brutes de Cloud Storage et en les chargeant à l’identique dans Big Query. Si vous avez des données en CSV bien formatées, vous pouvez ainsi les lire directement dans Big Query.

Vous pouvez aussi réaliser une alimentation de type ELT en récupérant les données brutes de Cloud Storage et en les chargeant à l’identique dans Big Query, puis en réalisant une seconde alimentation avec des transformations dans une nouvelle table Big Query (ou une vue). Ce cas de figure se présente si vos données sont déjà propres, mais que vous avez besoin de les enrichir ensuite avec d’autres tables ou de réaliser des actions de normalisation.

Vous pouvez également réaliser une alimentation de type ETL en récupérant les données brutes de Cloud Storage, puis en les préparant avec DataFlow et pour finir en les enregistrant dans Big Query. Généralement, ce type de traitement est utilisé pour des enrichissements en streaming, ou des traitements de données entrantes plus complexe (non chargeable directement dans Big Query).

J’espère que ce petit article vous aura éclairé sur la différence entre EL, ELT et ETL, ou si vous le maîtrisiez déjà, que ces analogies vous permettront de mieux l’expliquer autour de vous 😉

Et si vous utilisez d’autres analogies pour expliquer la différence entre ces notions, n’hésitez pas à les partager en commentaire de cet article.

👉 Retrouvez toute notre actu en temps réel en nous suivant sur LinkedIn 👈