Serverless ETL avec GCS, Dataflow, BigQuery et Cloud Workflows
Cette vidéo montre un exemple complet d'une architecture batch ETL en mode Serverless avec Cloud Storage, Dataflow, BigQuery et Cloud Workflows.
Extract : Cloud Storage
Transform : Transforme la donnée raw vers la donnée métier avec un job Dataflow (Flex Template) et charge le résultat dans la table finale
Load : Dataflow charge la donnée métier calculée vers BigQuery
Backup des fichiers traités : Workflows invoque Cloud Build pour déplacer les fichiers traités depuis un répertoire source vers un répertoire destination. L'avantage est d'avoir accès à la CLI de gcloud. En effet, avec l'API native de Cloud Storage, il est possible de déplacer un objet mais pas un ensemble, car les wildcards ne sont pas supportées. La commande gsutil permet de le faire.
Le déploiement est fait avec Cloud Build.
Une première exécution de ce use case est faite avec des commandes gcloud et des scripts bash :
Déployer the workflow
Exécuter le workflow avec des arguments
Créer un scheduler et un cron job avec Cloud Scheduler, pour exécuter le workflow avec des arguments
Ensuite le use case est executé avec Terraform :
Déployer le workflow
Créer un scheduler et cron job avec Cloud Scheduler, pour exécuter le workflow avec des arguments
#googlecloud #ETL #Pipeline #Serverless #CloudWorkflows #CloudStorage #Dataflow #Beam #Python #FlexTemplate #Docker #BigQuery #CloudBuild #Terraform #CloudScheduler
▸ Github :
https://github.com/tosun-si/teams-lea...
▸ Github Projet Dataflow :
https://github.com/tosun-si/dataflow-...
▸ Slides : https://docs.google.com/presentation/...
▸ X : https://x.com/MazlumTosun3/status/173...
Abonnez vous à la chaîne YouTube et cliquez sur la cloche 🔔 pour avoir des notifs sur les prochaines vidéos.
📲 Suivez moi sur réseaux sociaux :
▸ Articles : / mazlum.tosun
▸ X : / mazlumtosun3
▸ LinkedIn : / mazlum-tosun-900b1812
▸ WhatsApp : https://whatsapp.com/channel/0029VaCj...
