Serverless ELT avec GCS, BigQuery et Cloud Workflows
Cette vidéo montre un exemple complet d'une architecture batch ELT en mode Serverless avec Cloud Storage, BigQuery et Cloud Workflows.
Extract : Cloud Storage
Load : Charge les fichiers avec la donnée brute (raw) depuis GCS vers BigQuery
Transform : Transforme la donnée raw vers la donnée métier avec une requête SQL BigQuery et charge le résultat dans la table finale
Backup des fichiers traités : Workflows invoque Cloud Build pour déplacer les fichiers traités depuis un répertoire source vers un répertoire destination. L'avantage est d'avoir accès à la CLI de gcloud. En effet, avec l'API native de Cloud Storage, il est possible de déplacer un objet mais pas un ensemble, car les wildcards ne sont pas supportées. La commande gsutil permet de le faire.
Le déploiement est fait avec Cloud Build.
Une première exécution de ce use case est faite avec des commandes gcloud et des scripts bash :
Déployer the workflow
Exécuter le workflow avec des arguments
Créer un scheduler et un cron job avec Cloud Scheduler, pour exécuter le workflow avec des arguments
Ensuite le use case est executé avec Terraform :
Déployer le workflow
Créer un scheduler et cron job avec Cloud Scheduler, pour exécuter le workflow avec des arguments
#googlecloud #ELT #Pipeline #Serverless #CloudWorkflows #CloudStorage #BigQuery #CloudBuild #Terraform #CloudScheduler #sql
▸ Github :
https://github.com/tosun-si/teams-lea...
▸ Slides : https://docs.google.com/presentation/...
▸ LinkedIn : https://www.linkedin.com/posts/mazlum...
▸ X : https://x.com/MazlumTosun3/status/173...
Abonnez vous à la chaîne YouTube et cliquez sur la cloche 🔔 pour avoir des notifs sur les prochaines vidéos.
📲 Suivez moi sur réseaux sociaux :
▸ Articles : / mazlum.tosun
▸ X : / mazlumtosun3
▸ LinkedIn : / mazlum-tosun-900b1812
▸ WhatsApp : https://whatsapp.com/channel/0029VaCj...
