ETL Batch pipeline avec Cloud Storage, Dataflow et BigQuery orchestré par Airflow/Cloud Composer
Cette video montre un use case complet avec une pipeline batch de type ETL déployée dans Google Cloud.
Les étapes de la pipeline sont :
Extract : Cloud Storage
Transform : Dataflow
Load : BigQuery
Le tout est orchestré par Cloud Composer et Apache Airflow.
La partie CI CD est gérée avec Cloud Build.
#googlecloud #Airflow #CloudComposer #ETL #Beam #Dataflow #CloudStorage #BigQuery
▸ Github : https://github.com/tosun-si/teams-lea...
▸ Medium : / etl-batch-pipeline-with-cloud-storage-data...
▸ LinkedIn : https://www.linkedin.com/posts/mazlum...
▸ Twitter : https://twitter.com/MazlumTosun3/stat...
Abonnez vous à la chaîne YouTube et cliquez sur la cloche 🔔 pour avoir des notifs sur les prochaines vidéos.
📲 Suivez moi sur réseaux sociaux :
▸ Articles : / mazlum.tosun
▸ X : / mazlumtosun3
▸ LinkedIn : / mazlum-tosun-900b1812
▸ WhatsApp : https://whatsapp.com/channel/0029VaCj...
