ETL Batch pipeline avec Cloud Storage, Cloud Run et BigQuery orchestré par Airflow/Cloud Composer

Опубликовано: 12 Июль 2023
на канале: GCP Learning with Mazlum & GroupBees

948

Cette video montre un use case complet avec une pipeline batch de type ETL déployée dans Google Cloud.

Les étapes de la pipeline sont :
Extract : Cloud Storage
Transform : Cloud Run
Load : BigQuery

Le tout est orchestré par Cloud Composer et Apache Airflow.

La partie CI CD est gérée avec Cloud Build.

#googlecloud #airflow #CloudComposer #ETL #CloudRun #CloudStorage #BigQuery

▸ Medium :   / etl-batch-pipeline-with-cloud-storage-clou...
▸ Github : https://github.com/tosun-si/teams-lea...
▸ LinkedIn : https://www.linkedin.com/posts/mazlum...
▸ Twitter : https://twitter.com/MazlumTosun3/stat...

Abonnez vous à la chaîne YouTube et cliquez sur la cloche 🔔 pour avoir des notifs sur les prochaines vidéos.

📲 Suivez moi sur réseaux sociaux :
▸ Articles :   / mazlum.tosun
▸ X :   / mazlumtosun3
▸ LinkedIn :   / mazlum-tosun-900b1812
▸ WhatsApp : https://whatsapp.com/channel/0029VaCj...