ELT batch pipeline avec Cloud Storage, BigQuery et Composer/Airflow
Cette vidéos montre un use case réel avec un batch de type ELT, avec Cloud Storage, BigQuery, Apache Airflow et Cloud Composer.
Le Extract se fait depuis Cloud Storage.
Le Load se fait entre Cloud Storage et BigQuery.
Le Transform se fait avec une requête SQL BigQuery.
Le tout est orchestré par Cloud Composer et Apache Airflow.
#googlecloud #ELT #CloudStorage #BigQuery #Airflow #CloudComposer #SQL #Python #Orchestration #Batch #Pipeline
▸ Medium : / elt-batch-pipeline-with-cloud-storage-bigq...
▸ Github : https://github.com/tosun-si/teams-lea...
▸ LinkedIn : https://www.linkedin.com/posts/mazlum...
▸ Twitter : https://twitter.com/MazlumTosun3/stat...
Abonnez vous à la chaîne YouTube et cliquez sur la cloche 🔔 pour avoir des notifs sur les prochaines vidéos.
📲 Suivez moi sur réseaux sociaux :
▸ Articles : / mazlum.tosun
▸ X : / mazlumtosun3
▸ LinkedIn : / mazlum-tosun-900b1812
▸ WhatsApp : https://whatsapp.com/channel/0029VaCj...
