ETL Batch pipeline avec Cloud Storage, Scala Dataproc Serverless, BigQuery orchestré par Airflow
Cette video montre un use case complet avec une pipeline batch de type ETL déployée dans Google Cloud.
Les étapes de la pipeline sont :
Extract : Cloud Storage
Transform : Spark Scala et Dataproc Serverless
Load : BigQuery
Le tout est orchestré par Cloud Composer et Apache Airflow.
La partie CI CD est gérée avec Cloud Build.
#googlecloud #Airflow #CloudComposer #ETL #CloudStorage #BigQuery#Spark #Scala #Dataproc #Serverless
▸ Github : https://github.com/tosun-si/teams-lea...
▸ LinkedIn : https://www.linkedin.com/posts/mazlum...
▸ X : https://x.com/MazlumTosun3/status/169...
Abonnez vous à la chaîne YouTube et cliquez sur la cloche 🔔 pour avoir des notifs sur les prochaines vidéos.
📲 Suivez moi sur réseaux sociaux :
▸ Articles : / mazlum.tosun
▸ X : / mazlumtosun3
▸ LinkedIn : / mazlum-tosun-900b1812
▸ WhatsApp : https://whatsapp.com/channel/0029VaCj...
