Pipeline Architects: Data Engineering to Lakehouse

Bağlantısız silolarda duran ham veriler bir veri platformu değildir; aksine bir yüktür. Verileri kurumsal ölçekte güvenilir bir şekilde alan, dönüştüren, mutabık kılan, sürümlendiren ve sunan sistemler inşa etmek, prototip üreten mühendisleri, altyapı ekiplerinin güvendiği mimarlardan ayıran şeydir. Bu program size ikincisini nasıl yapacağınızı öğretir. Pipeline Architects, eksiksiz ve üretime hazır veri mühendisliği becerileri geliştirmek isteyen veri mühendisleri, analitik mühendisleri ve veri platformu profesyonelleri için tasarlanmış orta düzey bir programdır. On odaklı kurs boyunca, veri mühendisliği teknolojilerinin tamamında uzmanlaşacaksınız: veri akışlarını haritalandırma, ilişkisel veri tabanlarından, akış platformlarından ve REST API'lerinden veri alma, modüler boru hatları (pipeline) oluşturma ve dönüştürme, depolama formatlarını değerlendirme, veri ambarlarını aşamalı olarak yükleme, SCD2 geçmiş takibini uygulama, veri gölü işlemlerini ve sürümlendirmeyi uygulama, lakehouse mimarileri oluşturma, Apache Airflow ile iş akışlarını otomatikleştirme ve SQL MERGE mutabakatı ile performans optimizasyonu yoluyla verileri birleştirme. Python, SQL, Apache Airflow, dbt, Snowflake, Apache Kafka, Airbyte, Delta Lake, Iceberg ve Hudi gibi sektör standardı araçlarla çalışarak pratik yapacaksınız.