Databricks üzerinde Delta Lake ile Veri Mühendisliği

Databricks üzerinde Delta Live Tables ve Medallion Mimarisini kullanarak üretime hazır veri işlem hatları (data pipelines) oluşturun. Bu uygulamalı eğitim; ham verileri yapılandırılmış bir bronz-gümüş-altın katmanlama modeli aracılığıyla güvenilir, işe hazır veri kümelerine dönüştüren ETL iş akışlarını tasarlamayı, uygulamayı ve izlemeyi öğretir. Bu eğitim öncelikle mühendislik veya fen bilimleriyle ilgilenen birinci ve ikinci sınıf lisans öğrencilerinin yanı sıra programlamaya ilgi duyan profesyonellere yöneliktir. İlk olarak DLT temellerinde uzmanlaşacaksınız: hem SQL hem de Python'da bildirimsel işlem hattı sözdizimi, Auto Loader ile akış veri alımı (streaming ingestion) ve şema evrimi (schema evolution) stratejileri. Ardından, her bir Medallion Mimarisi katmanını uygulayacaksınız: veri geçmişi takibi ile ham veri alımı için bronz katman, beklenti tabanlı kalite eşikleriyle veri temizleme için gümüş katman ve Z-ordering ile bölümleme (partitioning) kullanılarak optimize edilmiş iş analizleri için altın katman. Eğitim, `apply_changes()` ile Değişen Veri Yakalama (Change Data Capture), çok kaynaklı veri alımı ve uçtan uca işlem hattı orkestrasyonu kullanarak eksiksiz bir envanter yönetim sistemi oluşturacağınız bir bitirme projesiyle sona erer. Her kavram, Databricks Community Edition üzerindeki laboratuvarlarla pekiştirilir; ücretli bir hesap gerekmez.