Shell, Airflow ve Kafka ile ETL ve Veri Boru Hatları

Ham verileri analize hazır veriye dönüştürmenin iki farklı yaklaşımını derinlemesine inceleyin. Yaklaşımlardan biri Ayıkla, Dönüştür, Yükle (ETL) sürecidir. Diğer zıt yaklaşım ise Ayıkla, Yükle ve Dönüştür (ELT) sürecidir. ETL süreçleri veri ambarları ve veri pazarları (data marts) için geçerlidir. ELT süreçleri ise verilerin talep eden/çağıran uygulama tarafından ihtiyaç anında dönüştürüldüğü veri gölleri (data lakes) için geçerlidir. Bu kursta, ETL ve Veri boru hatları ile kullanılan farklı araçlar ve teknikler hakkında bilgi edineceksiniz. Hem ETL hem de ELT kaynak sistemlerden verileri ayıklar, verileri veri boru hattı üzerinden taşır ve hedef sistemlerde depolar. Bu kurs sırasında ELT ve ETL işlemlerinin nasıl farklılaştığını deneyimleyecek ve her ikisi için de kullanım senaryolarını belirleyeceksiniz. Verileri ayıklamak, ayıklanan verileri mantıksal veya fiziksel olarak birleştirmek ve verileri veri depolarına yüklemek için kullanılan yöntem ve araçları belirleyeceksiniz. Ayrıca, kaynak verileri veri kullanıcıları için güvenilir, bağlamsal ve erişilebilir kılmak üzere uygulanacak dönüşümleri tanımlayacaksınız. Verileri hedef sisteme yüklemek, veri kalitesini doğrulamak, yükleme hatalarını izlemek için kullanılan çoklu yöntemlerin bazılarını ana hatlarıyla belirleyebileceksiniz.