Spark, Skew & Speed: Pipeline Performance Engineering

Yavaş veri hatları (pipelines), veri çarpıklığı (data skew), sorgu darboğazları ve zincirleme anomaliler sadece performans sorunları değil, aynı zamanda üretim riskleridir. Bu program size bunları nasıl bulacağınızı, çözeceğinizi ve tekrarlanmasını nasıl önleyeceğinizi öğretir. Spark, Skew & Speed; kurumsal ölçekte güvenilir şekilde çalışan dağıtık veri sistemleri inşa etmek isteyen veri mühendisleri, veri hattı mimarları ve analitik mühendisleri için tasarlanmış ileri düzey bir programdır. Odaklanmış sekiz kurs boyunca, veri hattı performans mühendisliğinin temel disiplinlerinde uzmanlaşacaksınız: bölümlendirme (partitioning) ve önbelleğe alma (caching) stratejileriyle Apache Spark işlerini optimize etme, veri çarpıklığı ve shuffle verimsizliklerini teşhis edip çözme, rakip veri hattı tasarımlarını kıyaslama (benchmarking), dönüşüm modeli oluşturmayı otomatikleştirme, veri anomalilerini izleme ve düzeltme, Python veri hattı hatalarını ayıklama, veri tabanı sorgu performansını optimize etme ve sütun tabanlı (columnar) ile satır tabanlı (row-store) mimariler arasında veri odaklı geçiş kararları alma. Apache Spark, PySpark, Spark UI, SQL ve Python gibi araç ve çerçevelerle çalışacak, kurumsal veri ortamlarından alınan gerçekçi üretim senaryolarına uygulamalı teknikler uygulayacaksınız. Programın sonunda, bu sistemleri başarıyla kuracak donanıma sahip olacaksınız.