Büyük Dil Modellerini Daha Hızlı Eğitin - Paralellik Derinlemesine İnceleme

Bu kursta Coursera Coach özelliği bulunmaktadır! Kurs boyunca ilerledikçe bilginizi test etmenize, varsayımları sorgulamanıza ve anlayışınızı derinleştirmenize yardımcı olan etkileşimli, gerçek zamanlı konuşmalarla öğrenmenin daha akıllı bir yolu. Bu kurs, paralellik stratejileri aracılığıyla büyük dil modellerinin (LLM'ler) eğitimini hızlandırmaya odaklanmaktadır. Veri, model ve hibrit paralellik gibi teknikleri keşfederek, daha hızlı sonuçlar için eğitim süreçlerini nasıl optimize edeceğinizi öğreneceksiniz. Kurs, karmaşık konuları yapılandırılmış bir şekilde ele alır; paralel programlama ve ölçekleme yasalarına girişle başlar, ardından PyTorch ve DeepSpeed gibi popüler kütüphaneleri kullanan uygulamalı çalışmalara geçer. Ayrıca, çoklu GPU sistemlerinde paralellik stratejilerini çalıştırma ve güvenilir eğitimi sağlamak için hata toleransı tekniklerini keşfetme konusunda pratik deneyim kazanacaksınız. Kurs, LLM eğitiminin kapsamlı bir şekilde anlaşılmasını sağlamak için teorik kavramları gerçek dünya örnekleriyle birleştirir. Kurs boyunca veri, model, işlem hattı (pipeline) ve tensör paralelliği gibi çeşitli paralellik türlerini ve bunların LLM'lerdeki uygulamalarını keşfedeceksiniz. MNIST ve WikiText gibi veri setleriyle çalışarak uygulamalı deneyim kazanacaksınız.