Deep Learning: Advanced Backbones and Efficient GPU Training

PyTorch Lightning, timm, ConvNeXt, Vision Transformers, RoPE, SwiGLU, RMSNorm ve Weights & Biases kullanarak gelişmiş derin öğrenme mimarilerinde ve verimli eğitim tekniklerinde ustalaşın. Bu kurs, gerçek dünyadaki üretim süreçleri için sınırlı GPU donanımı üzerinde modern omurgaları (backbones) tasarlamanız, eğitmeniz ve kıyaslamanız (benchmark) için sizi donatır. Modül 1, ResNets'ten ConvNeXt ve Vision Transformers'a uzanan gelişimi izleyerek; yama gömmeleri (patch embeddings), çok kafalı öz-dikkat (multi-head self-attention) ve konum kodlamalarını kapsayan modern omurga mimarilerini tanıtır. Modül 2, kararlı ve ölçeklenebilir eğitim için RMSNorm, SwiGLU aktivasyonları ve Döner Konumsal Gömmeler (RoPE) dahil olmak üzere eğitim dinamiklerine ve stabilizasyon tekniklerine derinlemesine dalar. Modül 3, karma duyarlık (mixed precision - FP16/BF16), gradyan biriktirme (gradient accumulation), verimli veri hatları (data pipelines) ve Lightning'de DDP/FSDP ile dağıtık eğitim kullanarak sınırlı GPU'larda verimli eğitime odaklanır. Modül 4, TensorBoard ve W&B ile deney takibini, FLOP'ları ve iş çıkarma yeteneğini (throughput) profillemeyi ve timm'de ince ayar (fine-tuning) içeren uygulamalı bir ViT vs. CNN Showdown projesini kapsar. Bu kursun sonunda: - PyTorch Lightning ve timm kullanarak ConvNeXt ve Vision Transformer omurgalarını oluşturup ince ayar yapabilecek - RMSNorm, SwiGLU uygulayabilecek...