Derin Öğrenme Dağıtımı: Quantization, Serving ve Edge AI

"Production Deep Learning: Inference, Quantization & Edge Deployment, modelleri sıkıştırma ve quantize etmeden vLLM, Triton, ONNX ve Llama.cpp kullanarak ölçekli bir şekilde sunmaya (serving) kadar tüm dağıtım yaşam döngüsünde uzmanlaşmak isteyen ML mühendisleri ve geliştiricileri için tasarlanmıştır. Modül 1, doğruluk-gecikme süresi dengesine odaklanarak budama (pruning), damıtma (distillation) ve AWQ ile GPTQ kullanarak INT8/INT4 quantization dahil olmak üzere model sıkıştırma temellerini kapsar. Modül 2, vLLM'in PagedAttention özelliğini, NVIDIA Triton'u, TensorRT'yi ve otomatik ölçeklendirme modelleriyle GPU kümeleri üzerinde çıkarımı (inference) ölçeklendirmeyi inceleyerek yüksek performanslı sunum mimarilerine odaklanır. Modül 3, ONNX Runtime, GGUF ve Llama.cpp kullanarak CPU ve uç cihaz (edge) dağıtımının yanı sıra kaynak kısıtlı cihazlarda CLIP ve LLaVA ile çok modlu çıkarıma odaklanır. Modül 4, ince ayar yapılmış bir LLM'i quantize edeceğiniz, vLLM ile üretim düzeyinde bir API oluşturacağınız, performansı test edeceğiniz ve bulut ile uç cihaz dağıtımı için modelinizi Docker ile konteyner haline getireceğiniz bir bitirme projesidir. Bu kursun sonunda şunları yapabileceksiniz: - LLM'leri üretim için sıkıştırmak amacıyla INT4/INT8 quantization tekniklerini (AWQ, GPTQ, GGUF) uygulamak - vLLM, Triton ve ONNX Runtime kullanarak yüksek performanslı çıkarım sunucuları dağıtmak