LLM'leri Verimli Bir Şekilde Sunma

Predibase CTO'su Travis Addair'den LLM uygulamalarını nasıl sunacağınız konusunda temel bir anlayış geliştirmek için yeni kısa kursumuz olan Efficiently Serving Large Language Models'a katılın. İster kendi uygulamanızı başlatmaya hazır olun ister yeni başlıyor olun, bu kursta keşfedeceğiniz konular LLM'lerin nasıl çalıştığına dair temel bilginizi derinleştirecek ve çok sayıda kullanıcıya hizmet verecek LLM uygulamaları oluştururken göz önünde bulundurmanız gereken performans ödünleşimlerini daha iyi anlamanıza yardımcı olacaktır. LLM sağlayıcılarının modelleri birçok müşteriye verimli bir şekilde sunmasını sağlayan en önemli optimizasyonları, aynı anda birden fazla ince ayarlı modelle çalışma stratejileri de dahil olmak üzere inceleyeceksiniz. Bu kursta şunları yapacaksınız: 1. Auto-regressive büyük dil modellerinin metni her seferinde nasıl tek bir token ürettiğini öğrenin. 2. KV önbelleğe alma, sürekli gruplama ve model kuantizasyonu dahil olmak üzere modern bir LLM çıkarım yığınının temel unsurlarını kodda uygulayın ve bunların çıkarım verimi ile gecikme süresi üzerindeki etkilerini kıyaslayın. 3. LoRA adaptörlerinin nasıl çalıştığının ayrıntılarını keşfedin ve gruplama tekniklerinin farklı LoRA adaptörlerinin aynı anda birden fazla müşteriye sunulmasını nasıl sağladığını öğrenin. 4.