Building Multimodal Search and RAG

Çok modlu (multimodal) arama ve RAG sistemlerini nasıl oluşturacağınızı öğrenin. RAG sistemleri, tescilli verileri istem bağlamına dahil ederek bir LLM'i geliştirir. Tipik olarak, RAG uygulamaları metin belgelerini kullanır, ancak ya istenen bağlam görseller, ses ve video gibi multimedyaları içeriyorsa? Bu kurs, bunu başarmak için çok modlu verilerle RAG uygulamanın teknik yönlerini kapsar. 1. Çok modlu modellerin karşılaştırmalı öğrenme (contrastive learning) yoluyla nasıl eğitildiğini öğrenin ve bunu gerçek bir veri kümesinde uygulayın. 2. Farklı veri türleri arasında ilgili bağlamı almak için her şeyden her şeye (any-to-any) çok modlu aramayı oluşturun. 3. LLM'lerin görsel talimat ince ayarı (visual instruction tuning) yoluyla çok modlu verileri anlamak için nasıl eğitildiğini öğrenin ve bunları birden fazla görsel akıl yürütme örneğinde kullanın. 4. Anlamlı yanıtlar üretmek için elde edilen çok modlu bağlamı analiz eden uçtan uca çok modlu bir RAG sistemi uygulayın. 5. Yapılandırılmış veriler üretmek için faturaları ve akış şemalarını görsel olarak analiz etmek gibi sektörel uygulamaları keşfedin. 6. Birden fazla modalitedeki benzerliklerini karşılaştırarak ilgili ögeleri öneren çoklu vektörlü bir öneri sistemi oluşturun. Yapay zeka sistemlerinin giderek daha fazla çoklu veri modalitesi üzerinde işlem yapması ve akıl yürütmesi gerektiğinden, bu tür sistemleri nasıl oluşturacağınızı öğrenmek önem taşımaktadır.