Çok Modlu (Multimodal) Veri Boru Hatları İnşa Etmek

Görüntüler, ses ve video, günümüzde şirketlerin ürettiği verilerin giderek büyüyen bir kısmını oluşturuyor, ancak çoğu veri boru hattı hala yalnızca yapılandırılmış veriler için inşa ediliyor. Bu kurs size çok modlu verileri işleyen ve bunları LLM'e hazır metne dönüştüren yapay zeka destekli boru hatları oluşturmayı öğretir. Temellerle başlayacaksınız: sesten transkriptleri çıkarmak için ASR kullanmak ve görüntüleri LLM'e hazır metin açıklamalarına dönüştürmek. Buradan, Vision Language Modellerinin video segmentlerinden nasıl açıklamalar ürettiğini, yalnızca tek bir karede neyin görünür olduğunu değil, zaman içinde bir sahnede neyin ortaya çıktığını nasıl yakaladığını göreceksiniz. Ardından, içerikleri hakkındaki soruları yanıtlamak için toplantılardan slaytlar, ses ve videolar arasında arama yapan çok modlu bir RAG boru hattı uygulamak için bu becerileri uygulayacaksınız. Her üç modaliteyi birleştirerek, LLM'lere karmaşık, gerçek dünya içeriklerinde ayrıntılı yanıtlar sunmaları için ihtiyaç duydukları zengin bağlamı sağlarsınız. Detaylı olarak şunları yapacaksınız: Çok modlu veri ortamını, her veri türünün sunduğu benzersiz zorlukları ve yapılandırılmamış içeriği aranabilir metne dönüştüren teknikleri incelemek. Görüntüleri ve sesleri yapılandırılmış metne dönüştürmek için OCR ve ASR uygulamak, ardından bunları çapraz arama için birleşik bir vektör uzayına yerleştirmek.