Görme ve Dilin Kesiştiği Noktada Üretken Yapay Zeka: Sentez, Düzenleme ve Çok Modlu Anlama Alanlarındaki Gelişmeler
Özet:
Üretken Yapay Zeka, görsel içerik sentezleme ve düzenleme yöntemlerimizi yeniden şekillendirirken görme ve dil arasındaki boşluğu dolduruyor. Bu konuşmada, gelişmiş modeller ve kıyaslamalar aracılığıyla bu kesişimi keşfeden son katkılarımızı sunacağım. Bunlar arasında, metin koşullu adaptör katmanlarını önceden eğitilmiş GAN ters çevirme ağlarına dahil eden ve gerçek görüntülerin hassas ve sezgisel metin odaklı düzenlenmesini sağlayan bir yöntem bulunmaktadır. Buna dayanarak, metin tabanlı nöral video manipülasyonu üzerine yaptığımız çalışma, içerik ve hareketi birbirinden ayırarak tutarlı ve anlamsal olarak anlamlı video düzenlemelerine olanak tanıyor. Metnin ötesine geçerek, SonicDiffusion çerçevemiz, ses özelliklerini difüzyon modelleriyle uyumlu temsillere dönüştürerek ses odaklı görüntü oluşturma ve düzenlemeyi tanıtıyor. Bu çabaları tamamlamak için, çok modlu sistemleri değerlendirmek, dilsel ve zamansal temellerini veya bileşimsel genelleme ve muhakeme yeteneklerini değerlendirmek için sağlam ölçütler de oluşturduk. Toplu olarak, bu çabalar üretken modellerin yeteneklerini geliştirerek daha sezgisel ve esnek multimodal yapay zeka sistemlerini teşvik etmektedir.
Biyografi:
Aykut Erdem, İstanbul Koç Üniversitesi Bilgisayar Mühendisliği Bölümü'nde Doçent olarak görev yapmaktadır ve KUIS Yapay Zeka Merkezi'ne bağlıdır. Doktorasını Ankara'daki Orta Doğu Teknik Üniversitesi'nden (ODTÜ) almıştır. Koç Üniversitesi'ne katılmadan önce Hacettepe Üniversitesi Bilgisayar Mühendisliği Bölümü'nde öğretim üyesiydi ve burada Bilgisayarla Görme Laboratuvarı'nın eş direktörlüğünü yaptı. Araştırmaları, görsel verileri daha iyi anlamak, yorumlamak ve işlemek için yöntemler geliştirmeye odaklanmaktadır. Katkılarından dolayı 2021 yılında Bilim Akademisi'nden Genç Bilim İnsanı Ödülü (BAGEP) almış ve yakın zamanda TÜBİTAK 2247-A Ulusal Üstün Başarılı Araştırmacılar Programı'ndan fon almaya hak kazanmıştır. Ayrıca IEEE Transactions on Image Processing dergisinde Yardımcı Editör olarak görev yapmaktadır.
