Geri Dön

Audio-driven image generation and editing with pretrained diffusion models

Önceden eğitilmiş yayınım modelleri ile ses tabanlı görüntü oluşturma ve düzenleme

  1. Tez No: 850979
  2. Yazar: BURAK CAN BİNER
  3. Danışmanlar: DOÇ. DR. İBRAHİM AYKUT ERDEM
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2024
  8. Dil: İngilizce
  9. Üniversite: Koç Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 77

Özet

Son zamanlarda büyük ölçekli metinden görüntü üretim yöntemlerinin ses getiren başarısıyla koşullu görüntü üretimi alanında bir devrime şahitlik etmekteyiz. Bu başarılar aynı zamanda farklı çok kipli koşullanmış görüntü üretimleri için de yeni fırsatlar sunmakta. Uzamsal kontrolü belirleyen görüntü, derinlik, eskiz gibi kipin araştırma konusu olarak ilgi çekerken ses ve görüntünün insan algısının iki ana bileşeni olmasından ötürü eşit miktarda etkili olabilecek bir diğer kipin ses olduğunu savunmaktayız. Bu sebeple, bu tezde büyük ölçekli yayınım modellerinde sese koşullanmış görüntü üretimini mümkün kılan SonicDiffusion adını verdiğimiz bir yöntem önermekteyiz. Yöntemimiz öncelikle ses kliplerinden elde edilen öznitelikleri metin belirteçlerine benzer şekilde yayınım modeline enjekte edilebilen belirteçlere dönüştürmekte. Ardından yayınım modellerinin orijinal değişkenlerini dondurarak, ekstra ses-görüntü çapraz dikkat katmanları sunmakta ve bu katmanları ince ayarlamakta. Yöntemimiz ses koşullandırılmış görüntü üretiminin yanı sıra, görüntü düzenlemesi için yayınım modelleri tabanlı görüntü düzenleme yöntemleriyle birlikte kullanılabilmekte. Yöntemimizin performansını çeşitli ses ve resim veri kümeleri üzerinde göstermekteyiz. Yakın dönemde öne çıkan diğer yöntemlerle de kapsamlı bir kıyaslama yapmakta ve lehimize sonuçlar göstermekteyiz.

Özet (Çeviri)

We are witnessing a revolution in conditional image synthesis with the recent success of large scale text-to-image generation methods. This success also opens up new opportunities in controlling the generation and editing process using multi-modal input. While spatial control using cues such as depth, sketch, and other images has attracted a lot of research, we argue that another equally effective modality is audio since sound and sight are two main components of human perception. Hence, in this thesis we propose SonicDiffusion to enable audio-conditioning in large scale image diffusion models. Our method first maps features obtained from audio clips to tokens that can be injected into the diffusion model in a fashion similar to text tokens. We introduce additional audio-image cross attention layers which we finetune while freezing the weights of the original layers of the diffusion model. In addition to audio conditioned image generation, our method can also be utilized in conjuction with diffusion based editing methods to enable audio conditioned image editing. We demonstrate our method on a wide range of audio and image datasets. We perform extensive comparisons with recent methods and show favorable performance.

Benzer Tezler

  1. Türk popüler müziğinde aranjörlüğün dönüşümü

    Transformation of arranging in the Turkish popular music

    İSMAİL SINIR

    Doktora

    Türkçe

    Türkçe

    2014

    Müzikİstanbul Teknik Üniversitesi

    Müzikoloji ve Müzik Teorisi Ana Bilim Dalı

    PROF. SONGÜL KARAHASANOĞLU

  2. Personality transfer in human animation: Comparing handcrafted and data-driven approaches

    İnsan animasyonunda kişilik aktarımı: El yapımı ve veri odaklı yaklaşımlarının karşılaştırılması

    ARÇİN ÜLKÜ ERGÜZEN

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİhsan Doğramacı Bilkent Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. UĞUR GÜDÜKBAY

  3. FPGA tabanlı, yüksek hızlı sinyal işleme ve fonksiyon üreteci birimi tasarımı

    FPGA based, high speed signal processing and function generator unit design

    ENES ÖZDEMİR

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektrik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ AYDIN TARIK ZENGİN

  4. Chatbot özelinde üretken yapay zekâ ve kişisel verilerin hukuka uygun işlenmesi

    Processing of personal data in compliance with the law and generative artificial intelligence in the context of chatbots

    ŞERİFE NUR KİRAZLI

    Yüksek Lisans

    Türkçe

    Türkçe

    2024

    HukukSakarya Üniversitesi

    Özel Hukuk Ana Bilim Dalı

    PROF. DR. ŞAFAK NARBAY

  5. Sırörtülü ses dosyalarının yapay zeka yöntemleri yardımıyla çözümlenmesi

    Analysis of steganographed audio files with the guide of artificial neural networks

    ALİ DURDU

    Yüksek Lisans

    Türkçe

    Türkçe

    2010

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya Üniversitesi

    Elektronik-Bilgisayar Eğitimi Ana Bilim Dalı

    YRD. DOÇ. DR. AHMET TURAN ÖZCERİT