Audio-visual saliency in omnidirectional panoramic scenes
Çok yönlü panoramik sahnelerde görsel-işitsel belirginlik
- Tez No: 882420
- Danışmanlar: DOÇ. DR. İNCİ AYHAN, DOÇ. DR. İBRAHİM AYKUT ERDEM
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Psikoloji, Computer Engineering and Computer Science and Control, Psychology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Sosyal Bilimler Enstitüsü
- Ana Bilim Dalı: Bilişsel Bilim Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 170
Özet
Sanal gerçeklik cihazlarının daha yaygın hale gelmesiyle, insanların panoramik sahneleri nasıl keşfettiklerini araştırmak ilgi çekici bir konu haline gelmiştir. Bu tür ortamlarda görsel dikkati tahmin etmek için çeşitli hesaplamalı modeller mevcuttur. Ancak, mevcut literatür, belirginlik haritalarını tahmin ederken işitsel ipuçlarını büyük ölçüde göz ardı etmektedir. Daha yetkin modellerin yolunu açmak için, sahne özelliklerinin ve ses kategorilerinin görsel keşfi nasıl etkilediğini araştırdık. Bu bağlamda, çeşitli ses ve mekanlara ait anlamsal kategorilerin gözlemci dikkatini nasıl etkilediğini ve bu tür etkilerin farklı renk ve ses modülasyonları arasında nasıl farklılaştığını bir deney yaparak ve yeni bir göz hareketi izleme veri seti oluşturarak araştırdık. Analizler, gözlemcinin 360° videoları serbestçe izlerkenki keşif davranışının, farklı ses kategorileri arasında tamamen değiştiğini ortaya koydu. Sesin mekansal özellikler içerip içermediğine bakılmaksızın, sesin varlığı bu keşif davranışını güçlü bir şekilde yönlendirdi. Renk içeriği ise benzer bir etkiye sahip değildi. Ayrıca, katılımcılara serbest izleme, arama ve hafıza geri çağırma görevlerinde farklı renklerde basit üç boyutlu görsel-işitsel uyaranlar göstererek gerçekleştirilen bir psikofizik deneyi ile farklı görev türlerinin göz sabitlemeleri üzerindeki etkileri araştırıldı. Analiz sonuçları, renk kontrast seviyeleri dışında modüle edilen özelliklerin hiçbirinin bir etkisi olmadığını, dolayısıyla bir görev mevcut olduğunda yalnızca görevle ilişkili özelliklerin göz sabitlemleri üzerinde rol oynadığına işaret etmektedir.
Özet (Çeviri)
As virtual reality devices become more widespread, investigating how humans explore omnidirectional panoramic scenes has become a topic of interest. Several computational models now exist for predicting visual saliency in such environments. However, the existing literature largely ignores auditory cues while estimating saliency maps. To pave the road for more capable models, we investigate how scene attributes and sound categories influence visual exploration. In that manner, how several semantic categories for audio and places influence observer saliency and how such effects differ across different color and audio modulations are investigated by conducting an experiment and creating a novel eye-tracking dataset. Analyses revealed that when viewing 360° videos freely, observer exploration behavior completely changed across different audio categories. The presence of audio, irrespective of whether it contained spatial features, strongly guided this exploration behavior. Color information did not necessarily have a similar effect. Furthermore, the effects of task type over eye fixations were explored by conducting a psychophysics experiment via presenting participants with simple three-dimensional audio-visual stimuli across free viewing, search, and memory recall tasks where the stimuli differed by colors. Overall, analyses revealed that neither of the modulated features had any effect except color contrast levels, hinting that only the task-relevant features play a role in eye fixations in the presence of a task.
Benzer Tezler
- Spherical vision transformers for audio-visual saliency prediction in 360◦ videos
360◦ videolarda görsel-işitsel belirginlik tahmini için küresel görüntü dönüştürücüleri
MERT ÇÖKELEK
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. İBRAHİM AYKUT ERDEM
- Spherical vision transformers for audio-visual quality assessment of omnidirectional image and video
Omnidireksiyonel görüntü ve video'nun sesli-görsel kalite değerlendirmesi için küresel görüntü dönüştürücüler
NAFISEH JABBARITOFIGHI
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKoç ÜniversitesiBilgisayar Bilimleri ve Mühendisliği Ana Bilim Dalı
DOÇ. DR. İBRAHİM AYKUT ERDEM
- Avrupa Birliği'nin görsel işitsel medya politikaları ve Avrupa Parlamentosu ve Avrupa Birliği Konseyi'nin 14 Kasım 2018 tarih ve 2018/1808 EU sayılı direktifi
Audio-visual media policies of the European Union and Directive (EU) 2018/1808 of the European Parliament and of the Council of 14 November 2018
NESLİHAN KOÇ AKÇAY
Yüksek Lisans
Türkçe
2022
HukukAnkara Hacı Bayram Veli ÜniversitesiÖzel Hukuk Ana Bilim Dalı
DOÇ. DR. ALİ İBRAHİM AKKUTAY
- Görsel-işitsel arşivler ve Türkiye'deki durum
Audio-visual archives and circumstances in Turkey
EMRAH ERDOĞAN
Yüksek Lisans
Türkçe
2005
Bilgi ve Belge YönetimiMarmara ÜniversitesiBilgi ve Belge Yönetimi Ana Bilim Dalı
DOÇ.DR. OĞUZ İÇİMSOY
- Tipografinin görsel ve işlevsel olarak incelenmesi
Audio-visual examination of typography
NİLÜFER YEŞİLYURT
Sanatta Yeterlik
Türkçe
1995
Güzel SanatlarMimar Sinan Güzel Sanatlar ÜniversitesiUygulamalı Sanatlar Ana Sanat Dalı
PROF. İLHAMİ TURAN