Natural speech representations in the human brain during a cocktail party
Kokteyl partisi sırasında beyindeki doğal konuşma temsilleri
- Tez No: 688697
- Danışmanlar: DOÇ. DR. TOLGA ÇUKUR
- Tez Türü: Doktora
- Konular: Psikoloji, Psychology
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2021
- Dil: İngilizce
- Üniversite: İhsan Doğramacı Bilkent Üniversitesi
- Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Sinir Bilimi Ana Bilim Dalı
- Bilim Dalı: Sinirbilim Bilim Dalı
- Sayfa Sayısı: 155
Özet
İnsanlar, arka planda hedef olmayan konuşmacıları filtrelerken, kalabalık bir ortamda istenen bir konuşmacıyı seçici olarak dinleme konusunda oldukça ustadır. Dikkat, bu zor kokteyl partisi görevini çözmenin anahtarıdır, ancak konuşma temsilleri üzerindeki dikkat etkilerinin ayrıntılı bir karakterizasyonu eksiktir. Kokteyl partisi görevi sırasında her bir beyin bölgesinde hangi seviye konuşma özelliklerinde ve ne kadar dikkat modülasyonunun gerçekleştiği belirsizliğini koruyor. Ayrıca, seçici dinleme sırasında dikkat edilmeyen konuşmanın kortekste temsil edilip edilmediği ve temsil ediliyorsa hangi özellik seviyelerinde temsil edildiği netleştirilmelidir. Bu soruları ele almak için, denekler ya pasif olarak tek konuşmacılı hikayeleri dinlerken ya da üst üste bindirilmiş hikayelerdeki erkek ya da kadın konuşmacıdan birine seçici olarak dikkat kesilmişken, tüm beyin kan-oksijen-seviyesi-bağımlı (BOLD) yanıtları ayrı deneylerde kaydettik. Doğal hikayelerin spektral, artikülatör ve semantik modelleri, konuşma özelliklerinin hiyerarşisi hakkında kapsamlı değerlendirmeler yapabilmek için oluşturulmuştur. İçsel seçicilik profilleri, pasif dinleme yanıtlarına fit edilmiş vokselsel modeller aracılığıyla belirlendi. Daha sonra, kokteyl partisi görevindeki dikkat edilen ve edilmeyen öyküler için model tahminlerine dayalı olarak dikkat modülasyonları hesaplandı. Akustik temsillerin erken işitsel korteksle sınırlı olduğunu, oysa dilsel temsillerin korteks boyunca geniş bir şekilde dağıldığını; dikkatin konuşma hiyerarşisinin sonraki aşamalarına doğru giderek güçlenen bir şekilde, konuşma temsillerinin birden çok seviyesinde (artikülator ve semantik) geniş modülasyonlara neden olduğunu, ve dikkat edilmeyen konuşmanın parabelt işitsel kortekste semantik seviyeye kadar temsil edildiğini bulduk. Bu sonuçlar, gürültülü, çok konuşmacılı ortamlarda istenen bir konuşmacıyı seçici olarak dinleme yeteneğinin altında yatan dikkat mekanizmalarını anlamımza büyük katkı sağlamaktadır.
Özet (Çeviri)
Humans are remarkably adept in selectively listening to a desired speaker in a crowded environment, while filtering out non-target speakers in the background. Attention is key to solving this difficult cocktail-party task, yet a detailed characterization of attentional effects on speech representations is lacking. It remains unclear across what levels of speech features and how much attentional modulation occurs in each brain area during the cocktail-party task. Besides, it should be clarified whether unattended speech is represented in cortex during selective listening and if so, at what feature levels its representations are maintained. To address these questions, we recorded whole-brain blood-oxygen-level-dependent (BOLD) responses while subjects either passively listened to single-speaker stories, or selectively attended to a male or a female speaker in temporally-overlaid stories in separate experiments. Spectral, articulatory, and semantic models of the natural stories were constructed to enable comprehensive assessments on the hierarchy of speech features. Intrinsic selectivity profiles were identified via voxelwise models fit to passive listening responses. Attentional modulations were then quantified based on model predictions for attended and unattended stories in the cocktail-party task. We find that acoustic representations are confined to the early auditory cortex whereas linguistic representations are broadly distributed across cortex, that attention causes broad modulations at multiple levels of speech representations (articulatory and semantic) while growing stronger towards later stages of processing, and that unattended speech is represented up to the semantic level in parabelt auditory cortex. These results provide insights on speech perception and attentional mechanisms that underlie the ability to selectively listen to a desired speaker in noisy multi-speaker environments.
Benzer Tezler
- The effects of passive familiarization on neural and behavioral discrimination of acoustic signals
Başlık çevirisi yok
EFE SOYMAN
Doktora
İngilizce
2018
PsikolojiRutgers, The State University of New Jersey-New Brunswick CampusDR. DAVID S. VICARIO
- Emotion aware artificial intelligence for cognitive systems
Bilişsel sistemler için duygu farkındalıklı yapay zeka
DEĞER AYATA
Doktora
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. YUSUF YASLAN
PROF. DR. MUSTAFA ERSEL KAMAŞAK
- Deep learning based three dimensional face expression recognition using geometry images from three dimensional face models
Üç boyutlu yüz modellerinden elde edilen geometri görüntüleri kullanılan derin öğrenme tabanlı üç boyutlu yüz ifadelerini tanıma
NEŞE GÜNEŞ
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. ULUĞ BAYAZIT
- Yapay sinir ağları ile doku sınıflandırma
Tissue classification using artificial neural networks
AYSU SEVEN
Yüksek Lisans
Türkçe
1993
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiPROF.DR. ERTUĞRUL YAZGAN
- Dilin doğuşu kuramlarının bilişsel dilbilim açısından değerlendirilmesi
An Evaluation of language origins theories on the basis of cognitive linguistics
HALİT ŞEN
Yüksek Lisans
Türkçe
2003
DilbilimMersin Üniversitesiİngiliz Dili ve Edebiyatı Ana Bilim Dalı
PROF. DR. AYHAN SEZER