Video based automatic affect analysis of a child and a therapist during play therapy
Bir çocuk ve bir terapistin oyun terapisi sırasındaki duygu durumunun videodan otomatik analizi
- Tez No: 603322
- Danışmanlar: PROF. DR. LALE AKARUN ERSOY, DOÇ. DR. ALBERT ALİ SALAH
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Boğaziçi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 95
Özet
Makine ve derin öğrenme konusundaki gelişmeler ve büyük verideki ilerleyiş ile birlikte birlikte bilgisayarlı görme, sosyal bilimler de dahil olmak üzere birçok alanı desteklemeye başlamıştır. Her ne kadar psikoloji ve alt dallarında sosyal sinyal işleme için bilgisayarlı görme kullanılsa da, oyun terapisi alanında bilgisayarlı görme kullanımında çalışma eksikliği vardır. Psikoterapik yaklaşımın bir çeşidi olan oyun terapisi bu tür öğrenme tekniklerinin uygulanması açısından uygun fakat çeşitli vücut pozlarının varlığı, farklı oyun aktiviteleri olması ve insanlar ve objelerin üstüste gelmesi gibi nedenlerden dolayı zorlu bir alandır. Bu çalışmada, iki köşegen kamera kullanarak çocuğun oyun terapisi sırasındaki duygulanım analizini izlemek için bir yaklaşım araştırılmaktadır. Ayrıca, terapi odasındaki çocuğu ve terapisti ayırt edebilmek için geliştirdiğimiz insan takip modülü sunulmaktadır. Son olarak, alan uzmanları için zamansal veriler üzerindeki etkiyi etkileşimli olarak görselleştiren, web tabanlı duygulanım analizi aracı tanıtılmaktadır. Bu çalışmada, terapi seansı sırasındaki metinlerin, yüzlerin ve vücut hareketlerininin analizi olmak üzere çeşitli yöntemler ve bu yöntemlerin birleştirilmesi üzerinde deneyler yapılmaktadır. Bu çalışmada, iki milyon yüz ifadesi içeren yaklaşık 350 saatlik terapi videosu kullandık. Sonuçlarımız önerilen sistemin umut verici ve yine de farklı aşamalarda gelişime açık olduğunu göstermektedir.
Özet (Çeviri)
With recent developments in machine and deep learning techniques and the advent of big data, computer vision supports many disciplines, including social sciences. Although computer vision is used in social signal processing in psychology and its sub-branches, there is a lack of studies in the field of play therapy. Play therapy is a psychotherapeutic method, and it is a convenient yet challenging field to apply automatic computer analysis techniques due to the extensive range of body poses, the existence of various play activities, and occlusions with people and objects. In this thesis, we investigate an approach to track the affective state of a child during a play therapy session with two diagonal cameras. Moreover, to differentiate the therapist and the child in the therapy room, we introduce a human tracking module. Finally, we provide a web-based affect analysis tool for the field experts to interactively visualize affect over longitudinal data. We conduct experiments on various modalities and their fusions, including text analysis, face analysis and body motion analysis during the therapy session. In this study, we used about 350 hours of therapy videos, containing two million facial expressions. Our results show that the proposed system is promising and yet still open to improvement at different stages.
Benzer Tezler
- Enabling dynamics in face analysis
Başlık çevirisi yok
HAMDİ DİBEKLİOĞLU
Doktora
İngilizce
2014
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolUniversiteit van AmsterdamPROF. DR. THEO GEVERS
PROF. DR. A. W. M. SMEULDERS
- Content-based lecture video retrieval
İçerik tabanlı ders video erişimi
YİĞİT ŞAHİN
Yüksek Lisans
İngilizce
2023
Eğitim ve ÖğretimÇankaya ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HASAN OĞUL
- Audio-visual affect recognition
Yüz ifadeleri ve sesten çok-kipli duygu tanıma
SARA ZHALEHPOUR
Yüksek Lisans
İngilizce
2014
Elektrik ve Elektronik MühendisliğiBahçeşehir ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
Assoc. Prof. Dr. ÇİĞDEM EROĞLU ERDEM
- Videolarda derin öğrenme yaklaşımları ile anormal durum tespiti ve boyut indirgeme sistemi
Anomaly detection and size reduction system with deep learning approaches in videos
MEHMET TEVFİK AĞDAŞ
Doktora
Türkçe
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul ÜniversitesiEnformatik Ana Bilim Dalı
PROF. DR. SEVİNÇ GÜLSEÇEN
- Koloni morfoloji tahmininde yeni yapay öğrenme modelleri geliştirilmesi
Development of new artificial learning models for colony morphology prediction
VOLKAN ALTUNTAŞ
Yüksek Lisans
Türkçe
2016
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolYalova ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. MURAT GÖK