Geri Dön

Collectr: A gamified emotional data collection and labelling platform for children

Collectr: Çocuklar için oyunlaştırılmış duygu verisi toplama ve etiketleme aracı

PDF İndir

  1. Tez No: 676540
  2. Yazar: TURGUT CAN AYDINALEV
  3. Danışmanlar: PROF. DR. HATİCE KÖSE
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2021
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Lisansüstü Eğitim Enstitüsü
  11. Ana Bilim Dalı: Oyun ve Etkileşim Teknolojileri Ana Bilim Dalı
  12. Bilim Dalı: Oyun ve Etkileşim Teknolojileri Bilim Dalı
  13. Sayfa Sayısı: 67

Özet

Duygu tanıma üzerine birçok araştırma yapılmış hem sosyal bilimcilerin hem bilgisayar bilimcilerin çalıştığı önemli bir konudur. Bu araştırmaların sonucunda bazı dünya genelinde kabul gören temel kurallar ve ilişkiler ortaya konmuştur. Ancak bu araştırmalar genelde yetişkinler üzerinde olduğu için ve çocukların yüz yapısı farklı olduğu için çocuklarda geçerliliğini yitirmektedir. Günümüzde bilgisayar bilimciler bu temel kuralları kullanarak veya yüz anahtar noktalarını tespit edip onlar ile makine öğrenmesi yaparak duygu tespiti yapmaktadır. Duygu tanıma için bilgisayar bilimcilerin en önemli ihtiyacı yüz verisidir. Yüz verisi, özellikle görüntü işlemede kullanılan önemli bir veri türüdür. Bu yüz verileri aynı zamanda makine öğrenmesi ile duygu tanıma yapılmasında da kullanılmaktadır. Bu projede, yüz verilerinin toplanması için bir araç geliştirilmiştir. Bu araç ile çocuklar üzerinde daha kolay veri toplanabilmesi adına mini oyunların yanında oyunlaştırma teknikleri de kullanılmıştır. Oyunlaştırma, uygulamaya odaklanmayı ve bağlılığı arttırıcı bazı yöntemler bütünüdür. Bu araçta kullanılan yöntemler bazı temel başlıklar altında toplanabilir. ● Alındı geri bildirimleri kullanıcıya yapılan oyunlaştırılmış geri bildirimlerdir. Bunlara madalyalar, kupalar, unvanlar, destek mesajları örnek verilebilir. ● Skor sistemi neredeyse tüm oyunlarda ve oyunlaştırılmış araçlarda kullanılan, kullanıcıya neyin doğru neyin yanlış olduğunu anlatabilen en temel ve en elzem oyunlaştırma yöntemlerinden biridir. ● Zaman kısıtlaması aplikasyona heyecan katan ve kullanıcının odağını arttıran öğeler arasında sayılabilir. ● Kişiselleştirilmiş karakterler oyuna olan bağlılığı ve odağı arttırır. ● Dinamik geri bildirimler oyuncuyu görsel veya işitsel olarak uyaran, oyuncuyu doğru yöne sevk etmeyi amaçlayan efektlerdir. Bu araçta bu oyuncu karakterinin hareketleriyle sağlanmaya çalışılmıştır. Her ne kadar Unity en çok kullanıldığı düşünülen oyun geliştirme platformu olsa da bu aracın geliştirilmesinde bazı sebeplerden ötürü tercih edilmemiştir. Öncelikle, bu araçta oyun özelliklerinden çok kamera ve sunucu iletişimi önemli olduğundan onlar göz önüne alınmıştır. Unity'nin de cihaz kamerası desteği sunan kütüphaneleri olsa da uzun zamandır güncellenmeyen bu kütüphaneler performans açısından da verimsiz oldukları için kullanılamamışlardır. Unity veya diğer oyun motorları yerine bu araç React Native kullanılarak geliştirilmiştir. Her ne kadar React Native JavaScript kullanılarak kodlanan bir dil olsa da tüm temel kütüphaneleri ve aygıtla konuşan tüm iletişim kodları platforma özel yerli dillerde, yani iOS için Objective-C, Android için ise Java kullanılarak yazılmıştır. Bu da tüm temel bileşenlerin yerel kodla yazılmış performansında sağlanması anlamına gelmektedir. Her iki platforma da sorunsuz çıktı alabilen React Native, platform bazında kodlamaya da izin vermektedir. Ayrıca, açık kaynak bir kütüphane olan React Native, yerel dillerde yazılmış üçüncü parti kütüphanelere de izin vermektedir. Dolayısı ile geniş bir kullanıcı kitlesi olan bu kütüphane, aynı zamanda çok geniş bir kütüphane desteğine sahiptir. React Native'in diğer özellikleri şöyle sıralanabilir. ● İnteraktif kullanıcı ara yüzü ile hata ayıklanabilen ve anlık kod değişiklerini simülatöründe gösterebilen bir yapı sunar. ● Bileşen tabanlıdır. Bu obje temelli yaklaşım kompleks yapılar kurmayı ve sonrasında bakımını yapmayı kolaylaştırır. ● Yaratılan bileşenler çoğu zaman React Native'in temel bileşenlerine dayanır böylece farklı platformlar için farklı bileşenler oluşturmaya gerek kalmaz. ● Esnek bir yapı sunar. Yerel dillerle yazılmış projeler ile bağlantı imkânı sunar. Bu projede kullanılan dışarıdan yüklenen React Native kütüphanelerinin en önemlisi, react-native-camera'dır. Hiçbir oyun motorunun sunamadığı bu yüksek performanslı kamera bileşeni, her iki platform için de geniş kamera yönetimi imkânı sunmaktadır. Ayrıca yüz tanıma ve yüz noktalarını tespit etmek için Google'ın geliştirdiği Firebase yüz tanıma aplikasyonu ile entegre çalışabilmektedir. React-native-game-engine kütüphanesi ise aplikasyonda gereken temel oyun döngüsü mantığı için kullanılmıştır. Her ne kadar çok gelişmiş bir kütüphane olmasa da temel oyun işlevlerini sağlamaktadır. Yer çekimi mekanikleri içermemesine rağmen diğer kütüphanelerle entegre çalışabilmektedir. Yer çekimi mekanikleri için matter-js kütüphanesi kullanılmıştır. Uygulamadaki temel tema akışının sağlanması için react-native-paper ara yüz kütüphanesi kullanılmıştır. Kullanıcı karakterleri için react-native-bigheads kütüphanesi kullanılmış olup, bazı özellikleri çocuklara uygun olması açısından kısıtlanmıştır. Sunucu tarafındaki gereksinimler için birden fazla uygulama kullanılmıştır. İlk olarak, kullanıcı bilgilerinin ve fotoğraf detaylarının tutulacağı bir veri tabanı kurulması gerekmektedir. Bunun için PostgreSQL tabanlı GraphQL ile sorgu yazılabilen bir ara yüz sunan Hasura kullanılmıştır. Arka planda en klasik ve stabil veri tabanı yapılarından olan PostgreSQL'i kullanan Hasura, bu sunucu ile iletişimde kolaylıkla kompleks sorgular yazılabilen GraphQL'i kullanmıştır. Hasura kullanılması ile, sunucu ile iletişim kurması gereken ara bir aplikasyon ihtiyacı ortadan kalkmıştır. İkinci olarak, fotoğrafların bir buluta kaydedilmesi ve gerektiğinde erişilebilmesi gerekmektedir. Bu fotoğraflar geleneksel veri tabanlarına kaydedilebilse de hem işgal ettiği yer olarak çok verimsiz olmasından hem de fotoğrafları gösterme ihtiyacı olmasından dolayı farklı bir veri tabanı ihtiyacı doğmuştur. Bunun için obje veri tabanları araştırılmıştır. Birçok obje veri tabanı olsa da birçoğu ücretlidir. MinIO ise geliştiricinin sunucusuna kurulursa ücretsizdir. Veri kaybı ve veri ihlaline karşı güvenlik önlemleri de sunan bu obje veri tabanı, kullanışlı bir ara yüz de sunmaktadır. Bu sunucu ile iletişim için bir ara aplikasyon yazılması gereksinimi doğmuştur. İstenilen fotoğrafın getirilmesi, istenilen klasörün altındaki fotoğrafların getirilmesi, istenilen fotoğrafların silinmesi gibi servisler gereklidir. Bunun için GoLang kullanılarak bir aplikasyon yazılmıştır. Bu aplikasyon, bir sunucuda koşturulmaktadır. Obje veri tabanıyla konuşup fotoğraf servislerine erişim sağlanmaktadır. Uygulama ilk olarak giriş yapma ekranından başlamaktadır. Oyun her açıldığında ilk defa oynayanlar için bir bilgi ekranı gösterilmektedir. Burada uygulamanın kullanım şekli özetlenmiştir. Uygulama için basit bir üyelik sistemi geliştirilmiştir. Bu üyelik sisteminde, kullanıcı eğer ilk defa giriş yapıyorsa, üyelik numarası kısmı hariç diğer bilgileri girmelidir. Üyelik numarası kısmı boş işe kullanıcıya yeni bir üyelik yaratılıp bir kullanıcı numarası atanmaktadır. Kullanıcı üyelik numarasını ana ekranda giriş yaptıktan sonra ekranın üstünde görebilir. Tekrar giriş yapmak için bu numara unutulmamalıdır. Hali hazırda üye olan bir kullanıcı, ismi ve numarası ile giriş yapabilir. Kullanıcılara uygulama boyunca bir karakter eşlik etmektedir. Bu karakter özelleştirilebilirdir. Ana ekranda karaktere tıklayarak özelleştirme sayfasına kullanıcı yönlenebilir. Burada kullanıcı cinsiyete göre rastgele özelliklere sahip bir karakter edinebildiği gibi, aşağıda bulunan seçeneklerden bu karaktere özellikler seçebilir. Kullanıcı mod seçme ekranına geçmek için ana ekranda giriş yaptıktan sonra oyna tuşuna basmalıdır. Bu ekranda, dört tane tuş bulunmaktadır. İki tanesi oyun olup diğerleri ise yetişkinler veya gençler için geliştirilmiştir yüz verisi toplama modu ve toplanan fotoğrafların değerlendirilmesi modlarıdır. Dropy oyununda, yukarıdan duygu kutucukları düşmektedir. Kullanıcının yapması gereken bu duyguları yere düşmeden kırmaktır. Kırması için ise belirtilen duygu durumu ile sabit durması gerekmektedir. Kullanıcı eğer hareket ederse, yukarıdaki sayaç başa sarılmaktadır. Eğer ki kutucuk havada iken sayaç sıfıra gelirse kullanıcı sayı almaktadır. Karakteriyle bu sayıyı aldığı kullanıcıya geri bildirim olarak söylenmektedir. Kullanıcı skor aldığında fotoğraf çekilip etiketi ile kaydedilmektedir. Duygu durumları rastgele seçilip düşmektedir. Her bir duygu durumundan en az bir adet fotoğraf toplandıktan sonra oyun bitmektedir. Shipy oyununda ise uçan bir karakter kullanıcıya eşlik etmektedir. Kullanıcı ekrana tıklayarak karakteri yönlendirebilmektedir. Amaç engellere takılmadan alabilecek en yüksek puanı almaktır. Kullanıcı her engeli aştığında bir puan almaktadır. Oyun her beş skorda daha da hızlanmaktadır ve böylece kullanıcıyı zorlamaktadır. Aynı zamanda, her beş skorda bir kullanıcının o anki duygu durumunun fotoğrafı çekilip o anki skorla beraber kaydedilmektedir. Yüz verisi toplama modunda ise kullanıcıya poz vermesi gereken duygu durumları gösterilmektedir. Kullanıcı, bu duygu durumunu sayaç bitene kadar korumalıdır. Sayaç bitince ise kullanıcıdan fotoğraf alınmaktadır. Alınan bu fotoğraf, kullanıcı onayına sunulmaktadır. Kullanıcı onay verirse, sonraki duygu durumuna geçilmektedir. Tüm duygu durumlarından birer adet onaylandıktan sonra uygulama sonlanmaktadır. Fotoğraf değerlendirme modu ise ancak ebeveyn modunda kullanılabilmektedir. Bu mod, ana ekrandaki sol alttaki küçük tuşa basılarak açılabilir. Çocukların dikkatini çekmemesi için silik olarak tasarlanan bu tuş ile ebeveyn moduna geçilir. Sonrasında ise, onaylanmayan fotoğraflar bu moddan etiketlenebilir. Kullanıcı sadece o kullanıcının yarattığı fotoğrafları görebilir. Araç ilk aşamada yedi çocukla test edilmiştir. Test esnasında çocuğa herhangi bir baskı yapılmamış olup ne kadar oynamak istiyorsa o kadar oynaması istenmiştir. Oyun kısaca açıklanmıştır fakat detaylı bir şekilde anlatılmamıştır. Sadece ebeveynine üyelik işlemleri gibi kayıt aşamaları anlatılmıştır. Çocuklar genel olarak oyunu beğenmişlerdir. Dropy oyununu tüm çocuklar beğenirken, Shipy oyununun kontrollerinde zorlanan bazı çocuklar bu oyunu sevmemişlerdir. Bu durum oyun kültürü olmayan çocuklar için Shipy oyununun bir miktar zorlayıcı olduğunu göstermektedir. Uygulamada genel olarak yüzde 83 başarı yüzdesiyle geçerli fotoğraf alınmıştır. Geçerli fotoğrafın anlamı, sonraki çalışmalarda kullanılabilecek düzgün fotoğraflardır. Fotoğrafların geçerli olup olmadığına çocuğun ebeveynleri karar vermektedir. Shipy oyununda her ne kadar duygu durumumu çeşitliliği kısıtlı olsa da oyundan yüzde 85 oranında geçerli fotoğraf elde edilmiştir. Dropy oyununda ise yüzde 82 oranında geçerli fotoğraf elde edilmesinin yanında, bu fotoğrafların yüzde 67'si doğru olarak poz verilmiştir. Yüzde 14'ü ise geçerli fotoğraflar olmasına karşın çocuğun poz vermesi gereken duygu durumuna ait değillerdir. Bunlara karşın Dropy oyununda neredeyse her duygu durumu başarılı bir şekilde alınmıştır. Çocuklar sadece kızgın duygu durumunu poz vermekte zorlanmışlardır. Bu duygu durumunda başarı yüzdesi her ne kadar yüzde 35 olsa da ortalama olarak her çocuktan bir adet başarılı kızgın duygu durumu alınabilmiştir. Bu da tam olarak istenen kadar olmasa da yeterlidir. Uygulama genel olarak özellikle çocuklardan, çocukları sıkmadan çocuklardan çeşitli duygu durumlarını poz vermelerini isteyip yüz verisi almayı amaçlamaktadır. Bu amaca da genel olarak yüzde 83 oranda başarı yüzdesi yakalayarak ulaştığı söylenebilir. Gelecek çalışmalarda çocukların zorlandığı kızgın duygu durumuna yoğunlaşacak oyun modları ve yeni oyunlaştırma elementleri eklenmesi hedeflenmektedir.

Özet (Çeviri)

Emotion detection is a topic that has been studied by researchers from different majors As a result of these studies, some ground rules and relations about facial emotions have been set, such as the relation between lip motion and happiness. However, most of these ground rules are not applied to children due to their facial structures so the identification of children's emotions is different from adults. Children's faces have unique characteristics that make it harder to label with traditional methods. In order to understand their emotions, some machine learning methods can be used but these methods require a big amount of facial data, for the training. In this thesis, a tool with gamification is implemented to gather labeled emotional data of children. The tool is developed with React Native which is a JavaScript Framework that can export applications cross-platform. Many libraries can be imported in React Native but a high-performance camera library is one of the main reasons for using React Native. Because React Native is an open-source project, it has a great community that develops many optimized libraries which are included in this project. For storing game data, different storages are used according to requirements. For storing user data, PostgreSQL-based Hasura is selected because of usability reasons. It uses GraphQL for queries and creates schemas by itself. For storing images, MinIO object storage is used which provides data breach and loss protection. There are four modes of usage in the tool which are Shipy, Dropy, Basic Tool and Photo Evaluation. Shipy is an endless runner genre game with serious game features. It gathers photos in every five scores. In Dropy, some emotions drop slowly from the air. Users must break them before it reaches the ground. To achieve this goal, the user should pose the emotion and standstill. The user gets a score for each emotion that is broken and a photo is taken. Basic Tool mode is designed mostly for teenagers and adults which only requires posing given emotion. In Photo Evaluation, the user evaluates the photos of the child which are generated by playing games. The application is tested with 7 children. After the experiment, some questions about the game are asked verbally to children. It can be said that they are liked the game. While Shipy has a lack of diversity of emotions, it has 85 percent of valid images which means that these images are usable for future work. On the other hand, Dropy has 82 percent of valid image rate with diversity of the emotions. In general, the application collects images with %83 success rate. Thanks to Dropy, emotion diversity is acceptable even though children have some trouble with posing angry emotions.

Benzer Tezler

  1. Tez No

    786763

    Otel çalışanlarına yönelik oyunlaştırılmış bir mobil uygulama

    A gamified mobile application for hotel staff

    SERDAR BİLGEHAN ŞENOL

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAfyon Kocatepe Üniversitesi

    Bilgisayar Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ MEHMET KAHRAMAN

  2. Tez No

    524566

    Examining the effect of a gamified environment on students' academic motivation and self-efficacy for English

    Oyunlaştırma uygulamasının öğrencilerin akademik motivasyon ve İngilizce öz-yeterlilik düzeylerine etkisinin incelenmesi

    ÖMER KARABACAK

    Yüksek Lisans

    İngilizce

    İngilizce

    2018

    Eğitim ve ÖğretimBahçeşehir Üniversitesi

    Eğitim Teknolojileri Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ YAVUZ SAMUR

  3. Tez No

    512468

    Gamified product design for paper recycling

    Kağıt geri dönüşümü için oyunlaştırılmış ürün tasarımı

    BİRCE YILMAZKARASU

    Yüksek Lisans

    İngilizce

    İngilizce

    2018

    Eğitim ve ÖğretimBahçeşehir Üniversitesi

    Oyun Tasarımı Bilim Dalı

    YRD. DOÇ. DR. YAVUZ SAMUR

  4. Tez No

    792637

    Fen bilimleri dersi eğitiminin oyunlaştırılmış e-öğrenme ortamlarıyla desteklenmesinin motivasyon ve başarıya etkisi

    Effects of using gamified e-learning science education on motivation and academic performance

    FERDİ BAYRAK

    Yüksek Lisans

    Türkçe

    Türkçe

    2023

    Eğitim ve ÖğretimHacettepe Üniversitesi

    Matematik ve Fen Bilimleri Eğitimi Ana Bilim Dalı

    DOÇ. DR. DUYGU SÖNMEZ

  5. Tez No

    742527

    Oyunlaştırılmış öğretim materyalinin öğrenenlerin algılanan motivasyonlarına ve akademik başarılarına etkisi

    The effect of gamified teaching material on learners' perceived motivation and academic achievement

    ABDULLAH KALAY

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Eğitim ve ÖğretimEge Üniversitesi

    Bilgisayar ve Öğretim Teknolojileri Eğitimi Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ YÜKSEL DENİZ ARIKAN

Geri Dön