Geri Dön

Ses terapisi için çoklu kipli destek sistemi

A multi-modal support system for voice therapy

PDF İndir

  1. Tez No: 553925
  2. Yazar: HASAN CAN AYDAN
  3. Danışmanlar: DR. ÖĞR. ÜYESİ GÖKHAN İNCE
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2019
  8. Dil: Türkçe
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Bilgisayar Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 59

Özet

Ses, günümüzde insanların hayatının her alanında kullanılan birincil iletişim aracıdır. Teknolojinin gelişmesiyle yazı gibi alternatif iletişim yöntemleri gelişmekte olsa da sesli iletişimin etkinliği seviyesine gelememiştir. İletilmek istenen mesajın önemi arttıkça sesli iletişim ihtiyacı artmaktadır. Bazı durumlarda telefon üzerinden sesli iletişim bile yetersiz kalmakta ve yüzyüze konuşma gereği hissedilmektedir. Kişinin postürünün ilk izlenime etki etmesinin yanında direk olarak ses kalitesi üzerinde de etkisi vardır. Postürün iyi olması kaliteli ses çıkarmaya yardımcı olduğundan sesin profesyonelce kullanıldığı durumlarda postürün düzgün olması önem kazanmaktadır. Profesyonel ses kullanıcıları postürleri ile seslerini yerleştirme yani bir tarafa dönmeden seslerini oraya odaklayabilme yetisine sahiptirler. Bu yetenek kazanılabilir olup bu çalışmada tasarlanan sistemin amacını oluşturmaktadır. Çalışmamızda bir ses terapistine, kişinin postürünü düzeltme ve ses yerleştirmeye yönelik terapilerinde yardımcı olacak bir geri bildirim sistemi tasarlanmıştır. Sistem bir hareket yakalama sistemi ile kullanıcının postürüne, mikrofon dizisi ile kullanıcının ses yerleşimine yönelik geri bildirimler vermektedir. Mümkün olduğunca az gecikme, güvenilirlik, açıklık, gürbüzlük ve parçalılık sistemin sahip olmasının hedeflendiği özelliklerden bazılarıdır. Bunun yanında en yüksek seviyede kullanıcı deneyimi sağlayacak bir arayüz tasarlanmıştır. Kullanıcı deneyimi bu tür uygulamalarda yüksek öneme sahip olduğundan bu konu, ses yerleşimi ile birlikte çalışmanın temelini oluşturmaktadır. Ses yerleşimini ölçmek için kullanıcının önünde, arkasında, sağında ve solunda olmak üzere dört mikrofon kullanılmıştır. Lateral eksende sesin yerleşimini hesaplamak için sesin spektrogramının 5000 ile 7000 Hz arasındaki enerji değerlerinin yüksekliği kullanılmıştır. Sesin ön ve arka mikrofona yakınlığını ölçmek içinse sesin soft phonation index (SPI) parametresi kullanılmıştır. Postürün düzgünlüğünü göstermek için hareket yakalama sisteminden gelen veriden, eklemlerin yerel açılarının belirlenen aralıkta olup olmadığı ölçülmüştür. Eklemlerde, aralığın içinde veya dışında olması durumunu belirtmesi amacıyla renk değişimleri kullanılarak geri bildirim verilmiştir. Kullanıcı deneyimini azami düzeye çekmek için sistemi kullanan terapistten ve terapiye katılan kullanıcılardan geri bildirimler alınmıştır. Bu geri bildirimler doğrultusunda iteratif bir şekilde arayüz düzenlenmiştir. Sistem tamamlandıktan sonra kullanıcılara, denetilerek kullanıcı deneyimi testleri yapılmıştır. Kullanıcı deneyimi testleri sonuçları karşılaştırmalı değerlendirme yöntemleri kullanılarak değerlendirilmiş ve sistemin iyi bir kullanıcı deneyimi sunduğu görülmüştür. Gelecekte yapılması planlanan çalışmalar arasında kullanıcı deneyimini geliştirmek için sisteme sanal gerçeklik arayüzü tasarlanması ve terapilerde uzun süreli kullanımda, sistem kullanılmadan yapılan terapilere göre terapi alan kişilerin başarımlarının ve terapilere devamlılığının ölçülmesi vardır.

Özet (Çeviri)

Voice is the primal communication tool used today. Even though alternate communication tools like writing have become viable with the advance of technology it still is not at the same effectiveness level as voice communication. The need for voice communication increases as the importance of the message increases. In some cases even voice communication over a medium like telephone is not enough and there is a need for face to face conversation. There is a correlation between posture quality and voice quality. This correlation is used in therapies by voice therapists, but the voice and posture feed-backs are not satisfactory for people taking the therapies. Voice placement is a part of voice therapies. Voice placement is an ability that can be learned and is the ability to place ones voice to a location without necessarily turning to that location psychically. This ability takes on more importance in people that use their voices professionally like singers. In this work an application was developed to help voice therapists in their therapies by giving clients a more efficient, clear and objective feed-back about their posture quality and voice placement. The application will give feed-back about clients posture so that he/she can maintain the best posture that will enable them to use their voice with better quality. The application was developed with the best user experience in mind. Clients can not see their bodies as others see them and vocal feed-back is usually not sufficient enough, creating the need for a posture assessment and feed-back mechanism. Different techniques for posture assessment was used. Firstly, the technique that uses machine learning models to classify the posture quality was tested, but was deemed insufficient because it gave the result as good-average-bad and did not give information about different joints. After looking through works that try to optimize voice features, the ideal posture was decided as a straight posture with an upright head, with a perpendicular pelvis and stretched shoulders. This posture was accepted as the neutral posture and the users posture was evaluated by how much it deviated from this posture. Some voice features was displayed on the application to give some visual feed-back about users' voices. With the help of the voice therapist the fundamental frequency and the amplitude of the voice was decided on to show in the application as they give important feed-back without confusing the user. These feed-backs are used when the therapist wants the user to stay at a certain posture, increase/decrease, thickening/thinning his/her voice. The visual feed-back helps the user understand better what is expected of them and what they should do and help them make better and more efficient decisions. Experiments with professional voice users showed that the energy between 5000Hz and 7000Hz in voice spectrum analysis and the placed voice in lateral axis has a correlation. Calculating the voice placement for front and back was done using the Soft Phonation Index (SPI) parameter. The energy ratio between ranges 1800-4500Hz and 70-1800Hz is the SPI value and the moment point of the two SPI values of the front and back microphones signifies the voice placement location for front-back axis. The voice features are printed on the screen as bar graphs. If the values of these parameters are lower or higher than a specified threshold than there is a color change on the bar graphs. If the value is in expected range the graph is green and red if it is not. Posture assessment is also done with color change on the users avatar. If there is a deviation from the neutral posture in a joint, that joints color changes according to the degree of the deviation. If there is no deviation or the deviation is negligible the joint color is green. If there is medium deviation the joint color is yellow. Lastly if there is a significant deviation the joint color is red. The feed-back about the voice placement is done using a two dimensional graph. The graph signifies the room the user is in and the middle point of the graph represents the user. The result of the voice placement calculation is printed on this graph with an marker. Thus the user can see where they placed their voice. The user can save their performance, replay it and see their mistakes and evaluate their performance with the therapist. When replaying the record; voice, voice features, posture and feed-backs are printed on the screen as they were when the recording was taken. The application interface was developed using the Unity game engine. Voice features are calculated using anaconda python with python3.5 versions. A comprehensive library was developed for extracting voice features and calculating the voice placement. Motion capturing was done using a Notiom brand Perception Neuron motion capture device. The Axis Neuron software which is part of the product can record and stream the motion data with wire or wirelessly. Voice recording was done using a Motu 8preUsb microphone array. An insulated room was used to take recording. The microphones are placed around the user with two of them being in front and at the back, and the other two being on the left and right side of the user. Feed-back was collected from the voice therapist and the persons the therapist used this system on to increase the user experience to the maximum level. The user interface was designed iteratively according to those feed-backs. After completing the system user experience surveys were done on the people the system was used on. The results of these surveys were evaluated with benchmarking methods which showed that the system provided good enough user experience. User experience surveys were done on subjects to measure systems experience. The experiment was done on 15 people with 9 being man and 6 being woman in a 20 minutes therapy session. The users then filled the user experience survey. The survey consists of 26 general purpose questions in 7-Likert scale, and 3 specific purpose questions for the system. The general question consists of two opposite qualification and there are seven boxes between them. The user pick a box nearer to the qualification the user thinks better suits the application. The 3 specific questions query the users judgement at how much the application helped them place their voices, improve their posture and increase their voice quality. The result were quite positive on the first survey on all but the predictable question. The users found the application unpredictable. As this application is meant to be used with a voice therapist present the unpredictability should not effect the experience severely. The results on the application specific 3 questions were also quite positive. 87\% of users thought that the application helped them fix their postures, while 13% could not decide. 87% of users thought that the application helped them place their voices while 6% did not think the application helped and 7% could not decide. 60% of users thought that the application helped them improve their voice quality while 7% thought it did not help and 33% could not decide. An application was developed to help the voice therapist in their therapies by giving better feed-back to users. The application was deemed to offer good user experience. There are plans to create a virtual reality interface to increase the experience. Also measuring the increase in user efficiency and continuity on therapies which use this system with respect to therapies conducted in the normal way.

Benzer Tezler

  1. Tez No

    807301

    Design and development of audio-emotional serious games for audiology therapy

    Odyoloji terapisi için işitsel-duygusal ciddi oyunlar tasarlama ve geliştirme

    EGE VERİM

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Bilim ve Teknolojiİstanbul Teknik Üniversitesi

    Oyun ve Etkileşim Teknolojileri Ana Bilim Dalı

    PROF. DR. HATİCE KÖSE

  2. Tez No

    689924

    Türkiye'de ses bozuklukları alanında yapılmış çalışmaların incelenmesi

    Examination of studies in the field of voice disorders in Turkey

    CEREN SÖĞÜT

    Yüksek Lisans

    Türkçe

    Türkçe

    2021

    Kulak Burun ve BoğazÜsküdar Üniversitesi

    Dil ve Konuşma Terapisi Ana Bilim Dalı

    PROF. DR. AHMET KONROT KONROT

  3. Tez No

    708819

    İşitme engelliler için homojen alan dağılımlı gişe tipi ses frekansı indüksiyon döngü sistemi tasarımı

    Uniform field distribution audio frequency counter induction loop design for hearing impaired

    MELTEM LORDOĞLU

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Elektrik ve Elektronik Mühendisliğiİstanbul Teknik Üniversitesi

    Elektrik Mühendisliği Ana Bilim Dalı

    DR. ÖĞR. ÜYESİ DENİZ YILDIRIM

    DOÇ. DR. SERHAT İKİZOĞLU

  4. Tez No

    735498

    Konuşma sesi bozukluğu olan çocuklarda teleterapi uygulaması ile sunulan sesletim terapisinin etkililiğinin incelenmesi: fizibilite çalışması

    Effectiveness of an articulation therapy program for the children with speech sound disorder via teletherapy: a feasibility study

    VUSLAT SARPKAYA

    Yüksek Lisans

    Türkçe

    Türkçe

    2022

    Sağlık EğitimiAnadolu Üniversitesi

    Dil ve Konuşma Terapisi Ana Bilim Dalı

    DOÇ. DR. ELÇİN TADIHAN ÖZKAN

  5. Tez No

    411950

    Septum deviasyonlu hastaların septoplasti operasyonu öncesi ve sonrası akustik ses analizi ile değlerlendirilmesi

    Effects of septoplasty on speech and voice

    ELTAF AYÇA ÖZBAL KOÇ

    Tıpta Uzmanlık

    Türkçe

    Türkçe

    2008

    Kulak Burun ve BoğazSağlık Bakanlığı

    Kulak Burun Boğaz ve Baş-Boyun Cerrahisi Ana Bilim Dalı

    DOÇ. DR. İBRAHİM ERCAN

Geri Dön