Use of transfer learning for automatic dietary monitoring through throat microphone recordings
Gırtlak mikrofonu kayıtları üzerinden öğrenim aktarımının otomatik diyet takibi için kullanımı
- Tez No: 547635
- Danışmanlar: DOÇ. DR. ENGİN ERZİN
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2019
- Dil: İngilizce
- Üniversite: Koç Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Giyilebilir cihazların ve teknolojilerin sağlık hizmetlerinde kullanılması, mühendislik yaklaşımlarının geliştirilmesini ve entegrasyonunu hızlandırmaktadır. Diyet takibi, diğer sağlıkla ilgili servislere kıyasla zorlu bir uygulamadır. Günümüzde tercih edilen takip yöntemleri ise kişisel kayıtlara dayalıdır. Ancak bireyler genellikle gıda tüketimlerini hafife alma eğilimindelerdir. Bu yüzden tutulan günlükler ve raporlar oldukça yanlı olup, gerçeği yeterince yansıtmamaktadır. Otomatik diyet takibi (ODT) bu soruna çözüm üretmek için akıllı ve giyilebilir bir yaklaşım önerir. ODT üzerine yapılan güncel araştırmalar, algılayıcı cihazlar üzerinden şekillendirilip, geneleksel makine öğrenimi kullanılarak eğitilirler. Bu konuda farklı bir yaklaşım önerilip, ilk önce çiğneme ve yutma algılamalarının sunulduğu bir ODT sistemi, gırtlak mikrofonu (GM) kayıtları üzerinden tanımlanır. Bu yaklaşım, GM algılayıcısını boyun üzerine monte edilmiş invazif olmayan bir yapı olarak kullanarak, gıda tüketiminin takip edilmesi için akıllı bir yapı sunar. Takip eden bölümlerde, gelişmiş tespit ve sınıflandırma sistemleri tasarlamak için öğrenim aktarımı olarak bilinen yeni bir yaklaşım derinlemesine araştırılır. Geleneksel konuşma mikrofonları (KM) ile kaydedilmiş bol miktarda etiketli tüketim verilerine ulaşmak mümkün olsa da, GM kayıtlarından gelen veriler azdır. Bu sorun, derin mimarileri eğitmede önemli bir eksiklik yaratır. Yakın zamanda öğretmen-öğrenci (Ö/Ö) öğrenim paradigması, büyük bir öğretmen ağını taklit eden daha küçük bir öğrenci ağını eğitmek için model sıkıştırma yöntemi olarak tanıtılmıştır. Bu tezde Ö/Ö eğitimine dayanan yeni bir öğrenim aktarımı önerilmektedir. Öğretmen ağı, bol miktarda yüksek kaliteli KM kayıtları üzerinden eğitilirken, öğrenci ağı ise GM kayıtlarını girdi olarak alır ve paralel bir KM ve GM verisetinde derin öznitelikleri çıkarır. Bu, önemli ölçüde daha büyük bir verisetinin kullanılmasına izin verir. Diğer yandan Ö/Ö eğitimi, ortaya çıkan modele sağlamlık kazandırır ve gıda tüketiminin tespit ve sınıflandırma başarımını önemli ölçüde geliştirir.
Özet (Çeviri)
Wearable devices and technologies in healthcare have been accelerating the development and integration of engineering approaches. Dietary monitoring is one challenging application among other healthcare services. Personal records are typically preferred ways of dietary monitoring. However, manual logging is highly biased and unreliable as individuals tend to underestimate their food intake. Automatic dietary monitoring (ADM) is an intelligent wearable coaching solution for this problem. The current research on ADM is shaped by the sensing devices and is fitted by machine learning approaches. In this thesis, we first define an ADM system using a throat microphone (TM) food intake sound recordings, where chewing and swallowing detection is presented. This system uses the TM sensor as a non-invasive transducer mounted on the neck, which is capable of delivering robust signal recordings for intelligent and unobtrusive food intake monitoring. Then, we investigate the use of transfer learning paradigm in depth to design an improved food intake detection and classification system. Although it is possible to reach abundant labeled food intake data recorded with traditional close-talk microphones (CM), data from TM modality is scarce. This creates a bottleneck in training deep architectures effectively using TM data. Recently, teacher/student (T/S) learning paradigm is introduced as a model compression framework, where it describes a class of learning methods for training a smaller student network by mimicking a larger teacher network. We propose a new domain adaptation framework in a heterogeneous setup based on T/S learning paradigm. The teacher network is trained over abundant high-quality CM recordings, whereas the student network takes TM recordings as input and distills deep feature extraction capacity of the teacher over a parallel CM and TM dataset. This allows the use of a significantly larger set of adaptation data, adds robustness to the resulting model, and significantly improves the performance of food intake detection.
Benzer Tezler
- Bitewing radyografilerde interproksimal, okluzal ve sekonder çürüklerin yapay zekâ ile otomatik tespiti: klinik kullanım için arayüz tasarımı
Automatic detection of interproximal, occlusal and secondary caries in bi̇tewing radiographies with artificial intelligence: İnterface design for clinical use
RABİA KARAKUŞ
Diş Hekimliği Uzmanlık
Türkçe
2023
Diş HekimliğiNecmettin Erbakan ÜniversitesiAğız, Diş ve Çene Radyolojisi Ana Bilim Dalı
DOÇ. DR. MELEK TAŞSÖKER
- Arazi örtüsü ve kullanımı için SAR görüntülerinin sınıflandırılmasında topluluk öğrenme tabanlı yaklaşım
Ensemble learning-based approach to classification of SAR images for land cover and use
ELİF MEŞECİ
Yüksek Lisans
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolKarabük ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. CANER ÖZCAN
- Kalça displazisinin otomatik tespiti için u-net, alexnet ve densenet tabanlı hibrit bir derin öğrenme yaklaşımı
A hybrid deep learning approach based on u-net, alexnet and densenet for automatic detection of hip dysplasia
EMİNE ULUSOY
Yüksek Lisans
Türkçe
2025
Mühendislik BilimleriKütahya Dumlupınar ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. DURMUŞ ÖZDEMİR
- Design of a flask-based web application for multi-class cervical cancer image classi̇fi̇cati̇on usi̇ng deep learning models
Derin öğrenme modelleri kullanılarak çok sınıflı servikal kanser görüntü sınıflandırması için flask tabanlı bir web uygulamasının tasarımı
RAWAASY FAYEZ HAMMAD HAMMAD
Yüksek Lisans
İngilizce
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Aydın ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MOHAMMED ALKRUNZ
- A hybrid deep learning metaheuristic model for diagnosis of diabetic retinopathy
Diyabetik retinopatinin tanısı için hibrit bir derin öğrenme meta-sezgisel modeli
ÖMER FARUK GÜRCAN
Doktora
İngilizce
2022
Endüstri ve Endüstri Mühendisliğiİstanbul Teknik ÜniversitesiEndüstri Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ÖMER FARUK BEYCA