Tinyml tabanlı görsel işitsel anahtar kelime tespiti
Tinyml based audio visual keyword detection
- Tez No: 886423
- Danışmanlar: PROF. DR. HAMİT ERDEM
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: Türkçe
- Üniversite: Başkent Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: Belirtilmemiş.
Özet
Anahtar kelime tespiti (AKT), makine öğreniminin kullanıldığı alanlardan birisidir. Amacı, ses veya görüntü verisinden belirli kelime veya objenin otomatik tespit edilmesidir. Taşınabilir yapay zekâ uygulamalarının artmasıyla beraber, bu alanda da uygulamalar artmaktadır. Özellikle AKT uygulamalarının etkinliğini artırmak için hibrit sistemler (ses ve görüntünün birlikte kullanımı) üzerinde çalışma yapılmaktadır. Bu sistem ile birlikle iki farklı kanaldan algılanan ses ve görüntü komutlarının birleştirilmesi amaçlanmaktadır. Bilgisayar (PC) ortamında görsel işitsel AKT üzerinde birçok çalışma yapılmış ve iyi sonuçlar elde edilmiştir. Diğer taraftan derin öğrenme uygulamalarını düşük kapasiteli işlemciler üzerinde gerçekleştirmek için TinyML (Düşük Kapasiteli Makine Öğrenmesi) kapsamında çalışmalar yapılmaktadır. Bu uygulamalarda, derin öğrenmeye yönelik geliştirilen modelin parametrelerini azaltarak (nicelleştirme, kırpma) sıradan mikrodenetleyici üzerinde uygulama imkânı oluşturmaktadır. Bu çalışmada ses ve görüntü verisi kullanılarak, TinyML alanında AKT uygulaması önerilmiştir. Önerilen hibrit modelin eğitiminde öncelikle ses ve görüntü modelleri Edge Impulse yazılım ortamında ayrı ayrı eğitilmiştir. Geliştirilen MobileNetV2 ve CNN tabanlı modeller ESP32-CAM ve Arduino Nano BLE geliştirme kitlerine yüklenerek, denenmiştir. Daha sonra modeller doğrusal ağırlıklı birleştirme metodu ile birleştirilerek denenmiştir. Sistemin başarısı standart ölçütlere göre test edilmiştir. Deneysel sonuçlarda doğruluk ölçütüne göre, sadece ses tabanlı AKT başarısı %85, sadece görüntü tabanlı AKT başarısı %85 olurken, görsel işitsel hibrit uygulamasında sınıflandırma başarısı %90 civarında olmuştur.
Özet (Çeviri)
Keyword detection (KWD) is one of the areas where machine learning is used. Its purpose is the automatic detection of specific words or objects from audio or image data. As portable artificial intelligence applications become more prevalent, the number of applications in this field is also growing. In particular, hybrid systems (the use of audio and video together) are being studied to increase the effectiveness of KWD applications. The system aims to combine audio and visual commands detected through two different channels. Extensive work has been done on audiovisual keyword detection in a computer environment, yielding good results. On the other hand, efforts are being made within the scope of TinyML (Low-Power Machine Learning) to implement deep learning applications on low-capacity processors. In these applications, reducing the parameters of the deep learning model (quantization, pruning) makes it possible to implement the model on ordinary microcontrollers. In this study, a keyword detection application in the field of TinyML is proposed using audio and visual data. In the training of the proposed hybrid model, the audio and visual models were first trained separately in the Edge Impulse software environment. Developed MobileNetV2 and CNN-based models were loaded onto ESP32-CAM and Arduino Nano BLE development kits and tested. Subsequently, the models were combined using a linear weighted fusion method and tested. In the experimental results, according to the accuracy criterion, the success rate of the audio-based KWD was 85%, the success rate of the image-based KWD was 85%, while the classification success in the audiovisual hybrid application was around 90%.
Benzer Tezler
- Ankara ve çevresindeki mezbahalardan elde edilen sığır ve koyunların et, karaciğer ve böbreklerinde bazı kinolon grubu antibakteriyel ilaç kalıntılarının incelenmesi
The Research of some quinolone group antibacterial drug residues in meats, kidneys and livers of cattle and sheep collected from slaughterhouses in Ankara region
FERİDE KOÇ
Doktora
Türkçe
2002
Veteriner HekimliğiAnkara ÜniversitesiFarmakoloji ve Toksikoloji Ana Bilim Dalı
PROF.DR. EMİNE BAYDAN
- Anne sütünün bireysel güçlendirilmesi: Gerçekten fark yaratıyormu
Başlık çevirisi yok
SERTAÇ ARSLANOĞLU
Tıpta Uzmanlık
Türkçe
2005
Çocuk Sağlığı ve HastalıklarıEge ÜniversitesiÇocuk Sağlığı ve Hastalıkları Ana Bilim Dalı
PROF.DR. NİLGÜN KÜLTÜRSAY
- Uludağ Üniversitesi Tıp Fakültesi Mikrobiyoloji Laboratuvarında kan kültürlerinden izole edilen candida türlerinin antifungal duyarlılıklarının belirlenmesi
Determining the antifungal sensitivities of candida types isolated from blood cultures in Uludag University Faculty of Medicine, Microbiology Laboratory
ÖZDEMİR ÖZKAN
Tıpta Uzmanlık
Türkçe
2011
MikrobiyolojiUludağ ÜniversitesiTıbbi Mikrobiyoloji Ana Bilim Dalı
PROF. DR. BEYZA ENER
- Nano boyutlu çinko borat sentezinde reaksiyon koşullarının etkisi
The effect of reaction conditions in synthesis of zinc borate in nanoscale
YEŞİM İNAN
Yüksek Lisans
Türkçe
2012
Kimya Mühendisliğiİstanbul Teknik ÜniversitesiKimyasal Teknolojiler Ana Bilim Dalı
PROF. DR. HALE GÜRBÜZ
- Mikroalglerden enzimatik sulu ekstraksiyon yöntemi ile yağ eldesi
Enzymatic aqueous extraction of oil from microalgae
YİĞİT AYHAN
Yüksek Lisans
Türkçe
2015
Kimya Mühendisliğiİstanbul Teknik ÜniversitesiKimya Mühendisliği Ana Bilim Dalı
PROF. DR. MELEK TÜTER