Multimodal classifier for disaster response
Afet müdahale için çok modlu sınıflandırıcı
- Tez No: 722674
- Danışmanlar: DR. ÖĞR. ÜYESİ SAED ABDEL WAHHAB RESHID AL-QARALEH
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
- Anahtar Kelimeler: Afet yönetimi, Görüntü sınıflandırma, Metin sınıflandırma, Sınıflandırıcı sistemler, Disaster management, Image classification, Text categorization, Classfier systems
- Yıl: 2022
- Dil: İngilizce
- Üniversite: Hasan Kalyoncu Üniversitesi
- Enstitü: Lisansüstü Eğitim Enstitüsü
- Ana Bilim Dalı: Elektronik ve Bilgisayar Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: Belirtilmemiş.
Özet
Günümüzde sosyal medya verileri, doğal afet gibi zaman açısından kritik durumlarda doğru karar verme noktasında büyük bir fark oluşturan önemli bir çalışmadır. Sosyal medya içeriği mesaj, resim ve videolardan oluşur. Bazı durumlarda doğal afetin neden olduğu hasarı sadece metinden anlamak analiz açısından yeterli değildir, afetin etkisi görsel verilerle daha iyi anlaşılmaktadır. Sosyal medya platformlarından metin verisetleri araştırmacılar tarafında yaygın olarak kullanılmakta ve sınırlı sayıda çalışma görüntüler gibi farklı içeriklerin kullanımına odaklanmıştır. Bunun nedeni, afetlerle ilgili etiketli görüntü veri kümelerinin sayısının çok sınırlı olmasıdır. Bu nedenle bu tezde çok modlu bir Türkçe metin ve görüntü veri kümesi sunarak bu sınırlamayı ele almayı hedefliyoruz. Çalışmamızda, geç füzyon tekniği ile multimodal sınıflandırma çalışmaları yapılmıştır. Ayrıca, multimodal sınıflandırma elde etmek için; metni sınıflandırmak amacıyla; önceden eğitilmiş LSTM modeli kullanılırken, görsel içerik için önceden eğitilmiş bir CNN modeli kullanıyoruz. Genel olarak, çok modlu öğrenme mimarisinde her iki verinin birleştirilmesi ile %91,87 doğruluk sağlandı
Özet (Çeviri)
Nowadays, social media data can be used to make a huge difference in making correct decisions in time-critical situations, such as the event of natural disasters. Social media content consists of messages, images, and videos. In some cases, understanding the damage caused by natural disasters only from text is not enough in terms of analysis, the effect of disaster is better understood using visual data. Text datasets from social media platforms are widely used by researchers, and a limited number of studies have focused on the use of other content such as images. This is due to the fact that the number of tagged image datasets related to disasters is very limited. Therefore, in this thesis, we aim to address this limitation by presenting a multimodal Turkish text and images dataset. Multimodal classification studies were carried out with the late fusion technique. Also, to achieve multimodal classification; a pre-trained LSTM model is used for classifying the text while a pre-trained CNN model is used for the visual content. Overall, concatenating both inputs in a multimodal learning architecture achieved an accuracy of 91.87%.
Benzer Tezler
- Land cover and land use classification of multi-modal high-resolution satellite images using multi-task deep learning approach
Çok görevli derin öğrenme tekniği ile çok kipli yüksek çözünürlüklü uydu görüntülerinin arazi örtüsü ve arazi kullanımı sınıflandırılması
BURAK EKİM
Yüksek Lisans
İngilizce
2021
İstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
Yükleniyor...
- Investigating olive trees by monitoring phenological stages using multi-modal satellite sensor data
Çok-modlu uydu sensör verileri kullanılarak fenolojik aşamalarının izlenmesiyle zeytin ağaçlarının araştırılması
HAYDAR MUHAMMED AKÇAY
- Classifier fusion for multimodal correlated classifiers and video annotation
Bağımlı sınıflandırıcılar ve video işaretleme için sınıflandırıcı birleştirme
ÜMİT EKMEKCİ
Yüksek Lisans
İngilizce
2014
İstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
Yükleniyor...
- Applications of multimodal sensor data from driving simulators: Driving scene recognition for contextual analysis of neurophysiological and behavioral data
Sürüş simülatörlerinden elde edilen çok modlu sensör verilerinin uygulamalari: nörofizyolojik ve davranişsal verilerin bağlamsal analizi i̇çin sürüş sahnesi tanima
ZEYNEP SEMA AYDIN
- Hybrid deep learning architectures for early detection and continuous monitoring of parkinson's disease using multimodal sensor data
Çok modlu sensör verileri kullanılarak parkinson hastalığının erken tespiti ve sürekli izlenmesi için hibrit derin öğrenme mimarileri
MARWAH MUWAFAQ KADHIM AL-MOZANI
Doktora
İngilizce
2026
Karabük ÜniversitesiElektrik ve Elektronik Mühendisliği Ana Bilim Dalı
Yükleniyor...