Geri Dön

Görsel soru cevaplama probleminde bağlamsal vektörlerin performans analizi

Performance analysis of contextual vectors in visual question answering problem

  1. Tez No: 731530
  2. Yazar: ÖZLEM HAKDAĞLI
  3. Danışmanlar: DOÇ. DR. METİN BİLGİN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2022
  8. Dil: Türkçe
  9. Üniversite: Bursa Uludağ Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 69

Özet

Görsel soru cevaplama (GSC) çalışmaları, görsel imgeleri anlamlandırmanın yanında tutarlılık sağlamayı hedeflemektedir. GSC problemi, görsel bir imge ile bu imgeye sorulan soru arasındaki bağlantıyı ele almaktadır. Ele alınan bağlantının yorumlanması ve çözümlenmesi, sorulan soruya beklenen cevabın görsel içerisinden elde edilmesini sağlar. Çözümleme işlemini gerçekleştirmek için görsel imgelerin matematiksel düzlemde temsil edilmesi gereklidir. Bu temsiller vektör olarak adlandırılır. Görsel vektörlerin elde edinimi aşamasında, bu çalışmada ImageNet verisi ile eğitilmiş olan Xception ve Inception-Resnet-V2 modelleri kullanılmıştır. Modeller derin konvolüsyonel ağlara ve tekrarlayan katman yapısı sayesinden görsel veriden yüksek doğruluk ile vektör temsili elde edilmektedir. Görsel vektör temsili, GSC problemi için yeterli değildir. Görsele sorulan sorunun matematiksel düzlemde temsili gerekmektedir. Metinsel verilerin temsili diğer adı ile kelime gömmeleri, ön eğitimli modeller olan Word2Vec, Kelime Temsili için Global Vektörler (Global Vectors for Word Representation, GloVe) ve FastText yöntemleri ile anlamsal bağlamdan bağımsız şekilde elde edilmektedir. Transformatörlerden Çift Yönlü Kodlayıcı Temsilleri (Bi-directional Encoder Representations from Transformers, BERT), inşa edilmiş olduğu çok başlı ilgi yapısı ile kelimelerin arasındaki alt bağlamı öğrenmekte ve temsil etmektedir. Bu çalışma ile sorulan sorunun anlamsal bütünlüğünü güçlendirmek için BERT bağlamsal vektörleri uyarlanmıştır. Çalışmanın sonuçları değerlendirildiğinde BERT yöntemi; Word2Vec, GloVe ve FastText yöntemlerinden daha yüksek doğruluk oranlarına ulaştığı görüldü. Böylelikle, literatüre yeni girmiş olan BERT bağlamsal vektörleri yönteminin GSC problemindeki başarısı gösterilmiştir.

Özet (Çeviri)

Visual question answering (VQA) studies aim to provide consistency as well as to make sense of visual images. The VQA problem deals with the connection between a visual image and the question asked to that image. The interpretation and analysis of the discussed link ensures that the expected answer to the question asked is obtained from within the picture. In order to perform the analysis process, it is necessary to represent the visual images on the mathematical plane. These representations are called vectors. In the acquisition phase of visual vectors, Xception and Inception-Resnet-V2 models which are trained with ImageNet data were used. The models obtain vector representation from visual data with high accuracy due to deep convolutional networks and residual layer structure. Visual vector representation is not sufficient for the VQA problem. The mathematical representation of the question asked to the image is required. Representation of textual data, also known as word embeddings, can be obtained independently of the semantic context with the pre-trained models Word2Vec, Global Vectors for Word Representation (GloVe) and FastText, Bi-directional Encoder Representations from Transformers (BERT)learns and represents the sub-context between words with the multi-headed attention structure it is built on. BERT contextual vectors were adapted to strengthen the semantic integrity of the question asked in this study. When the results of the study were evaluated, it was seen that the BERT method achieved higher accuracy rates than the Word2Vec, GloVe and FastText methods. Thus, the success of the BERT contextual vectors method, which has just entered the literature, in the GSC problem has been demonstrated.

Benzer Tezler

  1. The interaction between industrial design student decisions and design process

    Endüstriyel tasarım öğrencileri kararları ile tasarım süreci arasındaki etkileşim

    FERDA ÖZDÜLGER

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Endüstri Ürünleri Tasarımıİstanbul Teknik Üniversitesi

    Endüstriyel Tasarım Ana Bilim Dalı

    PROF. DR. GÜLNAME TURAN

  2. Assessment of urbanization history of Addis Ababa city, Ethiopia

    Addıs Ababa cıty, Ethıopıa'nın kentleşme tarihinin değerlendirilmesi

    ABDURAHMAN HUSSEN YIMER

    Yüksek Lisans

    İngilizce

    İngilizce

    2023

    Şehircilik ve Bölge PlanlamaMersin Üniversitesi

    Şehir ve Bölge Planlama Ana Bilim Dalı

    DOÇ. DR. ALİ CENAP YOLOĞLU

  3. Towards understanding intuitive physics with language and vision

    Dil ve görmeyi kullanarak sezgisel fiziği anlamaya çalışmak

    TAYFUN ATEŞ

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolHacettepe Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. MEHMET ERKUT ERDEM

  4. Le choix de la meilleure alternative de transport pour la solution du probleme de traffic a İstanbul

    İstanbul'daki trafik probleminin çözümü için en uygun ulaşım alternatifinin seçimi

    ASLI GÜL ÖNCEL

    Yüksek Lisans

    Fransızca

    Fransızca

    2003

    Endüstri ve Endüstri MühendisliğiGalatasaray Üniversitesi

    Endüstri Mühendisliği Ana Bilim Dalı

    YRD. DOÇ. DR. MÜJDE EROL GENEVOİS

  5. Geometri ve cebir problemleri çözüm süreçlerinin görselleme ve göstergebilim bağlamında incelenmesi

    Investigation of solution processes of geometry and algebra problems in terms of visualization and semiotics

    ONUR GÜNAYDIN

    Yüksek Lisans

    Türkçe

    Türkçe

    2011

    Eğitim ve ÖğretimMarmara Üniversitesi

    Ortaöğretim Fen ve Matematik Alanları Eğitimi Ana Bilim Dalı

    YRD. DOÇ. DR. ALİ DELİCE