Geri Dön

A data-centric approach to mitigate visual hallucinations in large vision-language models

Büyük ölçekli görsel-dil modellerinde görsel halüsinasyonları azaltmak için bir yaklaşım

PDF İndir

  1. Tez No: 997797
  2. Yazar: ZEYNEP KARKINER
  3. Danışmanlar: PROF. DR. MUSTAFA SERT
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2026
  8. Dil: İngilizce
  9. Üniversite: Başkent Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: Belirtilmemiş.

Özet

Büyük Dil Modellerin hızla gelişmesiyle, insanların bu modelleri kullanımı farklı bir noktaya evrilmiştir. Bu istekler daha derin çıkarımlar, zorlu hesaplamalar, grafik veya tablo yorumlama gibi yüksek maliyet gerektiren işlemlerdir. Bu işlemleri yürütebilmek için Büyük Görsel Dil Modelleri adı verilen, mimari açıdan daha gelişmiş bir versiyona ihtiyaç duyulmuştur. Fakat halihazırda var olan problemler, gelişmiş versiyonlarda da devam etmektedir. Ele alınan görsel halüsinasyon problemi literatürde, girdi olarak sunulan metinsel ve görsel bilgiye göre üretilen çıktıda tutarsızlık olması durumu olarak tanımlanmıştır. Görsel halüsinasyonların ortaya çıkmasındaki en büyük sebeplerden biri eğitim sırasında kullanılan verinin taraflı veya belirli bir grubun temsilinin az olmasından kaynaklıdır. Bu sorunu azaltmak için uygulanan çözümler çoğunlukla model seviyesinde olmakla birlikte, veri seçimi konusunda yapılan çalışmalar istenilen noktaya gelememiştir. Bu çalışmada, görsel halüsinasyonların azaltılması amacıyla yeni bir örneklem seçme yöntemi önerilmiştir. Önerilen yöntem temelde, görsel ve metin etiket bilgisinin anlamsal benzerliği kullanarak daha dengeli örneklemler seçmeyi hedefler. Bu bağlamda, önerilen yöntem farklı örneklem boyutlarında, soru tiplerinde ve etiketleme yöntemlerinde incelenmiştir. Sonuçlar, literatürde yaygın bir şekilde kullanılan Rastgele Örnekleme yöntemiyle karşılaştırıldığında önemli gelişmeler elde etmiştir. Ayrıca elde edilen sonuçların doğruluğu, istatiksel test yöntemleriyle onaylanmıştır.

Özet (Çeviri)

With the rapid development of Large Language Models, the way people use these models has evolved. These demands involve deeper inferences, complex calculations, and costly operations such as interpreting graphs or tables. To perform these operations, a more architecturally advanced version, known as Large Visual Language Models, is needed. However, existing problems persist even in advanced versions. The visual hallucination problem under consideration is defined in the literature as a situation where there is an inconsistency in the output produced according to the textual and visual information presented as input. One of the biggest reasons for the emergence of visual hallucinations is the biased or under-representative use of a particular group in the data used during training. While solutions applied to reduce this problem are mostly at the model level, studies on data selection have not reached the desired attention. In this study, a new sampling method is proposed to reduce visual hallucinations. The proposed method fundamentally aims to select more balanced samples by using the semantic similarity of visual and textual label information. In this context, the proposed method has been examined in different sample sizes, question types, and labeling methods. The results show significant improvements when compared to the Random Sampling method, which is widely used in the literature. Furthermore, the accuracy of the results has been confirmed using statistical testing methods.

Benzer Tezler

  1. Tez No

    816000

    Dialogue for all: Crafting inclusive and humanized voice assistants for diverse populations through an interdisciplinary approach

    Herkes için diyalog: Farklı topluluklar için kapsayıcı ve insani sesli asistanlar oluşturmak üzerine disiplinler arası bir yaklaşım

    YELİZ YÜCEL

    Doktora

    İngilizce

    İngilizce

    2023

    İletişim BilimleriGalatasaray Üniversitesi

    Radyo Televizyon ve Sinema Ana Bilim Dalı

    PROF. DR. KEREM RIZVANOĞLU

  2. Tez No

    1017872

    Determining the cleaning period of PV solar panels using image-processing simulation

    Görüntü işleme ve simülasyon kullanılarak fotovoltaik güneş panellerinin temizlik periyodunun belirlenmesi

    MALİK CEBRAIL

    Yüksek Lisans

    İngilizce

    İngilizce

    2026

    Elektrik ve Elektronik MühendisliğiSakarya Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. CEYDA AKSOY TIRMIKÇI

  3. Tez No

    246296

    Network centric warfare communications with wireless sensor networks and data fusion

    Ağ destekli harp için telsiz duyarga desteği ve taktik veri birlestirme

    TOLGA ÖNEL

    Doktora

    İngilizce

    İngilizce

    2009

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBoğaziçi Üniversitesi

    Bilgisayar Mühendisliği Bölümü

    PROF. CEM ERSOY

  4. Tez No

    884401

    An intelligent system for ranking e-commerce customer reviews to boost engagement

    Müşteri etkileşimini artırmak için e-ticaret müşteri yorumlarını sıralayan akıllı sistem

    ERTUĞRUL YÜCEL

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Mühendislik Bilimleriİstanbul Teknik Üniversitesi

    İşletme Mühendisliği Ana Bilim Dalı

    PROF. DR. TOLGA KAYA

  5. Tez No

    718249

    Side-channel timing attack oncontent privacy of named data networking

    Başlık çevirisi yok

    ERTUGRUL DOGRULUK

    Doktora

    İngilizce

    İngilizce

    2022

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolUnıversıdade Do Mınho

    PROF. JOAQUİM MACEDO

    PROF. ANTONİO COSTA

Geri Dön