Geri Dön

Derin öğrenme teknikleri kullanılarak küçük veri setleri için görüntü altyazısı üretme

Image caption generation for small datasets using deep learning techniques

  1. Tez No: 940279
  2. Yazar: İLAYDA YILDIZ
  3. Danışmanlar: PROF. DR. AYBARS UĞUR
  4. Tez Türü: Doktora
  5. Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Computer Engineering and Computer Science and Control
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2025
  8. Dil: Türkçe
  9. Üniversite: Ege Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Bilgisayar Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 108

Özet

Görüntüler için altyazı üretimi, temel olarak insan davranışıyla paralellik gösteren bir sistemin, derin öğrenme modelleri ve metotlarıyla sanal bir ortamda gerçekleştirilmesidir. Bu sistemlerde, girdiyi işlemeyi sağlayan bir kodlayıcı ve çıktıyı ifade etmeyi sağlayan bir kod çözücü mekanizma bulunmaktadır. Yapay zekanın gelişimi ve derin öğrenme alanında yapılan çalışmaların önem kazanmasıyla uygun veri setlerine duyulan ihtiyaç artmaktadır. Bu tezde, derin öğrenme alanında küçük veri setleriyle çalışma problemi de ele alınarak az veriye sahip olunan durumlarda derin öğrenme algoritmaları kullanılarak geliştirilen modellerin başarısının hangi yollarla artırılabileceği üzerine çalışılmıştır. Çalışmada, kodlayıcı olarak, derin öğrenme kullanılarak VGG16, ResNet, EfficientNetB2 gibi CNN modelleri ve VisionTransformer model; kod çözücü olarak ise LSTM, RNN, GPT, dikkat (attention) ve dönüştürücü (transformer) modeller gibi görüntülerden altyazı üretmek için değişik mimariler oluşturularak gerçekleştirimleri yapılmıştır. Önerilen farklı model kombinasyonları üzerinde deneysel çalışmalar yapılmış ve başarım değerleri elde edilerek performansları karşılaştırılmıştır. Görüntüler için altyazı üretimi kapsamında üretilen modellerle birlikte hem görüntü hem de metin veri tipleri için ayrı ayrı ve birlikte veri artırımı uygulanarak etkilerinin gözlemlenmesi tezin katkısını oluşturmaktadır.

Özet (Çeviri)

Caption generation for images is basically the realisation of a system that parallels human behaviour in a virtual environment with deep learning models and methods. In these systems, there is an encoder mechanism to process the input and a decoder mechanism to express the output. With the development of artificial intelligence and the increasing importance of studies in the field of deep learning, the need for appropriate data sets is increasing. In this thesis, the problem of working with small datasets in the field of deep learning is also addressed and the ways in which the success of the models developed using deep learning algorithms can be increased in situations with small datasets are used. In this study, various architectures were implemented to generate captions from images using deep learning-based CNN models, including VGG16, ResNet, and EfficientNetB2, as well as the Vision Transformer model as the encoder. For the decoder, models such as LSTM, RNN, GPT, attention mechanisms, and transformers were utilized. Experimental studies were conducted on different combinations of these models, and their performance was evaluated through the use of success metrics. This thesis contributes by examining the effects of data augmentation, which was applied both separately and jointly to images and text, in conjunction with the proposed models for image captioning.

Benzer Tezler

  1. Deep learning model based on artificial intelligence for detection and classification of asphalt distress

    Asfalt bozulmalarının tespiti ve sınıflandırılması için yapay zekâ tabanlı derin öğrenme modeli

    MUHAMMET FATİH SADAK

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Ulaşımİstanbul Teknik Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    PROF. DR. ABDULLAH HİLMİ LAV

  2. Skın cancer detectıon and classıfıcatıon usıng deep learnıng

    Derin öğrenme kullanilarak cilt kanserinin tespiti ve siniflandirilmasi

    ALZAHRAA YAHYA HAIDER HAIDER

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolAltınbaş Üniversitesi

    Elektrik ve Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. GALİP CANSEVER

  3. Derin öğrenme teknikleri kullanılarak mamografi görüntüleri üzerinden meme kanseri tahmini

    Breast cancer prediction from mammography images using deep learning techniques

    ŞEYMA DOĞRU

    Yüksek Lisans

    Türkçe

    Türkçe

    2025

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolBursa Teknik Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    DOÇ. DR. ERDEM YAVUZ

  4. Prediction of COVID 19 disease using chest X-ray images based on deep learning

    Derin öğrenmeye dayalı göğüs röntgen görüntüleri kullanarak COVID 19 hastalığının tahmini

    ISMAEL ABDULLAH MOHAMMED AL-RAWE

    Yüksek Lisans

    İngilizce

    İngilizce

    2024

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolGazi Üniversitesi

    Bilgisayar Mühendisliği Ana Bilim Dalı

    PROF. DR. ADEM TEKEREK

  5. Segmentation of colon nuclei images using deep learning

    Kalın bağırsak hücre görüntülerinin derin öğrenme kullanılarak bölütlenmesi

    ATAKAN ÖZKAN

    Yüksek Lisans

    İngilizce

    İngilizce

    2025

    Biyomühendislikİstanbul Teknik Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. ENDER METE EKŞİOĞLU