Context-based visual data generation for image enhancement and automatic colour calibration
Görüntü iyileştirme için bağlam tabanlı görsel veri üretimi ve otomatik renk kalibrasyonu
- Tez No: 902509
- Danışmanlar: PROF. DR. GÖZDE AKAR
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 211
Özet
Dijital kameraların geniş uygulama alanları nedeniyle bu cihazların temsil kalitesi önemli bir performans kriteri haline gelmiştir. Donanım sınırlamaları veya sahnedeki anlık değişimler nedeniyle, çıktı görüntüsünde istenmeyen bozulmalar görünebilir. Prosedür tekrarlanamaz olduğundan, görüntü iyileştirme yöntemleri çoğunlukla kötü konumlanmış olarak ortaya çıkar. Çalışma kapsamında, kendi yazdığı bir betimlemeye dayalı olarak görüntüler üreten ve bağlama dayalı bir bozulma uygulayarak bu görüntünün düzenlenmiş versiyonunu özerk bir şekilde sağlayan yeni bir ajan olan olan AIti-FAct önerilmiştir. AIti-FAct, uçtan uca görüntü düzenleme görevini betimleme oluşturma, görüntü oluşturma ve bozma gibi daha basit alt görevlere ayırır ve birden fazla araç kullanımına izin verir. Ayrıca, bozma alt görevi, görüntüyü içeriğine göre çarpıtmak için 12den fazla aracın mevcut olduğu başka bir ajanı aracı olarak uygulanır. Eğitilmiş BDMlerin gücünden yararlanan bu iç içe geçmiş aracı, yalnızca kullanıcı istemleri yürütmekle kalmaz, aynı zamanda yalnızca betimlemeye bağlı olarak görüntü üzerinde gerçekçi bir bozma yaratır. İçteki Bozulma Aracısının metne bağlı karar verme performansı, görüntü başlıklama verisetlerinde öznel bir değerlendirme yoluyla gösterilmektedir. Renk kalitesi için bir uzantı olarak, renk sabitliği için 2 aşamalı bir yaklaşım sunulmaktadır. Küçük ölçekli veri setlerinin renk sabitliği konusundaki sınırlamaları, sentetik olarak üretilen verilerin kullanılmasıyla giderilir. Öncelikle, sRGB görüntülerini kamerayla eşlenen RAW görüntülere dönüştüren yeni bir aracın eklenmesiyle verisetleri genişletilmiştir. Seçilen literatür yaklaşımlarının performansı, kıyaslama verisetleri üzerinde aktarım öğrenimi yoluyla artırılmaktadır. Ayrıca CLIP tabanlı yeni bir yöntem olan CLIP Kılavuzlu Renk Sabitliği, CKRS, önerilmektedir. CKRS, metin \& görüntü kodlayıcılarıyla problem karşılaştırmalı öğrenme alanında yeniden tanımlamakta ve performans literatür seviyesine ulaşmaktadır.
Özet (Çeviri)
Due to the wide range of application areas of digital cameras, the representational quality of these devices has become an essential performance criterion. Either due to the hardware limitations or momentary alterations in the scene, undesired artifacts may appear on the output image. As the procedure is irreversible and unrepeatable in most cases, image enhancement and restoration problems become ill-posed. We propose a novel agent model, AIti-FAct, that generates images based on a description written by the agent itself, and provides the edited version of this image autonomously by applying a context-based distortion. AIti-FAct decomposes the end-to-end image editing task into simpler sub-tasks of description, generation and distortion and allows multiple tool usage within the framework. Moreover, the distortion sub-task is implemented as another agent with more than 12 tools available to distort the image based on its content. By leveraging the power of pre-trained LLMs in reasoning and text-to-image generation, this nested-agent is not only capable of executing prompts but also deciding on a realistic alteration on the image merely by its description. The performance of the inner Distortion Agent on creating artifacts on image caption datasets is illustrated through a subjective evaluation. As an extension on colour quality domain, a 2-fold approach for colour constancy is presented. The limitations of the small scale datasets for colour constancy are addressed through the use of synthetically generated data. Primarily, by adding a novel tool that converts sRGB images into camera-mapped RAW images, the datasets are extended. The performance of selected SOTA approaches are boosted through transfer learning on benchmark datasets. Besides, a novel CLIP-based method, CLIP-Guided Colour Constancy is proposed. With its text \& image encoders, CGCC reformulated our problem definition to a downstream task of contrastive image-language pre-training, beating SOTA levels.
Benzer Tezler
- On real-world face super-resolution and face image synthesis evaluation
Gerçek dünya yüz süper çözünürlüğü ve yüz görüntüsü sentezi değerlendirmesi üzerine
ERDİ SARITAŞ
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HAZIM KEMAL EKENEL
- Difüzyon ağları ile görüntü rekonstrüksiyonu ve restorasyonu
Image reconstruction and restoration with diffusion networks
ONUR PARAPAN
Yüksek Lisans
Türkçe
2025
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ENDER METE EKŞİOĞLU
- Dikkat eksikliği ve hiperaktivite bozukluğu olan çocukların el yazılarının görüntü işleme teknikleri ile analizi
Analysis of handwriting of children with attention deficit hyperactivity disorder using image processing techniques
ÖZLEM YILDIZ BUDAK
Yüksek Lisans
Türkçe
2025
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolSakarya ÜniversitesiBilgisayar ve Bilişim Mühendisliği Ana Bilim Dalı
DOÇ. DR. MUHAMMED FATİH ADAK
- Assessing the impact of super-resolution on enhancing the spatial quality of historical aerial photographs
Tarihi hava fotoğraflarının mekansal kalitesini artırmada süper-çözünürlüğün etkisinin irdelenmesi
ABDULLAH HARUN İNCEKARA
Doktora
İngilizce
2024
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. DURSUN ZAFER ŞEKER
- Architectural section generation and semantic evaluation with deep learning methods
Derin öğrenme yöntemleri ile mimari kesit üretimi ve anlamsal değerlendirilmesi
ECE SAVAŞ
Yüksek Lisans
İngilizce
2025
Mimarlıkİstanbul Teknik ÜniversitesiBilişim Ana Bilim Dalı
PROF. DR. MİNE ÖZKAR KABAKÇIOĞLU