Context-based visual data generation for image enhancement and automatic colour calibration
Görüntü iyileştirme için bağlam tabanlı görsel veri üretimi ve otomatik renk kalibrasyonu
- Tez No: 902509
- Danışmanlar: PROF. DR. GÖZDE AKAR
- Tez Türü: Doktora
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2024
- Dil: İngilizce
- Üniversite: Orta Doğu Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik ve Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektrik Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 211
Özet
Dijital kameraların geniş uygulama alanları nedeniyle bu cihazların temsil kalitesi önemli bir performans kriteri haline gelmiştir. Donanım sınırlamaları veya sahnedeki anlık değişimler nedeniyle, çıktı görüntüsünde istenmeyen bozulmalar görünebilir. Prosedür tekrarlanamaz olduğundan, görüntü iyileştirme yöntemleri çoğunlukla kötü konumlanmış olarak ortaya çıkar. Çalışma kapsamında, kendi yazdığı bir betimlemeye dayalı olarak görüntüler üreten ve bağlama dayalı bir bozulma uygulayarak bu görüntünün düzenlenmiş versiyonunu özerk bir şekilde sağlayan yeni bir ajan olan olan AIti-FAct önerilmiştir. AIti-FAct, uçtan uca görüntü düzenleme görevini betimleme oluşturma, görüntü oluşturma ve bozma gibi daha basit alt görevlere ayırır ve birden fazla araç kullanımına izin verir. Ayrıca, bozma alt görevi, görüntüyü içeriğine göre çarpıtmak için 12den fazla aracın mevcut olduğu başka bir ajanı aracı olarak uygulanır. Eğitilmiş BDMlerin gücünden yararlanan bu iç içe geçmiş aracı, yalnızca kullanıcı istemleri yürütmekle kalmaz, aynı zamanda yalnızca betimlemeye bağlı olarak görüntü üzerinde gerçekçi bir bozma yaratır. İçteki Bozulma Aracısının metne bağlı karar verme performansı, görüntü başlıklama verisetlerinde öznel bir değerlendirme yoluyla gösterilmektedir. Renk kalitesi için bir uzantı olarak, renk sabitliği için 2 aşamalı bir yaklaşım sunulmaktadır. Küçük ölçekli veri setlerinin renk sabitliği konusundaki sınırlamaları, sentetik olarak üretilen verilerin kullanılmasıyla giderilir. Öncelikle, sRGB görüntülerini kamerayla eşlenen RAW görüntülere dönüştüren yeni bir aracın eklenmesiyle verisetleri genişletilmiştir. Seçilen literatür yaklaşımlarının performansı, kıyaslama verisetleri üzerinde aktarım öğrenimi yoluyla artırılmaktadır. Ayrıca CLIP tabanlı yeni bir yöntem olan CLIP Kılavuzlu Renk Sabitliği, CKRS, önerilmektedir. CKRS, metin \& görüntü kodlayıcılarıyla problem karşılaştırmalı öğrenme alanında yeniden tanımlamakta ve performans literatür seviyesine ulaşmaktadır.
Özet (Çeviri)
Due to the wide range of application areas of digital cameras, the representational quality of these devices has become an essential performance criterion. Either due to the hardware limitations or momentary alterations in the scene, undesired artifacts may appear on the output image. As the procedure is irreversible and unrepeatable in most cases, image enhancement and restoration problems become ill-posed. We propose a novel agent model, AIti-FAct, that generates images based on a description written by the agent itself, and provides the edited version of this image autonomously by applying a context-based distortion. AIti-FAct decomposes the end-to-end image editing task into simpler sub-tasks of description, generation and distortion and allows multiple tool usage within the framework. Moreover, the distortion sub-task is implemented as another agent with more than 12 tools available to distort the image based on its content. By leveraging the power of pre-trained LLMs in reasoning and text-to-image generation, this nested-agent is not only capable of executing prompts but also deciding on a realistic alteration on the image merely by its description. The performance of the inner Distortion Agent on creating artifacts on image caption datasets is illustrated through a subjective evaluation. As an extension on colour quality domain, a 2-fold approach for colour constancy is presented. The limitations of the small scale datasets for colour constancy are addressed through the use of synthetically generated data. Primarily, by adding a novel tool that converts sRGB images into camera-mapped RAW images, the datasets are extended. The performance of selected SOTA approaches are boosted through transfer learning on benchmark datasets. Besides, a novel CLIP-based method, CLIP-Guided Colour Constancy is proposed. With its text \& image encoders, CGCC reformulated our problem definition to a downstream task of contrastive image-language pre-training, beating SOTA levels.
Benzer Tezler
- On real-world face super-resolution and face image synthesis evaluation
Gerçek dünya yüz süper çözünürlüğü ve yüz görüntüsü sentezi değerlendirmesi üzerine
ERDİ SARITAŞ
Yüksek Lisans
İngilizce
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. HAZIM KEMAL EKENEL
- Assessing the impact of super-resolution on enhancing the spatial quality of historical aerial photographs
Tarihi hava fotoğraflarının mekansal kalitesini artırmada süper-çözünürlüğün etkisinin irdelenmesi
ABDULLAH HARUN İNCEKARA
Doktora
İngilizce
2024
Jeodezi ve Fotogrametriİstanbul Teknik ÜniversitesiGeomatik Mühendisliği Ana Bilim Dalı
PROF. DR. DURSUN ZAFER ŞEKER
- Mimari tasarımda yapay zekâ yaklaşımı: Makine öğrenmesi ile mekân işlevlerinin tanınması ve üretken çekişmeli ağlarla mimari plan üretimi
Artificial intelligence approach in architectural design: Recognition of space functions with machine learning and architectural plan generation with generative adversarial networks
BERFİN YILDIZ
Doktora
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilişim Ana Bilim Dalı
PROF. DR. GÜLEN ÇAĞDAŞ
DR. ÖĞR. ÜYESİ İBRAHİM ZİNCİR
- Data driven modelling of daylight redirecting fenestration at variable directional resolution
Günışığı yönlendirmeli pencerenin değişken yönlü çözünürlükte veri dayalı modellenmesi
LARS OLIVER GROBE
Doktora
İngilizce
2019
Mimarlıkİzmir Yüksek Teknoloji EnstitüsüMimarlık Ana Bilim Dalı
PROF. DR. ZEHRA TUĞÇE KAZANASMAZ
PROF. DR. STEPHEN WITTKOPF
- Meme kanserinin PD-L1 proteinleri aracılığıyla potansiyel teşhisine yönelik yeni nesil benzotiyazol türevlerinin sentezi ve karakterizasyonu
Synthesis and characterization of new generation benzothiazole derivatives for potential diagnosis of breast cancer through PD-L1 proteins
BÜŞRA YAZICI
Yüksek Lisans
Türkçe
2020
Kimyaİstanbul Teknik ÜniversitesiKimya Ana Bilim Dalı
DR. ÖĞR. ÜYESİ ONUR ALPTÜRK
DR. ÖZGÜR YILMAZ