Geri Dön

Joint calibration and reconstruction for focal plane array imaging

Odak düzlemi dizisi görüntüleme için birleşik kalibrasyon ve geriçatım

PDF İndir

  1. Tez No: 866228
  2. Yazar: MUHAMMET UMUT BAHÇECİ
  3. Danışmanlar: PROF. DR. ENDER METE EKŞİOĞLU
  4. Tez Türü: Yüksek Lisans
  5. Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2023
  8. Dil: İngilizce
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Fen Bilimleri Enstitüsü
  11. Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
  12. Bilim Dalı: Elektronik Mühendisliği Bilim Dalı
  13. Sayfa Sayısı: 115

Özet

Tek piksel görüntüleme (SPI), örnekleme kısmında sadece bir piksel dedektörün kullanıldığı bir yöntemdir. Bu yöntemde, günümüz modern kamera sistemlerinden farklı olarak sahnenin her bir pikseli için ayrı ayrı ölçümler alınmaktadır. Son yıllarda popülerlik kazanmasıyla yüksek çözünürlüklü görüntü elde etmek için iki boyutlu sensör dizileri yerine kullanmaya başlanmıştır. Bunun nedeni, daha hızlı ve daha az donanım gerektirmesidir. Ayrıca, optik sistemin boyutunun küçülmesini sağlarken tek bir sensörden oluştuğu için de daha az enerji tüketmekte ve daha düşük maliyetli sistemlerin oluşturulmasına imkan vermektedir. Günümüz sistemleri görünür bant için silikon tabanlı çözümleri temel olarak kullanmaktadır. Silikon endüstrisinde yaşanan bu gelişmelerle beraber yüksek çözünürlüklü görüntüleri milyonlarca dedektörün bulunduğu yapılarla ucuz ve hızlı bir şekilde elde edilebilmektedir. Ancak görünür bandın dışında silikon tabanlı çözümlerin duyarlılığı çok düşük seviyelere inmektedir. Bu duyarlılık, dalgaboyuna göre bir maddenin vermiş olduğu değişimi ifade etmektedir ve görünür bant dışında yüksek dalgaboylarında silikon yerine daha egzotik malzemelere ihtiyaç duyulmaktadır. Bu malzemelerden, germanyum (Ge) ve Endiyum Gallium Arsenid (InGaAs) gibi yarı iletken bileşik yapılarına ihtiyaç duyulmaktadır. Bu yapıların duyarlılığı, görünür bandın üzerindeki dalgaboylarında silikon tabanlı yöntemlerden çok daha yüksektir ve kızılötesi çalışmalarında kullanılabilmektedir. Ancak bahsedilen materyaller, nadir şekilde bulunduğundan ve üretiminin de zor olmasından dolayı günümüz kamera sistemlerindeki gibi milyonlarca dedektörün bir arada kullanıldığı gibi kullanılamazlar. Bu nedenle de SPI sisteminde olduğu gibi sadece bir dedektörün bulunduğu bir görüntüleme sistemi büyük önem taşımaktadır. Bu avantajı sebebiyle SPI sistemi, tıbbi görüntüleme, uzaktan algılama, endüstriyel görüntüleme ve diğer pek çok alanda kullanılmaktadır. Elde edilen görüntülerden yüksek-çözünürlüklü görüntünün elde edilmesi ters problemlerle mümkündür. Genellikle bu yöntemler, kötü tanımlı problemler olmaktadır. Kötü tanımlı problem, sonuca ulaşmak için gerekli olan bilgilerin yetersizliğini ifade etmek için kullanılır. Bu tür problemlerde, sonuca ulaşmak için bazı varsayımların ve kısıtların yapılması gerekmektedir. Böylece eksik bilginin olması halinde oluşan sonsuz sayıdaki çözümden tek bir benzersiz sonucun elde edilebilmesi mümkün hale gelmektedir. Bir düzenlileştirme terimiyle eksik veya yetersiz bilgi açığı kapatılabilir. Bayesian yaklaşımına göre de bu eksik bilgi orijinal sinyalin bir ön bilgisi şeklinde ifade edilebilir. Düzenlileştirme terimi için ihtiyaç duyulan bilgi, ön bilgi şeklinde ifade edilebilir. Ancak bu bilginin matematiksel olarak ifade edilmesi her zaman mümkün olmayabilir. Bu tarz kötü tanımlı problemler için önerilen yöntemlerden biri sıkıştırılmış algılama (CS) tekniğidir. Bu yöntemde, az tanımlı (underdetermined) bir sistem için bulunan ölçüm sayısının bilinmeyen sayısından küçük olmasından dolayı kötü tanımlı problem olarak ifade edilmektedir. Bu yöntem ile bir uzaya göre seyrek çözüm aranmaktadır ve ihtiyaç duyulan bilginin daha az sayıda ölçüm ile tam bir şekilde geri kazanımı sağlanmaktadır. Diğer sinyal işleme yöntemlerinden farklı olarak CS, sinyale göre bir ölçüm modeli izlememektedir. Bu özelliği nedeniyle de ölçüm sistemi doğrusal olmayan bir yapıya sahiptir. Ölçüm sistemi sonucunda boyut indirgeme işlemi de yaşanmaktadır. Ancak, CS yöntemi ölçümlerden kendi ölçüm matrisi sayesinde bilgi kaybetmeksizin bir seyrek çözümün bulunabileceğini ifade etmektedir. Bir SPI sisteminde yer alan uzamsal ışık modülatörü (SLM) yapılarıyla sahne ile filtrelerin eleman bazlı çarpımı gerçekleştirilerek sahneler farklı SLM filtreleri için kodlanabilmektedir. SLM filtreleri, elektronik veya fiziksel şekilde olabilmektedir. Bu filtrelerin sahneyi geçirip geçirmemelerine göre sahneyi kodlaması mümkün olduğu gibi üzerlerindeki açıklığın oranı ise elde edilecek ölçümün sinyal gücüne etki etmektedir ve bu açıklı oranı da SPI görüntüleme problemi için bir değişkenlik getirebilmektedir. SLM filtrelerinin hızlı değişebilmesi sayesinde farklı ölçümler alınabilmekte ve SLM filtreleri, rastgele dağılımlar halinde tanımlabilmektedir. Böylece, CS tekniğinde ölçüm matrisi, sınırlı izometri özelliğini (RIP) doğal olarak sağlaması mümkün hale gelmektedir. Ölçüm matrisin bu özelliği sağlamasıyla, orijinal sinyalin kayıpsız bir şekilde sıkıştırılması ve düşük boyutlu bir uzaya taşınmasına imkan verir. Bir dedektörün bulunduğu sistemde uzamsal olarak çözünürlük yeterli olsa da zamansal çözünürlük açısından kısıtlara takılmaktadır. Burada, sistemde kullanılan SLM filtre değiştirmesinde kullanılan kontrolcünün hızı ölçüm hızını kısıtlamaktadır. Bu sorunu ortadan kaldırmak için iki boyutlu bir sensör dizisi (FPA) kullanımına geçilebileceği söylenmiştir. Klasik modern görüntüleme sistemlerinin aksine burada kullanılan sensör sayıları, sahne çözünürlüğüne göre çok düşük seviyelerdedir ve sahnenin farklı yerlerinden aynı anda birden çok ölçüm alınması sağlanarak ölçüm hızı arttırılabilir. Böylece, zamansal çözünürlük iyileştirilebilir. Bu FPA görüntüleme sistemiyle maliyetlerde artışlar gözlenmektedir. Ancak getirdiği zamansal çözünürlük açısından iyileştirmeler bu dezavantajı kapatmaktadır. FPA sisteminde, birden çok dedektör kullanılmasından ötürü SLM filtreleriyle kodlanmış görüntünün bir lens vasıtasıyla iki boyutlu sensör dizisine düşürülmesinde lens etkileri öne çıkar. Bu etkiler, airy disk etkileri olarak bilinen bir bulanıklaşmaya neden olur. Tek dedektör sisteminin aksine bu sistemde airy disk, tek bir dedektör pikseline sığmamasıyla beraber dedektörün çevresinde bulunan diğer dedektörler istenmeyen ölçümler yapar ve görüntünün bulanıklaştığı gözlenir. Bu etki, lensin optik yapısı nedeniyle ortaya çıkmaktadır ve etkilerinin azaltılması için kalibrasyon işlemine ihtiyaç duymaktadır. Bu tez kapsamında, bahsedilen etkiyi kaldırmak için bir çevrimiçi kalibrasyon tekniği geliştirilmiştir. Literatürde yer alan diğer teknikler çevrimdışı bir yapıda kalibrasyon şemasına sahiptir. Çevrimdışı kalibrasyon işlemlerinde her sahne pikseli için ölçüm alınması gerekliliği ortaya çıkmaktadır. Bu durumda, kalibrasyon matrisini elde etmek uzun ve zor bir sürece neden olmaktadır. Bunun nedeni, ufak sıcaklık değişimleri bile dedektörler üzerindeki gürültünün değişimine neden olabilmektedir ve böylece bazı ölçümlerin tekrar tekrar alınması gerekliliğini doğurmaktadır. Bir başka teknikte CS teknikleri kullanarak ihtiyaç duyulan ölçüm sayısı azaltılmış olsa da sürecin zorluğundan tekrar tekrar ölçümlerin alınması ve elde edilen kalibrasyon matrisinin büyük boyutlarda olması nedeniyle karmaşık bir süreç olduğu söylenebilir. Bu yöntemlerin dışında kesin nokta yayılım fonksiyonu (PSF) kullanıldığı bir ters çözümleme (deconvolution) problemine de yer verilmiştir. Önerilen çevrimiçi derin öğrenme (DL) tabanlı yöntemin uzun kalibrasyon işlemleri gerektirmeden farklı büyüklüklerdeki airy disk etkilerini ortadan kaldırabileceği gösterilmiştir. Geriçatım tarafında FPA için tak ve kullan (PnP) yöntemini içeren alternatif yönlü çoklu çarpanlar (ADMM) tekniği, CS geriçatımında popülerlik kazanmıştır. Bu yöntemlerde, ön bilgi yerine farklı PnP yöntemleriyle hızlı ve doğru sonuçlar elde edilebilmektedir. Bu tezde, klasik iteratif ADMM tekniği açılarak (unrolling) bir DL uygulaması halinde gerçeklenmiştir. Böylece, ön bilgi, bir konvolüsyonel sinir ağı (CNN) ile öğrenilmiştir. Bu unrolling yöntemiyle, klasik şekilde gerçeklenen iteratif yöntemin aksine daha az sayıda iterasyonda sonuca gidebilmek mümkündür. Yöntemin çıktısı, gerçek sahne görüntüsüyle kıyaslanarak bir hata hesabı yapılır ve geriye doğru model katsayılarını güncellenir. Unrolling model çıktısı, ön bilginin tanımlanmasında kullanılmaktadır. Tezde farklı sayıda ölçüm sayısı senaryoları için modeller oluşturulmuş ve bilinen PnP ADMM yöntemleriyle görüntü kalitesi metrikleri ve görselleri üzerinden karşılaştırmalarına yer verilmiştir. Son olarak tezde, çevrimiçi kalibrasyon modelini ve unrolling ADMM modulünün uçuca birleştirilip kullanıldığı bir tasarıma yer verilmiştir. Bu birleşik (joint) modelde; airy disk etkileriyle bozulmuş ölçümler, kullanılan SLM filtreleri, ileri yönlü matris gösterimi ve veri doğruluğu (data fidelity) ifadesi için gerekli kısıt ifadeleri giriş değerleri olarak alınmaktadır. Teknikte, hem düzeltilmiş düşük çözünürlüklü ölçümlerin hem de yüksek çözünürlüklü model çıktısı arasında bir optimizasyon problemi yazılarak elde edilen birleşik hata fonksiyonuyla geriye doğru ön bilginin ve kalibrasyon modelinin parametreleri öğretilmektedir. Tanımlanmış her airy disk aralığı için farklı sayıda ölçüm senaryoları incelenmiş ve eğitilmiştir. Böylece, airy disk etkilerini azaltan hızlı bir geriçatım modeli elde edilmiştir. Numerik çalışmalar üç farklı şekilde ele alınmıştır. İlk başlıkta, sadece kalibrasyon modelinin diğer kalibrasyon yöntemleriyle kıyaslamalarına yer verilmiştir. Burada, her bir tanımlı airy disk yarıçap aralığı için elde edilen ortalama tepe sinyal-gürültü oranı (pSNR) karşılaştırmaları yapılmış ve modelin SLM filtre bilgisini girişinde almasının getirdiği performans artışı resmedilmiştir. Ayrıca, modellerin uyumsuz airy disk yarıçap aralıkları dışında kullanılmasıyla gözlenebilecek performans değişimlerine yer verilmiştir. İkinci başlıkta, airy disk etkileri ihmal edilerek sadece dedektör gürültülerinin bulunduğu durum için geriçatım performansları farklı görüntü boyutları ve farklı ölçüm sayıları için karşılaştırılmıştır. Unrolling tabanlı ADMM yönteminin en az klasik PnP ADMM yöntemleri kadar performanslar elde ettiği farklı görüntü kalitesi metrikleriyle; pSNR, yapısal benzerlik endeksi (SSIM) ve öğrenilmiş algısal görüntü parça benzerliği (LPIPS) gösterilmiştir. Ayrıca, yapılan yürütme süresi analizleriyle unrolling tabanlı ADMM yöntemin bu performanslara çok daha küçük sürelerde ulaştığı gösterilmiştir. Son başlıkta, airy disk etkileri de dahil edilerek birleşik modelin, kalibrasyon modeliyle kalibre edilmiş girdiler alan bir PnP ADMM ve unrolling geriçatım algoritmasıyla performans kıyasları yapılmıştır. Tanımlı her bir airy disk aralığı için yürütülen çalışmalarda birleşik modelin en iyi metrik sonuçlarına eriştiği ve airy disk etkilerinin büyüdüğü koşullarda performans farkları oluştuğu görülmüştür.

Özet (Çeviri)

Single Pixel Imaging (SPI) is a technique in which a single photo-detector captures a scene. Modern camera systems usually utilize millions of silicon-based detectors to capture a scene. These silicon-based sensors have high sensitivity only in the visible band. Outside the visible band, sensors must be produced with more exotic materials. Specifically, for larger wavelengths, germanium (Ge) and indium gallium arsenide (InGaAs) can be shown as examples of these rare materials. These materials are highly expensive and hard to produce as a focal plane array (FPA), which is a 2-dimensional sensor array and is similar to modern camera system's sensor array. Therefore, decreasing the number of sensors is important for non-visible band systems, and the SPI technique provides a system that only utilizes a single detector. Moreover, this system is adopted by many research fields such as terahertz imaging, remote sensing, and medical imaging. The reconstruction process of the SPI system is an inverse problem and requires the solution of a highly ill-posed inverse problem. To get a unique solution for such an underdetermined system, a regularization term is needed. Compressive sensing (CS) is one of the techniques that use regularization as a prior information function. Moreover, for SPI systems, the CS technique is highly adopted since it can find a solution for a system that has less number of measurements than the number of unknown pixels. The reason is that the CS promotes sparsity in a domain that is incoherent with the measurement domain. Therefore, it provides a nonadaptive sampling procedure under some conditions. These conditions are related to the design process of measurement matrix design and the linear measurement process. If the restricted isometry property (RIP) is met, the entire system has an exact recovery guarantee. In general, it is proven that random measurement matrices are highly probable to satisfy the RIP. For an SPI system, a spatial light modulator (SLM) encodes a scene with different patterns. As a result, SLM filters can provide random sampling for the SPI system. The spatial resolution of an SPI system is high whereas the temporal resolution is low. This is because a single detector must obtain samples for each pixel, but control units of SLM limit the performance of the system. To get faster measurement rates, an FPA system can be used. In contrast to modern camera sensor arrays, the number of sensors in FPA for the SPI field is very few, but these sensors can provide parallel measurements. As a result, the temporal resolution of these FPA systems is higher than the temporal resolution of an SPI system including only a single photo-detector, and this creates a trade-off between measurement speed and the cost of the system. However, improvements in temporal resolution tolerate the cost disadvantage, and the FPA system is used by various applications. For an FPA system, a lens placed between the SLM encoder and sensor array becomes more effective in low-resolution FPA measurements. These effects are called airy disc effects and blurry FPA measurements are obtained. The airy disc effects happen because the airy disc does not fit into a single detector pixel, and other detectors around the detector make undesirable measurements and the FPA measurement becomes blurred. This effect arises due to the optical structure of the lens and requires calibration to reduce its effects. In this thesis, an online calibration technique is proposed to reduce the blur in FPA measurements. In the literature, there are proposed offline calibration techniques. One of them relies on getting a measurement for each pixel of a scene. This makes it a long and difficult process to form a calibration matrix. The reason is that even small temperature changes affect noise in detectors, and some pixels may be needed to be repeated to get healthy measurements. The other technique relies on CS, but it also needs to form a large calibration matrix after some repetitive measurements. There is also a deconvolution technique with an exact point spread function (PSF) information used to deblur FPA images. The PSF information cannot be easily obtained and the technique requires iterative calculations to find calibrated results. To overcome these limitations, an online deep learning-based (DL) design is proposed and it does not require long operations to define a calibration system and to implement it in an FPA system. The recovery process usually involves the solution of an inverse problem through optimization-based approaches. These approaches improve image quality by iteratively utilizing prior information on the image while enforcing data consistency. While various prior information terms such as sparsity in some transformation domains can be used for improved image quality, recent approaches adopt learned prior information terms by changing the related step in the optimization approach with a pre-trained DL-based denoiser which is called the plug-and-play (PnP)-based approach. Within the context of this thesis, we opted to use an alternating direction method of multipliers (ADMM)-based approach since it is a popular choice for CS reconstruction. In contrast to previous techniques that decouple the prior information from the problem model, this thesis involves the integration of the conventional iterative ADMM-based method into a DL framework, which is known as algorithm unrolling. Consequently, a convolutional neural network (CNN) is trained to acquire prior information. The utilization of the unrolling technique enables the acquisition of images in fewer amount of iterations when compared with the conventional iterative approaches. The thesis entails the development of models for varying numbers of measurement scenarios, followed by a comparative analysis of image quality metrics and visuals for both PnP ADMM and unrolling-based techniques. Finally, the thesis presents a joint design where the online calibration model and the unrolling ADMM module are combined and used together. In this joint model, the parameters of the prior information and calibration model are learned using a unified error function obtained by designing a joint objective function between both corrected FPA measurements and high-resolution model outputs. Different numbers of measurement scenarios are examined for each defined airy disc range. As a result, it is shown that the joint design both reduces the airy disc effects and obtains well-reconstructed images. Three distinct methodologies have been employed to conduct numerical investigations. The first part solely consisted of comparisons with alternative calibration techniques for the calibration model. To do this, the average peak signal-to-noise ratio (pSNR) is compared for each defined airy disc radius range and the performance improvement brought by the model taking the SLM filter information as input is shown. In the second part, airy disc effects are disregarded and only detector noise is taken into account. The study demonstrates that the unrolling-based algorithm obtains comparable performance to conventional PnP ADMM methods across various image quality metrics, including pSNR, structural similarity index (SSIM), and learned perceptual image patch similarity (LPIPS). In addition, execution time analyses showed that the unrolling-based ADMM method achieved the same quantitative performance in much smaller time frames. In the final section, comparisons are made for the joint model, a PnP ADMM technique, and an unrolling-based reconstruction algorithm. Both the PnP ADMM and the unrolling-based reconstruction algorithm take calibrated FPA measurements from the calibration model. For each airy disc range, the joint model achieves the best metric results. Moreover, the differences between the joint model and others are increased as the effects of the airy disc are increased.

Benzer Tezler

  1. Tez No

    486626

    Seyreklik tabanlı sinyal geriçatım ve görüntüleme yöntemlerinin geliştirilmesi

    Sparsity based signal reconstruction and imaging methods

    SEDAT ÇAMLICA

    Doktora

    Türkçe

    Türkçe

    2017

    Elektrik ve Elektronik MühendisliğiTOBB Ekonomi ve Teknoloji Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. DR. İMAM ŞAMİL YETİK

  2. Tez No

    378003

    Kınematıc analysıs of a slıder crank mechanısm vıa a pre-calıbrated vısıon system developed by usıng two commercıal cameras

    Bi̇r krank bi̇yel mekanizmasinin ön kali̇breli̇, 2 ti̇cari̇ kamera kullanilarak geli̇şti̇ri̇len görüş si̇stemi̇ vasitasiyla ki̇nemati̇k anali̇zi̇

    MEHMET HİLMİ ERALP

    Yüksek Lisans

    İngilizce

    İngilizce

    2014

    Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolOrta Doğu Teknik Üniversitesi

    Makine Mühendisliği Ana Bilim Dalı

    PROF. DR. REŞİT SOYLU

  3. Tez No

    339833

    Online calibration of sensor arrays using higher order statistics

    Yüksek dereceli istatistik kullanarak algılayıcı dizilerinin çevrimiçi kalibrasyonu

    METİN AKTAŞ

    Doktora

    İngilizce

    İngilizce

    2012

    Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik Üniversitesi

    Elektrik ve Elektronik Mühendisliği Bölümü

    PROF. DR. T. ENGİN TUNCER

  4. Tez No

    819947

    Prediction of response and damage of reinforced concrete joints through artificial intelligence techniques

    Betonarme birleşim bölgelerinde tepki ve hasarın yapay zekâ teknikleri kullanılarak tahmini

    MEHMET OZAN YILMAZ

    Doktora

    İngilizce

    İngilizce

    2023

    İnşaat MühendisliğiYıldız Teknik Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    PROF. DR. SERKAN BEKİROĞLU

  5. Tez No

    433951

    Nonlinear response modeling of low-rise structural walls

    Bodur perde duvarların doğrusal olmayan davranışlarının modellenmesi

    SİMON KARABULUT

    Yüksek Lisans

    İngilizce

    İngilizce

    2016

    İnşaat MühendisliğiBoğaziçi Üniversitesi

    İnşaat Mühendisliği Ana Bilim Dalı

    DOÇ. DR. KUTAY ORAKÇAL

Geri Dön