Compressed sensing and learning-based methods for super-resolution structured illumination microscopy

Süper çözünürlüklü yapılandırılmış aydınlatma mikroskopisi için sıkıştırılmış algılama ve öğrenmeye dayalı yöntemler

PDF İndir

Tez No: 658446
Yazar: BATURAY ÖZGÜRÜN
Danışmanlar: DOÇ. DR. MÜJDAT ÇETİN, PROF. DR. SELİM SAFFET BALCISOY
Tez Türü: Doktora
Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
Anahtar Kelimeler: Belirtilmemiş.
Yıl: 2020
Dil: İngilizce
Üniversite: Sabancı Üniversitesi
Enstitü: Mühendislik ve Fen Bilimleri Enstitüsü
Ana Bilim Dalı: Elektronik Mühendisliği Ana Bilim Dalı
Bilim Dalı: Belirtilmemiş.
Sayfa Sayısı: 184

Özet

Optik mikroskop kullanarak, çoğu virüs, protein ve küçük moleküllerin Abbe kırınım limiti nedeniyle görüntülenmeleri zordur. Süper çözünürlüklü yapılandırılmış aydınlatma mikroskop (SIM) tekniği bu problemi çözer ve yanal çözünürlüğü kırınım sınırının yarısına kadar genişletir. SIM tekniğinin problemi, tek bir süper çözünürlüklü görüntüyü yeniden oluşturmak için en az dokuz ham görüntü kaydetme ihtiyacından kaynaklanmaktadır. Bu gereklilik iki sonuca neden olur; florışıldama bozulması ve görüntü kalitesinin hareket nedeniyle bozulması. Ham görüntüleri kaydetmek için (yüksek dinamik süreçleri gözlemlemek için) ve numuneye daha az uyarma ışığı yansıtmak için (foto ağartmayı önlemek için) son derece hızlı bir sisteme ihtiyacımız var. Sıkıştırılmış algılama (CS), bu hedeflere ulaşmak için bir aday olabilir. İlk olarak, CS, kamera yerine bir fotoçoğaltıcı tüp (PMT) ile bir nesne sahnesini kaydetmemize izin verir. Bir PMT'nin çekim hızı, bilimsel bir tamamlayıcı metal oksit yarı iletken (sCMOS) kamerasından çok daha hızlıdır. İkinci olarak, CS yöntemiyle sahne, daha hızlı örneklenir (dijital mikro aynanın (DMD) yüksek hızı olması sayesinde) ve ayrıca daha düşük uyarma ışığı ile örneklenir (örnekleme desenleri ne- deniyle). Üçüncü olarak, CS yöntemi, birkaç ölçümle kullanarak sahneyi yeniden yapılandırabilir ve bu toplam veri toplama süresini daha da kısaltabilir. Bu gözlemlere dayanarak, CS yönteminin temel SIM problemlerinin çözümü için uygun olabileceğine inanıyoruz. Bu tezin temel amacı, CS ve SIM tekniklerini birleştirmektir, ancak bu çerçevede çeşitli katkılar da sunuyoruz. Bu tezin ana katkıları; (1) CS yeniden yapılandırma algoritmasının performansını iyileştirmek için çok katmanlı evrişimli seyrek kodlama (ML-CSC) modeline dayalı bir sözlük öğrenme yöntemi geliştirmek; ve (2) CS ile SIM kombinasyonu için yöntem önermek ve önerilen yöntemi simülasyon tabanlı çalışmaların yanı sıra gerçek veri toplama deneyleri ile desteklemek. İlk girişimlerde, seyrek temsil teorisi temellendirilerek yapılandırılma yapılabilmesi için hazır sözlükler kullanıldı. Diğer yandan, CS yeniden yapılandırma algoritmasının başarısı, bir sinyalin seyreklik seviyesi ile doğrudan ilgilidir. Bir sinyalin seyreklik oranı, dönüşüm matrisine veya sözlüğe bağlıdır. Bu nedenle, dönüşüm matrisini veya sözlüğü öğrenmemiz gerekir. Bundan dolayı, ML-CSC modeline dayanan bir sözlük öğrenme yöntemi öneriyoruz. Yöntem, daha önceden sunulan kütüphane öğrenme algoritması bazı parametrelere ve yeniden yapılandırma algoritmasına bağlı olmasına rağmen, sunulan sözlük öğrenme yöntemi herhangi bir parametreye veya CS yeniden yapılandırma algoritmasına bağlı değildir. Diğer yandan, öğrenilen sözlükler, CS yeniden yapılandırma algoritmasına uygulanmış ve sözlük öğrenme algoritmasının performansı tartışılmıştır. Bu tezin diğer ana katkısı, CS yöntemini ve SIM tekniğini birleştirmektir. Simülasyon tabanlı çalışma ve çeşitli matematiksel modeller kullanarak bu birleştirme gösterilmiştir. Ardından hem sabit hem de hareketli nesneler için deneysel sonuçlar sunulmuştur. Daha önceden sunulan birkaç adet CS yeniden yapılandırma algoritması kullanarak, CS ile SIM yöntemlerinin birleşimine dayanan model için yeniden yapılandırma sonuçları karşılaştırılmıştır. Simülasyon tabanlı çalışma gerçekleştirildikten sonra, PMT ile veri toplama problemi için optik bir düzenek önerilmiş ve ardından laboratuvarda bulunan DMD cihazının limitleri ele alınmıştır. Ardından, CS ve SIM birleşimi için optik bir düzenek verilmiştir. Önerilen düzenek kullanarak, hem sabit hem de hareketli nesneler için deneysel bir çalışma gerçekleştirilmiştir. Yeniden yapılandırılmış görüntülerin normalize edilmiş yoğunluk profilleri, diğer geleneksel mikroskop yöntemleri sonuçları ile karşılaştırılmıştır. Florışıldama bozulma problem için deneysel düzeneğin en iyi durum sonucu verilmiştir. CS ve SIM yöntemlerinin birleştirilmesine ek olarak, CS yöntemi holografiye de uygulanmış ve tek bir hologram kullanarak derinlik bilgisi çıkarılmıştır. İlk olarak holografik veriyi kaydedebilmek için bir optik konfigürasyon sunulmuştur. Sıkıştırılmış hologramları da içeren çeşitli hologramların derinlikleri, stereo eşitsizlik yöntemi kullanılarak çıkarılmıştır. Sunulan yöntem, hologramın faz bilgisine ihtiyaç duymamakta, yeniden yapılanmadan önce hologramın iki parçaya (iki açıklığa) bölünmesiyle kolayca elde edilen sahnenin iki perspektifine ihtiyaç duymaktadır. Hologramların aşamalı ve keskin bölünmelerinin, özellikle dikey, yatay ve çapraz yönlerdeki bölümler için eşitsizlik haritası hesaplamaları için etkileri de araştırılmıştır. Stereo görüntülerden derinlik haritası elde edildikten sonra, nesnenin normal iki boyutlu görüntüsü derinlik bilgisi ile birleştirilerek nesnenin 3D görselleştirilmesi oluşturmuştur.

Özet (Çeviri)

Using an optical microscope, most viruses, proteins, and small molecules cannot be successfully imaged because of Abbe's diffraction limit. The super-resolution structured illumination microscopy (SIM) technique overcomes this issue and expands the lateral resolution to the half of the diffraction limit. The cost of the SIM technique results from the need to record at least nine raw images to reconstruct a single super-resolution image. This requirement has two consequences: photobleaching and motion artifacts. To alleviate these problems, we need a system that is extremely fast for recording raw images (to observe high dynamic processes) and projects less excitation light onto the sample (to avoid photobleaching). Compressed sensing (CS) can be a candidate for achieving these objectives. First, CS allows us to record an object scene with a photomultiplier tube (PMT) instead of a camera. The acquisition speed of a PMT is much higher than a scientific complementary metal-oxide-semiconductor (sCMOS) camera. Second, the scene in the CS framework is sampled faster (thanks to the higher frame rate of a digital micromirror device - DMD), and also sampled with lower excitation light (because of sampling patterns). Third, the CS framework can recover the scene reliably with few measurements, reducing the overall data collection time further. The main objective of this dissertation is to combine CS and SIM techniques, but we also make various contributions to this framework. The main contributions of this dissertation are (1) proposing a dictionary learning method based on the multi-layer convolutional sparse coding (ML-CSC) model to improve the performance of a CS recovery algorithm; and (2) proposing a method for the combination of CS and SIM and demonstrating the method with simulation-based studies as well as real data collection experiments. In early attempts in the sparse representation theory, some off-the-shelf dictionaries were utilized. However, training dictionaries instead of using a known transform significantly improved signal reconstruction quality. On the other hand, the success of a CS recovery algorithm is directly related to the sparsity level of a signal. The sparsity level of a signal depends on the sparsifying transform or dictionary. With that perspective, we need to learn a sparsifying transform or dictionary that is compatible with a signal of interest. Therefore, we propose a dictionary learning method based on ML-CSC. The method does not depend on any parameters or the success of a CS recovery algorithm involved in the dictionary learning steps although the ancestor of the proposed algorithm depends on some parameters and the recovery algorithm. We also implement the learned dictionaries into a CS recovery algorithm and discuss the performance of the proposed learning algorithm. The other main contribution of this dissertation is to combine the CS framework and the SIM technique. We demonstrate this combination utilizing a simulation-based study. The mathematical foundation of the proposed study is demonstrated. Then, experimental results for both stationary and non-stationary objects are presented. We utilize some CS recovery algorithms presented previously and compare the reconstruction results for the case of the combination of CS and SIM. We propose an optical configuration for the data collection problem with the photomultiplier tube (PMT), and then we discuss the limitations of the DMD in the laboratory. Then, an optical configuration for the combination of CS and SIM is introduced. Using the proposed configuration, an experimental study is performed for both stationary and non-stationary objects. The normalized intensity profiles of the reconstructions and the other conventional microscopy methods for the same object are compared. The proof-of-principle solution for the photobleaching issue is evaluated for the real optical configuration. We also present a CS approach for holography and demonstrate the extraction of depth information from a single hologram. An optical configuration for holographic data collection is first presented. The depths of the variety of digital holograms (include compressive ones) are obtained using the stereo disparity method. The proposed method does not require the phase information of the hologram but two perspectives of the scene, which are easily obtained by dividing the hologram into two parts (two apertures) before the reconstruction. We investigated the effects of gradual and sharp divisions of the holograms for the disparity map calculations, specifically for divisions in the vertical, horizontal, and diagonal directions. After obtaining the depth map from the stereo images, a regular two-dimensional image of the object is merged with the depth information to form 3D visualization of the object.

Benzer Tezler

Tez No
854307
Derin öğrenme tabanlı süper çözünürlük teknikleri kullanarak JPEG sıkıştırma kaybının iyileştirilmesi
Recovering JPEG compression loss via deep learning-based super resolution techniques
MUHAMMET BOLAT
Yüksek Lisans
Türkçe
2024
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol İstanbul Teknik Üniversitesi
Bilişim Uygulamaları Ana Bilim Dalı
PROF. DR. LÜTFİYE DURAK ATA
DR. NURULLAH ÇALIK
Tez No
467198
Seyreklik ve sözlük öğrenme yaklaşımlarının sınıflandırma ve yüz tanımaya uygulanması
Classification and face recognition application of sparsity and dictionary learning based methods
BERNA AZİZOĞLU
Yüksek Lisans
Türkçe
2017
Elektrik ve Elektronik Mühendisliği İstanbul Teknik Üniversitesi
Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. ENDER METE EKŞİOĞLU
Tez No
769837
Derin öğrenme ile süper çözünürlüklü radar görüntüleme
Super resolution radar imaging with deep learning
İREM FADİME ERİM
Yüksek Lisans
Türkçe
2022
Elektrik ve Elektronik Mühendisliği İstanbul Teknik Üniversitesi
Elektronik-Haberleşme Eğitimi Ana Bilim Dalı
PROF. DR. IŞIN ERER
Tez No
434060
Security/privacy analysis of biometric hashing and template protection for fingerprint minutiae
Biyometrik kıyım için güvenlik/mahremiyet analizi ve parmak izi olay noktaları için şablon koruma
BERKAY TOPÇU
Doktora
İngilizce
2016
Elektrik ve Elektronik Mühendisliği Sabancı Üniversitesi
Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. HAKAN ERDOĞAN
Tez No
716926
Self-supervised deep convolutional neural network training for low-dose CT reconstruction
Düşük dozlu BT geriçatması için derin evrişimli sinir ağlarının öz denetimli eğitimi
MEHMET OZAN ÜNAL
Yüksek Lisans
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol İstanbul Teknik Üniversitesi
Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
DOÇ. DR. İSA YILDIRIM

Geri Dön