Distortion detection and restoration pipeline for phase contrast microscopy time-series-images
Faz kontrast microskopi zaman serisi goruntulerinde bozulma tespiti ve yeniden yapılandırma algoritması
- Tez No: 810767
- Danışmanlar: PROF. DR. DEVRİM ÜNAY, PROF. DR. Uğur TÖREYİN
- Tez Türü: Yüksek Lisans
- Konular: Elektrik ve Elektronik Mühendisliği, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: İzmir Demokrasi Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektrik-Elektronik Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Belirtilmemiş.
- Sayfa Sayısı: 58
Özet
Faz-Kontrast Mikroskopi (PCM) hücre davranış analizi başta olmak üzere pek çok çalışma ile popular hale gelmiştir. PCM görüntülemenin önemli avantajları hücre görünürlüğünü artırmak adına boya ya da diğer etken maddelerin kullanımına yada ışık gibi hücresel uyarıcı dış etkenlere gerek duyulmamasıdır. Hücreleri görünür kılmak için kullanılan materyaller biyolojik uyarıcı olabilirler. Bu durum hücrelerin davranışını etkileyebilme potansiyeline sahiptir. PCM örnek içerisinden ve dışından geçen ışığın faz farkı oluşturması esasına dayanır. Bu yöntem ile ışık mikroskopu altında görülemeyen hücre uzantıları dahi görünür kılınabilmekte ve bu sayede daha başarılı analizler (değerlendirmeler) yapılabilmektedir. PCM'nin avantajlarına rağmen, deney kaydedilirken bazı bozulmaların meydana gelme riski bulunmaktadır. Laboratuvarda istenmeyen birtakım aksaklıklar veya dijital bozulmalar meydana gelebilir. Bu bozuk çerçeveleri tek tek kontrol etmek, düzenlemek veya onarmak zaman alıcıdır ve incelemenin kalitesi kişisel algıya göre değişebilir. Akademik yazındaki çalışmaların çoğu Halo etkisi ve onun yeniden yapılandırılması üzerine odaklanmaktadır. Sadece birkaç çalışma verilerin kalitesine odaklanmakta ve genellikle tek tür bozulmayı tespiti/düzeltmeyi hedeflemiştir. Bu çalışmada PCM zaman serisi görüntülerinde boş ekran, parlaklık değişimi, uzamsal kayma ve odak değişimi gibi birden fazla bozulmanın tespiti ve düzeltilmesi amacıyla çoklu algoritma takibi içeren yeni bir yöntem önerilmektedir. Herhangi bir PCM zaman serisi görüntüsünde boş ekran tespiti, parlaklık değişimlerinin tespiti ve düzeltilmesi için önerilmiş olan çalışma bir zaman serisine ait çerçevelerin ortalama parlaklık değerleri (AFI) üzerinden geliştirilmiştir. Uzamsal kayma tespiti ardışık çerçeveler arasında korelasyon hesabı ile gerçekleştirilmiştir. Odaklanma düzeyi ise karmaşık bir problem olmasına rağmen basit bir çözüm önerilmiştir. Boş çerçeve tespiti, hesaplanmış olan ortalama çerçeve parlaklık değerlerinin en yakın komşuluğundaki bir düşük sayıya yuvarlanması yaklaşımı çalışmanın ilgili kısmının en önemli noktasıdır. Sıfır değerleri boş çerçeveleri işaret ederken, diğer değerler veri içeren çerçeve olarak değerlendirilmekte ve parlaklık değeri değişimi tespiti için sıradaki algoritmaya aktarılmaktadır. Çerçevelerde gözlenen parlaklık değeri değişiminin tespiti ve düzeltilmesi, geçerli çerçevenin ortalama parlaklık değeri ile tüm çerçevelerin ortanca ortalama parlaklık değeri arasındaki farkın normalize edilmesi ile belirlenir. Restorasyon algoritmamız, arka plan ve hücre sınırları geçişlerinde bulunan piksellerin değerlerini korur, yeni bozulmalara neden olmaz ve bozulma olan çerçeve ile bozulma olmamış olan çerçeveler arasındaki histogram benzerliğini artırır. Uzamsal kayma bozulmasının tespiti ardışık iki çerçevenin yeniden boyutlandırılmış halleri arasında korelasyon hesaplanmasına dayanır. Yeniden boyutlandırma algoritmayı daha etkin kılmaktadır çünkü yeniden boyutlandırma esnasında yüksek frekans verileri azalmakta, durgun hücre kalıntıları ve arka plan verileri önemini yitirmekte ve hücre gövdeleri daha önemli bir hale gelmektedir. Düşük boyuta indirgenmiş çerçeveler arasında ise korelasyon hesaplanması daha hızlı ve etkin hale gelmektedir. Ekipmanların odaklanma durum tespiti karmaşık ve zorlu bir problemdir. Elimizdeki mevcut veriye uygun bir ölçüt ve yöntem kullanılmalıdır. Pek çok ölçüt ve yöntem yüksek hesaplama süresine sahip veya başarım olarak iyi sonuç vermemektedir. Laplacian filtrenin varyans (değişiklik) değeri hesaplaması veri üzerine uygulanmış, elde edilen değerler daha önceden belirlenmiş bir değer ile eşiklenmiştir. Algoritma, toplamda 15395 çerçeveye karşılık gelen 27 PCM zaman serisi deneyi üzerinde doğrulanmış ve sonuçların niteliksel ve niceliksel olarak oldukça isabetli olduğu bulunmuştur.
Özet (Çeviri)
In phase contrast microscopy, imaging experiment assays (videos) there could be single or multiple distortions. When a whole assay will be use through different aims, these distortions may affect the efficiency of the algorithms. In literature, single or multiple selected distortions have been tried to solve. We are proposing a video processing pipeline which aims to detect and make necessary corrections on video. Hofmeister at all [1], had proposed a method to compensate for the illumination for distortions caused by the meniscus effect. When imaging an experiment, if it has done near fringe area, the meniscus effect causing distortions and getting harder to detect cell border. Their suggested algorithm is transferring the image into Fourier plane and detecting mismatches with previous and future planes. Deduction of the amount of illumination shift a few seed pixels are selected from where they are located in the center of the illumination ring-pattern. The effects of these pixels are not visible but they can easily tracked in Fourier plane. A closed feedback measures the coordinates of the center spot and shifting the image to its new position with a round-trip frequency which is 10 Hz. Li at all [2], proposed a video deflickering algorithm. The logic of algorithm starts with segmenting frame with superpixels with using SLIC method. Later on, detection of compatible pixels in frames via applying SIFT Flow for every superpixel regions was accomplished. The compatible pixels were transferred into new frames and other parts are exposed to some formulations which are basically detecting the amount of error and doing correction on them. By using this method, flickering on the videos can be removed and quality of the video can became increased. Zhang at all [3] has proposed an image enhancement algorithm for underwater image enhancement which based on color correction and dehazing. The input image processed by white balance algorithm. Color correction step takes both original and white balance output, then gives one output. Then, it is exposed by contrast enhancement and prior dehazing at two different branches. At the both branches global contrast weight, local contrast weight, saliency weight and exposedness weights calculated and fused in one image. After that, the results of the branches are fused in multiscale to have final output. Histogram equalization (HE) and adaptive histogram equalization (AHE) methods are commonly use for image enhancement, however; phase contrast microscopy images are not using all gray level intensities. Because of that reason when HE or AHE is used, healty frames will be also change. Contrast limited adaptive histogram equalization (CLAHE) is more suitable method than HE or AHE for phase contrast microscopy data. Maison at all [4] compared the HE, AHE, and CLAHE methods and showed CLAHE method displays blood vessels more clear than HE and AHE. However, CLAHE also producing more noise. Because of that reason median filter used to complete CLAHE. Zanella at all [5] showed deconvolution method can be used for remove blur or enhance contrast and resolution. Izmir Institute of Technology, Molecular Biology and Genetics department have been supplied phase contrast microscopy assay data for two different experiments which are wound healing and cell motility. Detected distortions of videos; empty frames, sudden increase or decrease of intensity, monotonic decreasing of intensity, geometric translation, optical focusing problem, background changing after focusing, salt noises, partial blurred area with a short time, small but huge amount of fast and one directional moving particals (like blizzard). In the thesis, we are planning to study on phase contrast microscopy assays and distortion types. Previous and current studies are focusing to solve only one or close a few distortion types. Hofmeister at all's [1] study can be used to correct the illumination errors and also possible to use on optical focus distortions because optical focus distortions changing visible borders of the cell. However, algorithm could solve this problem too. Li at all's [2] study may help to solve halo problem for phase contrast imaging. Zhang at all's [3] study developed for underwater images & videos, but the logic of the algorithm may help to increase quality of the phase contrast images. Maison at all's [4] study shows CLAHE is more efficient than HE and AHE, but it is causing to produce noise on output. Zanella at all's [5] study shows deconvolution method can be used for optical focus distortions.We are proposing a video processing pipeline which will make correction and increase the quality of the video for multiple distortions. Some distortions could be detected with some parameter values and detection and correction will be fully automatic. In some distortion types, detection may have low accuracy, or may have multiple correction methods. In that situation correction methods could be selected from interface. [1] Hofmeister, A., Thalhammer, G., Ritsch-Marte, M., & Jesacher, A. (2020). Adaptive illumination for optimal image quality in phase contrast microscopy. Optics Communications, 459, 124972. [2] Li, Chao & Chen, Zhihua & Sheng, Bin & Li, Ping & He, Gaoqi. (2020). Video flickering removal using temporal reconstruction optimization. Multimedia Tools and Applications. 79. 10.1007/s11042-019-7413-y. [3] Zhang, Y., Yang, F., & He, W. (2020). An approach for underwater image enhancement based on color correction and dehazing. International Journal of Advanced Robotic Systems, 17(5), 1729881420961643. [4] Maison, Maison & Lestari, T & Luthfi, A. (2019). Retinal Blood Vessel Segmentation using Gaussian Filter. Journal of Physics: Conference Series. 1376. 012023. 10.1088/1742-6596/1376/1/012023. [5] Zanella, R., Zanghirati, G., Cavicchioli, R., Zanni, L., Boccacci, P., Bertero, M., & Vicidomini, G. (2013). Towards real-time image deconvolution: application to confocal and STED microscopy. Scientific reports, 3(1), 1-8.
Benzer Tezler
- A statistical framework for degraded underwater video generation
Bozulmuş sualtı video üretimi için istatistiksel bir yapı
SERKAN ŞATAK
Yüksek Lisans
İngilizce
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. BEHÇET UĞUR TÖREYİN
- Estimation and restoration for heat haze effects in image and video processing
Görüntü ve video işlemede ısı dalgalanması etkilerinin tahmini ve restorasyonu
ÖZLEM ALPERGÜN TANAS
Yüksek Lisans
İngilizce
2024
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiElektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
PROF. DR. ENDER METE EKŞİOĞLU
- Gevşeme temelli kenar belirleme algoritması
Başlık çevirisi yok
GÜRAY GÜNGÖR
Yüksek Lisans
Türkçe
1998
Elektrik ve Elektronik Mühendisliğiİstanbul Teknik ÜniversitesiBiyomedikal Mühendisliği Bilim Dalı
DOÇ. DR. TAMER ÖLMEZ
- Uzak mesafeli görüntülemede bozulmaların incelenmesi ve iyileştirilmesi
Analysis and restoration of degradations in long range imaging
GÜLSÜM GEZER
Doktora
Türkçe
2020
Bilim ve TeknolojiYıldız Teknik ÜniversitesiKontrol ve Otomasyon Mühendisliği Ana Bilim Dalı
DR. ÖĞR. ÜYESİ MUHARREM MERCİMEK
- Öz bilgi destekli derin öğrenme yaklaşımları ile hsg gürültü giderme
Self-ınformation empowered deep learning approaches for hsı denoising
ORHAN TORUN
Doktora
Türkçe
2024
Elektrik ve Elektronik MühendisliğiHacettepe ÜniversitesiElektrik-Elektronik Mühendisliği Ana Bilim Dalı
DOÇ. DR. SENİHA ESEN YÜKSEL ERDEM
PROF. DR. MEHMET ERKUT ERDEM