Geri Dön

Bulanık su altı görüntülerinde derin öğrenme tabanlı balık tespiti

Deep learning based fish detection in turbid underwater images

PDF İndir

  1. Tez No: 637291
  2. Yazar: TANSEL AKGÜL
  3. Danışmanlar: DOÇ. DR. BEHÇET UĞUR TÖREYİN
  4. Tez Türü: Yüksek Lisans
  5. Konular: Bilim ve Teknoloji, Elektrik ve Elektronik Mühendisliği, Science and Technology, Electrical and Electronics Engineering
  6. Anahtar Kelimeler: Belirtilmemiş.
  7. Yıl: 2020
  8. Dil: Türkçe
  9. Üniversite: İstanbul Teknik Üniversitesi
  10. Enstitü: Bilişim Enstitüsü
  11. Ana Bilim Dalı: Uydu Haberleşmesi ve Uzaktan Algılama Ana Bilim Dalı
  12. Bilim Dalı: Belirtilmemiş.
  13. Sayfa Sayısı: 82

Özet

Teknolojinin gelişimiyle birlikte, gelişen endüstri devrimi dünya kaynaklarını hızla ve sorumsuzca tüketmeye başlamıştır. Artan enerji ihtiyacı kaynakların hızla tükenmesine neden olmaktadır. Hızla tükenen bu kaynakları korumak için insanlığın yapması gereken önemli görevler yüklemektedir. Su canlılarının doğal habitatları korumak için yapılan çalışmalar son dönemde artarak devam etmektedir. Özellikle ülkemizdeki artan HES'lerin doğal ekolojik ortama yansımaları nelerdir bu yansımalar ne gibi sonuçlar doğurmaktadır incelememiz gerekmektedir. Bu sorulara cevap bulabilmek için son dönemde gelişen görüntü işleme teknikleri ve uygulamaları kendine yeni uygulama alanları bulmuştur. Bilgisayar alanında yazılım alanının hızla GPU tabanlı donanımlarla desteklenmesi görüntü işleme alanında çığırlar açmıştır. Bu tezimizde Türkiye'nin farklı bölgelerinden alınan video görüntüleri üzerinde çalışmalar yapılarak veri kümeleri oluşturulmuş bu veri kümeleri ve daha sonra oluşturulan yapay veri kümeleriyle testler ve eğitimler yapılmıştır. Tüm bu çalışmaların sonucunda bulanık suyun giderilmesi ve bu sularda yaşayan canlıların tespit edilmesinde katkıları olduğu görülmüştür. Teknolojinin gelişmesi ile birlikte dış faktörlerden etkilenen ve bozunuma uğrayan su altı doğal yaşam ortamının olumsuz etkilerini azaltmak ve kaynakları doğru tespit etmek, verimli ve etkili kullanılabilmesi için doğru ölçümlemek, maliyeti uygun yöntemler geliştirmek ve su altı doğal yaşamını sürdürülebilir kılmak için yeni yöntemlere ihtiyaç duyulmaktadır. Derin öğrenme, etkileşime girdiği her alanda köklü değişimlere sebep olmustur. Sınıflandırma, tespit etme ve bölütleme problemleri özelinde geliştirilen modeller, birçok farklı alana uygulanarak ileri teknoloji çözümler ortaya koymuşlardır. Derin öğrenme çalışmalarının su altı çalışmalarında kullanılması son dönemde artmış ve bu yöntemlerden elde edilen çıktılar ile su altı çalışmalarında başarılı sonuçlar elde edilmiştir. Derin öğrenme yöntemlerindeki başarılı sonuçlar farklı sualtı çalışmalarına ivme kazandırmıştır. Su altı çalışmalarında önemli bir problem; bulanık sualtı görüntülerinden nesnelerin berrak bir biçimde tespit edilebilme zorluğudur. Özellikle görüntülerin gürültü tabir edilen bulanık, puslu, arka plan görüntüsünün yoğun olduğu akarsu, göl, baraj suyu ve denizlerde doğal ortamlarda yaşayan balıkların tespit edilmesi oldukça zordur. Dolayısıyla bulanık ve arka plan gürültüsünün yoğun olduğu sularda balıkların tespit edilmesi ve tanınması aşılması gereken önemli bir eşik olarak ortada durmaktadır. Buna yönelik olarak bu deneysel çalışmada, çeşitli veri kümeleri hazırlanmış ve bu veri kümeleri ile çalışılarak sonuçlar çıkartılmış ve elde edilen ağırlıklar eşik değeri 0,1'den itibaren 0,9'a kadar artımlayarak başarım karşılaştırılmaları yapılmıştır. Derin öğrenme yöntemlerinin Türkiye su altı doğal yaşam kaynaklarına özgü balık (nesne) tespit sonuçları kullanılması hakkında derin sinir ağlarının kullanılabilirliği hakkında fikir vermektedir. Bu sonuçlar, su altı balık tespitinde yeni toplanacak verilerle oluşturulacak veri kümeleri ile farklı özgün yöntemlere ihtiyaç duyulduğunu göstermektedir. Derin öğrenme modellerinin birçok alanda verdiği başarılı sonuçlar, su altı çalışmalarının zorlu şartlarında uğraşılan problemler için çıkış kapısı olmuştur. Bu problemlerin başında, bulanık ve arkaplan gürültüsünün yoğun olduğu görüntülerde balık tespitinin yapılması gelmektedir. Dolayısıyla bulanık ve arka plan gürültüsünün yoğun olduğu sularda balıkların tespit edilmesi, tanınması ve yollarının izlenmesi aşılması gereken önemli bir eşik olarak ortada durmaktadır. Bu çalışma; TÜBİTAK ARDEB 117M151“Dikey Yarıklı Balık Geçidinin Performansının Sazlık Elemanlarla Artırılması: Çataloluk HES Pilot Çalışma”ve 119E248“Görüntü İşleme Ters Problemlerinde Derin Öğrenme”adlı projeler kapsamında desteklenmiştir.“ Buna yönelik olarak tez çalışmasında TÜBİTAK ARDEB 117M151 ”Dikey Yarıklı Balık Geçidinin Performansının Sazlık Elemanlarla Artırılması: Çataloluk HES Pilot Çalışma" projesi kapsamında Kahramanmaraş Ceyhan Havzası Tekir Çayında bulunan Çataloluk HES'teki dikey yarıklı balık geçidinde iki farklı kamera ile çekilen videolar kaynak olarak alınmıştır. Bu videolar üzerinde çalışılarak, 400 adet resimli balık tespitine yönelik özgün bir veri kümesi oluşturulmuştur. Bu görüntüler üzerinden, nesne tespitinde en ileri modeller arasında olan YOLO (You Only Look Once) modelleri YOLO-V2, YOLO-V3, YOLO-V3 Tiny ve MobileNet-SSD (MobileNet Single Shot Multibox Detector) ağları eğitimli bir sinir ağının ağırlıklarını alarak ve aynı alandaki veriler üzerinde eğitilen yeni bir modelin başlatma (fine-tuning) stratejisi ile eğitilmiş ve sonrasında kesinlik, duyarlılık ve ortalama hassasiyet başarımları üzerinden karşılaştırılarak MobileNet-SSD modelinin %50 eğitim verisi kullanıldığında %88,07 ortalama hassasiyet elde edilmiştir. Kahramanmaraş Ceyhan Havzası Tekir Çayında bulunan Çataloluk HES'te oluşturulan dikey yarıklı balık geçidinde balık izleme amaçlı kurulan kameralardan edinilen video görüntülerinin ötesinde, laboratuvar koşullarında ve kontrollü ortamda da bir bulanık su altı görüntü veri kümesi oluşturulmuştur. Bulanık su altı görüntü veri kümesi oluşturmak için laboratuvar ortamında deneysel çalışma yapılmıştır. Bu çalışma ile çeşitli bulanık su örnekleri hazırlanmış ve her bir bulanık su artımında, ortam bulanıklık koşulları değiştirilerek su altında renk kartelasının aldığı durum ve renklerin değişimi kamera ile izlenme yöntemi ile video kaydı alınmıştır. Deneysel çalışma kapsamında, su altı ortamı görüntüsünün bire bir koşullarını sağlayabilmek ve kontrollü bir veri kümesi oluşturabilmek amacı ile, su altı doğal ortamına benzer bir deney sistemi tasarımlanmış ve gerekli hazırlıklar ile malzeme tedariki yapılmış ve sistem kurularak gerekli veri kümesi eldesi çalışması yapılmıştır. Su altı bulanıklığının değişkenlik gösteren koşulları için, ortam koşullarını bire bir sağlayabilecek kil vb. farklı malzemeler ile değişkenlik koşulları sağlanmış, farklı bulanıklık seviyelerindeki numune örnekleri ile su altı ortamındaki bulanıklık düzeyleri değiştirilerek, kontrollü ölçümler elde edilmiştir. Değişkenlik sonucu su altı ortam koşullarını etkileyen dolaylı ve dolaysız etkenlerin irdelenmesi ile bulanıklık seviyesinin su altı ortamında nesne tespit edilmesi konusundaki sonuçları çıkarılmaya çalışılmıştır. Kontrollü bir bulanıkık su altı ortam koşulu altında gerçekleştirilen deney çalışmasında çok sayıda video kaydı ile veri eldesi sağlanmış ve bulanıklık seviyelerinin değişkenliği ile aynı zamanda su altı bulanıklık giderilmesi konusunda da bir veri kümesi elde edilmiştir. Gerçek balık video görüntülerinden elde edilen veri kümesi ile laboratuvar ortamında elde edilen kontrollü bulanık su altı görüntü veri kümesi ile nesne tespitinde kullanılan evrişimsel sinir ağı (ESA) tabanlı 4 farklı model ile su altı balık tespiti eğitimi ve testleri yapılmıştır. YOLO-V2, YOLO-V3, YOLO-V3 Tiny ve MobileNet-SSD modelleri kullanılmıştır. Her biri 5 dakika süreli, 53 adet gerçek su altı yaşamdan alınmış videodan rastgele seçilen 400 adet video karesi alınmıştır. Ülkemiz su altı yaşam formuna uygun gerçek imgelerden özgün bir etiketli veri kümesi oluşturulmuştur. Bu veri kümesi, eğitimli bir sinir ağının ağırlıklarını alarak ve aynı alandaki veriler üzerinde eğitilen yeni bir modelin başlatma (fine-tuning) stratejisi ile eğitilmiş ve sonrasında doğruluk (accuracy), hassasiyet (precision) ve ortalama hassasiyet (mean Average Precision) başarımları üzerinden karşılaştırılarak MobileNet-SSD modelinin %50 eğitim verisi kullanıldığında %88,07 ortalama hassasiyet elde edilmiştir. Sonuç olarak bu tez çalışmasında kullanılan her dört Evrişimsel Sinir Ağı yöntemi ile, bulanık ve arka plan gürültüsünün yoğun olduğu sularda balıkların tespit edilmesi ve tanınması aşamasında verim alınabileceği ve tespitin başarı ile yapıldığı aşikardır. Su altı kamera ve fotoğraf karesi görüntülerinden balık tespitinde önemli bir yöntem olarak kullanılabileceği, elde edilen tespit sonuçlarının değerlendirilebileceği, ancak daha uygun veri kümesi ve deneysel çalışmalar ile sonuçların daha da iyileştirilebileceği görülmüştür. Tüm çalışma süresince elde edilen eğitim ve test çalışmaları ile ve deneysel ortamda elde edilen yapay bulanık su altı ortamı için oluşturulan veri kümesi ile su altı bulanıklık giderme problemlerinin çözümü için yeni çalışma konusu olarak değerlendirilebilecektir.

Özet (Çeviri)

The successful results of the deep learning models in many areas have been the exit gateway to the problems faced in the challenging conditions of underwater studies. One of these problems is the detection of fish in images with a high turbid and background noise. Therefore, the detection of fish in turbid and background noisy water is an important threshold to be overcome to classify them and track their paths. In this study, videos were taken from the reservoir basin in Kahramanmaras Ceyhan region with two different cameras. Then, a novel data setis presented which contains 400 images for the detection of fishin the wild. By using these data set, the state-of-the-art detection models, YOLO-V2, YOLO-V3, YOLO-V3 Tiny and MobileNet-SSD networks are trained with fine-tuning strategy, and then they are compared over the precision, recall and mean AveragePrecision (mAP) performances. With the development of technology, new methods are needed to reduce the negative effects of the underwater habitat affected by external factors and deteriorate, to identify the resources correctly, to measure accurately to use them efficiently and effectively, to develop cost-effective methods and to sustain underwater wildlife. Deep learning has led to radical changes in every area it interacts with. The models developed for classification, detection, and segmentation problems have been applied to many different areas, and have developed high-tech solutions. The use of deep learning studies in underwater studies has recently increased and the results obtained from these methods have achieved successful results in underwater studies. Successful results in deep learning methods have accelerated different underwater studies. An important problem in underwater work; It is the difficulty of detecting objects clearly from blurred underwater images. It is quite difficult to detect fish living in natural environments in rivers, lakes, dam waters, and seas where the noise of the images is called blurry, hazy, and the background image is intense. Therefore, the identification and recognition of fish in waters with turbid and intense background noise is an important threshold that must be exceeded. For this purpose, in this experimental study, various datasets were prepared and the results were drawn by working with these datasets, and the performance weights were compared by pushing the threshold weights from 0,1 to 0,9. Deep learning methods specific to Turkey underwater fish habitat resources (object) gives an idea about the availability of deep neural networks on the use of detection results. These results show that different original methods are needed with the data sets to be created with the new data to be collected in underwater fish detection. The successful results of deep learning models in many areas have been the gateway to the problems encountered in the challenging conditions of underwater studies. The first of these problems is the detection of fish in images with blurred and background noise. Therefore, the detection, recognition, and monitoring of the fish in the waters with turbid and background noise is an important threshold that must be overcome. This work; TÜBİTAK ARDEB 117M151“Increasing the Performance of Vertical Slotted Fish Passage with Reeds Elements: Çataloluk HES Pilot Study”and 119E248 supported under the projects“Deep Learning in Image Processing Reverse Problems”. In this study, the videos taken with two different cameras in the vertical slotted fish passage in Çataloluk HES located in the Tekir Stream in the Ceyhan Basin of Kahramanmaraş were taken as sources. By working on these videos, a unique dataset was created for the detection of 400 illustrated fish. YOLO (You Only Look Once) models YOLO-V2, YOLO-V3, YOLO-V3 Tiny, and MobileNet-SSD (MobileNet Single Shot Multibox Detector) networks take the weights of a trained neural network through these images and A new model trained on data in the same area was trained with a fine-tuning strategy, and then an average sensitivity of 88,07% was obtained when using 50% training data of the MobileNet-SSD model by comparing accuracy, sensitivity, and average sensitivity. In the vertical slot fish passage created in Çataloluk HES located in Kahramanmaraş Ceyhan Basin Tekir Stream, a blurred underwater image dataset was created in laboratory conditions and controlled environment beyond the video images obtained from cameras. An experimental study was carried out in a laboratory environment to create a blurred underwater image dataset. With this study, various turbid water samples were prepared and in each turbid water increment, the ambient turbidity conditions were changed and the video was taken by the color chart underwater and the video changes were recorded by watching the camera. Within the scope of the experimental study, an experiment system similar to the underwater natural environment was designed and material supply was made with the necessary preparations and the necessary dataset study was performed by establishing the system to provide one-to-one conditions of the underwater environment image and to create a controlled dataset. For varying conditions of underwater turbidity, clay, etc. that can meet the ambient conditions exactly. Variability conditions were provided with different materials, and controlled measurements were obtained by changing the turbidity levels in the underwater environment with sample samples at different turbidity levels. It was tried to draw conclusions about the determination of the object in the underwater environment of the turbidity level by examining the indirect and direct factors affecting the underwater environment conditions as a result of variability. In the experimental study carried out under the condition of a controlled turbid underwater environment, data were obtained with a large number of video recordings, and a dataset on underwater turbidity removal was also obtained with the variability of the turbidity levels. As a result, it is evident that with all four Evolutionary Neural Network methods used in this thesis study, efficiency can be obtained during the detection and recognition of fish in the waters with turbid and intense background noise, and the determination is made successfully. It has been observed that underwater camera and photographic images can be used as an important method in fish detection, the results of the detection can be evaluated, but the results can be improved with the more appropriate dataset and experimental studies. It can be considered as a new study subject for the solution of underwater turbidity removal problems with the training and test studies obtained during the whole study and the dataset created for the artificial turbid underwater environment obtained in the experimental environment.

Benzer Tezler

  1. Tez No

    323154

    Sualtı görüntülerinde iyileştirme ve hedef tespiti

    Image enhancement and target detection in underwater images

    AYSUN TAŞYAPI ÇELEBİ

    Doktora

    Türkçe

    Türkçe

    2012

    Elektrik ve Elektronik MühendisliğiKocaeli Üniversitesi

    Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı

    PROF. DR. SARP ERTÜRK

  2. Tez No

    313622

    Opti-acoustic stereo imaging

    Opti-akustik stereo görüntüleme

    HAKAN SAÇ

    Yüksek Lisans

    İngilizce

    İngilizce

    2012

    Elektrik ve Elektronik MühendisliğiOrta Doğu Teknik Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    DOÇ. ÖZGÜL SALOR DURNA

    PROF. KEMAL LEBLEBİCİOĞLU

  3. Tez No

    696440

    PERFORMANCE ANALYSIS OF QUANTUM KEY DISTRIBUTION IN UNDERWATER CHANNELS

    Başlık çevirisi yok

    AMIR HOSSEIN FAHIM RAOUF

    Yüksek Lisans

    İngilizce

    İngilizce

    2021

    Elektrik ve Elektronik MühendisliğiÖzyeğin Üniversitesi

    Elektrik-Elektronik Mühendisliği Ana Bilim Dalı

    PROF. DR. MURAT UYSAL

  4. Tez No

    366409

    Bulanık ortamda çoklu kriter karar verme metodu: İnsansız su altı aracı (rov) alternatif tasarımlarından en uygun olanını seçme algoritması ve bir karar verme yardımcı aracı geliştirme

    Multi criteria decision making in fuzzy environment: An algorithm to determine the best remotely operated vehicle (rov) design and a decision making aid tool

    BİROL ÜLKER

    Doktora

    Türkçe

    Türkçe

    2014

    İşletmeGebze Yüksek Teknoloji Enstitüsü

    İşletme Ana Bilim Dalı

    PROF. DR. BÜLENT SEZEN

  5. Tez No

    251817

    Bir su altı aracının modellenmesi, benzetimi ve denetleyici tasarımı

    Modelling, simulation and control of an underwater vehicle

    CEVDET CESUR OKUTAN

    Yüksek Lisans

    Türkçe

    Türkçe

    2008

    Mühendislik Bilimleriİstanbul Teknik Üniversitesi

    Makine Ana Bilim Dalı

    DOÇ. DR. MURAT AYDIN

    DOÇ. DR. ŞENİZ ERTUĞRUL

Geri Dön