Optimization of deep neural network architectures for the forest fire detection
Orman yangini tespitinde derin sinir aği mimarilerinin optimizasyonu
- Tez No: 782325
- Danışmanlar: PROF. DR. MÜŞTAK ERHAN YALÇIN, PROF. DR. HAZIM KEMAL EKENEL
- Tez Türü: Yüksek Lisans
- Konular: Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrol, Elektrik ve Elektronik Mühendisliği, Computer Engineering and Computer Science and Control, Electrical and Electronics Engineering
- Anahtar Kelimeler: Belirtilmemiş.
- Yıl: 2023
- Dil: İngilizce
- Üniversite: İstanbul Teknik Üniversitesi
- Enstitü: Fen Bilimleri Enstitüsü
- Ana Bilim Dalı: Elektronik ve Haberleşme Mühendisliği Ana Bilim Dalı
- Bilim Dalı: Elektronik Mühendisliği Bilim Dalı
- Sayfa Sayısı: 89
Özet
Biyolojik çeşitliliğin korunması, ekosistemin sürdürülebilirliği, su ve besin döngüsünün devamı gibi hayati konularda tüm canlılar için ormanlar kritik öneme sahiptir. Orman yangınları, yaban arazilerde hızla yayılarak yanan büyük kontrolsüz olaylardır. Son yıllarda, küresel ısınmanın etkisiyle dünyamızda iklim değişiklikleri gözlenmektedir. Ortalama sıcaklıkların artması yangına temel oluşturan ve yangın mevsimi olarak adlandırılan hava koşullarının uzun dönemler görülmesine neden olmuştur. Bu nedenle orman yangınları daha sık ve daha zor müdahale edilebilen bir afet türü olmuştur. Bu yangınlardan doğabilecek hasarları ve ölümcül sonuçları önlemek için erken ve doğru tespit yapmak hayatı bir öneme sahiptir. Bu şekilde yangın söndürme çalışmalarına daha hızlı başlanabilir ve yaşam alanlarını korumak için gerekli önlemler zamanında alınabilir. Bu doğrultuda orman yangınlarının tespiti araştırmacılar için ilgi çekici bir konu olmuştur ve literatürde çeşitli çalışmalar bulunmaktadır. Geleneksel görüntü işleme ve makine öğrenmesi yöntemlerinin sıklıkla kullanıldığı görülmüştür. Bu çalışmalar görüntülerden istatistiksel metotlar kullanarak özellik çıkarımı yapar ve daha sonra uygun makine öğrenmesi yöntemi seçilerek görüntüde yangın olup olmadığını tespit eder. Bu çalışmaların çıktıları ışığında orman yangını tespitinde görüntüde bulunan bazı önemli noktalar belirlenmiştir. Örneğin, yangın sırasında ortaya çıkan alev ve dumanların kendine has renk, şekil ve hareket yapısı vardır. Tespit esnasında bunların doğru belirlenmesi modelin performansını doğrudan etkilemektedir. Geleneksel görüntü işleme ve makine öğrenimi yöntemlerinin yanı sıra, son zamanlarda literatürde derin öğrenmeye dayalı yöntemler de sıklıkla kullanılmaktadır. Derin öğrenme yöntemleri özellik çıkarımı kısmını ek veriye gerek olmadan sadece görüntüleri kullanarak yapar ve hem bahsedilen özellikleri kolaylıkla ayırt ederken aynı zamanda daha detaylı özeliklerin çıkarımını da yapar. Bu nedenle özellikle görüntü ve video tabanlı uygulamalar için oldukça avantajlıdır. Literatürde bulunan derin öğrenme tabanlı çalışmalar genellikle görüntü sınıflandırma ve nesne tespiti olmak üzere iki farklı yaklaşımla ele alınmıştır. Görüntü sınıflandırma problemlerinde görüntüde yangın olup olmadığına bakılırken nesne tespitinde aynı zamanda yangın olan bölgenin konum tespiti de yapılır. Bu çalışmalarda kullanılan yöntemler ve çalışmanın odak noktası model başarımı üzerine olmuştur. Olağanüstü performanslarına rağmen, ortaya çıkan tahmin modellerini uç ve düşük güçlü hesaplama cihazlarında kullanmak, devasa boyutları ve hesaplama karmaşıklığı nedeniyle zorlayıcıdır. Öte yandan, derin sinir ağlarını daha az güç ile çalışan ve hesaplama açısından daha verimli hale getirmek için kullanılan başarılı optimizasyon teknikleri vardır. Literatürde orman yangınlarının tespiti için bu konuları ele alan herhangi bir çalışma bulunmamaktadır. Bu tez, derin öğrenme tabanlı orman yangını algılama modellerinde kullanımları için bu tür optimizasyon tekniklerini kullanarak literatürdeki bu boşluğu doldurmayı amaçlamaktadır. Derin öğrenme tabanlı yapılan bilgisayarlı görü uygulamalarının başarılı olmasının ana nedenlerinden biri kullanılan algoritmaların sahip olduğu kompleks yapılardır. Bu yapılar yüksek başarım sağlarken aynı zamanda hafızada fazla yer tutmaları, donanımlar üzerinde ısınma problemine yol açmaları, yüksek enerji gereksiniminden dolayı yavaş çalışmaları gibi dezavantajları vardır. Bu dezavantajlar kaynak kısıtlaması olan uygulamalarda daha çok gündeme gelmektedir. Özellikle düşük güçle çalışan cihazlar kullanılarak yapılan uygulamalarda bu gibi engellerle sıklıkla karşılaşılır. Bunun için literatürde çeşitli metotlar bulunmaktadır. Örneğin daha güçlü donanımların tercih edilmesi, kullanılan modellerin değiştirilmesi ya da model optimizasyonu gibi. Bu uygulamalardan en verimli olanı model optimizasyonu tekniklerinin kullanılmasıdır. Bunun nedeni hali hazırda üzerine çalışılmış modelleri ve düzeneği değiştirmeden bazı matematiksel yöntemler kullanılarak var olan modelleri olduğundan daha küçük ve daha hızlı hale getirmeyi sağlamasıdır. Bizim problemiz özelinde yapılan araştırmalar ve deneyler sonucunda probleme en uygun olacak optimizasyon yöntemleri nicemleme ve budama olarak belirlenmiştir. Nicemleme kullanılan sayı verilerini daha küçük veri tiplerine dönüştürülerek daha hızlı işlemler yapılmasını ve daha az hafıza kullanılabilmesini sağlar. Örneğin bizim problemimizde sayı değerleri 32-bitlik yer kaplayan kayan noktalı sayılar yani float32 ile gösterilir. Float32'den 8-bitlik yer kaplayan int8 formatına geçildiğinde modelin yaklaşık olarak dört kat daha az yer kaplaması beklenir. Bu işlem yapılırken farklı yaklaşımlar mevcuttur. Nicemleme eğitim sırasında ya da eğitim sonrası uygulanabilir. Yapılan uygulamalara göre bu tercih değişebilir fakat yapılan çalışmalar incelendiğinde eğer karmaşık ve çok katmanlı bir model üzerinde çalışılıyorsa eğitim sırasında nicemleme yapmak çok maliyetli olacaktır. Bu nedenle eğitim sonrası nicemleme kullanılması bizim çalışmamız için daha avantajlı olduğu görülmüştür. Kolay uygulanabilir olmasının bazı dezavantajları da bulunur. Örneğin doğru yöntemler belirlenmediğinde modelin başarımında büyük kayıplar gözlemlenmesi mümkündür. Bunu önlemek için eğitilmiş modeli bazı adımlardan geçirmek ve uygulanacak nicemleme yöntemini iyi seçmek gerekir. Nicemlemede sayı değerlerinde geçiş yaparken kullanılan iki önemli yöntem vardır. Bu geçiş simetrik ya da asimetrik olarak yapılabilir. İki yöntem arasındaki en önemli fark sıfır değerinin nasıl gösterileceğinden gelir. Simetrik nicemleme sıfırı sıfır olarak kullanarak kalan değerleri bu eksende simetrik olarak dağıtmaya çalışır. Fakat asimetrik nicemlemede sıfır noktası olarak adlandırılan bir değişken daha vardır ve sıfırın gösterimi bu değişken hesaplanarak yapılır. Sıfır noktası hesaplanırken elde bulunan parametreler kullanıldığından daha gerçeği yansıtan bir geçiş sağlanmış olur. Simetrik nicemlemeyi kullanmak daha az matematiksel işlem gerektirdiğinden daha hızlı olsa da bahsedilen nedenden dolayı model başarımında düşüşe neden olabilir. Aynı zamanda nicemleme yapılırken bu değişimde belirlenecek nicemleme parametreleri farklı şekillerde oluşturulabilirler. Tensör başına nicemleme parametreleri hesaplanabilir ya da her kanal için ayrı ayrı bu parametreler belirlenebilirler. Teoride baktığımızda nicemleme yöntemlerinin bazılarının daha iyi sonuç vereceğini öngörebiliriz. Örneğin bahsedilen bilgiler ışığında kanal başına asimetrik nicemleme kullandığımızda modeli en az kayıpla optimize edeceği beklenen bir sonuçtur. Fakat teoride bunlar beklenen sonuçlar olmasına karşın pratikte farklı sonuçların elde edildiği gözlemlenmiştir. Diğer bir optimizasyon yöntemi olan budama ağdaki gerekli olmayan bağlantıları bulmayı amaçlar. Bu yöntemin başarılı olmasının altındaki mantık piyango bileti hipotezine dayanır. Bu hipotez çok katmanlı ağın yakaladığı başarımı doğru başlangıç değerleri ile başlatıldığında az katmanlı ağlarında aynı oranda yakalayacağını belirtir. Bu nedenle karmaşık ve çok katmanlı ağlardan gereksiz olan bağlantıları veya yapıların çıkarılması model başarımını en minimum etkide etkilemesi beklenmektedir. Bu şekilde modellere budama yöntemi farklı şekillerde uygulanabilir. Budamada belirlenmesi gereken en önemli nokta ağdaki hangi bağlantıların çıkarılacağıdır. Buna karar verirken bazı matematiksel hesaplamalar yapılabildiği için rastgele olarak da belirlenebilir. Matematiksel hesaplamaların kullanıldığı yaklaşımda budanacak bağlantılar tensör ya da kanal içindeki değerlerin L1, L2 gibi metrikler kullanılarak uzaklık hesabına göre bakılmaktadır. Burada L1 uzaklık metriğini kullanmak seyrekliği arttırdığından daha etkili sonuçlar vermektedir. Diğer bir önemli olan nokta ise ağdan çıkarılacak yapıları belirlerken önemsiz görülen bağlantılar bireysel olarak mı çıkarılacaktır yoksa tüm bir yapı incelenerek yapısal çıkarım mı yapılacaktır. Bireysel bağlantıların kesildiği yöntem yapılandırılmamız budama ve yapıların ağdan çıkarıldığı yöntem yapılandırılmış budama olarak adlandırılır. Burada iki yöntemin de avantajları ve dezavantajları vardır fakat yapılan çalışmalarda L1 yapılandırılmamış budamanın model performansına en az zarar veren şema olduğu görülmüştür. Bu tezde, bahsedilen yöntemler kullanılarak orman yangınlarını tespit etmek için verimli ve doğru derin öğrenme modelleri geliştirmeyi amaçlanmıştır. İlk olarak, literatürdeki açık veriler kullanılarak yeni bir veri kümesi oluşturulmuştur. Burada orman yangını problemine uygun görüntüler toplanırken geçmiş tecrübelerden faydalanılmıştır. Özellikle geleneksel özellik çıkarımı yapılarak uygulanan çalışmaların sonucunda görüntüde önemli olduğu belirlenmiş noktalara dikkat ederek görüntüler toplanmıştır. Daha sonra ResNet101, RegNet-32X-GF, DenseNet-169 ve Inceptionv3 ağları orman yangınlarını algılamak üzere eğitilmiştir. Tüm yöntemler, %95'in üzerinde test doğruluğuna ulaşmış ve tatmin edici performansa sahip olduğu görülmüştür. Yapılan test sonuçlarında aşırı öğrenme, eksik öğrenme veya verilerde dengesizlik problemleri ile karşılaşılmamıştır. Ardından, ortaya çıkan modeller optimize edilmiş ve çeşitli nicemleme ve budama yöntemleri kullanılarak karşılaştırılmıştır. Farklı şemalarda uygulanan nicemleme ve budama yöntemlerinin modeller üzerinde farklı etkileri olduğu görülmüştür. Her model için uyumlu olan optimizasyon yöntemi, yapının özelliklerine göre farklılık göstermiştir. Yapılan bu deneyler sonucunda optimizasyon adımında farklı yöntemlerin kıyaslanmasının modelin en az kayıpla optimize edilebilmesi için doğru metotları bulmada faydalı bir yol olduğu gözlemlenmiştir. Deney sonuçları incelendiğinde DenseNet-169, diğer modellere kıyasla performansta daha az kayıp göstererek daha dayanıklı kalmış ve boyutta daha fazla düşüş göstermiştir. Önerilen yaklaşımın potansiyelini daha fazla araştırmak için optimize edilen modellerden en iyi sonuç veren mimarı nesne tespiti yöntemlerinde de uygulanmıştır. Bunun için, Faster R-CNN, DenseNet-169 omurgası ile kullanılmış ve önceden belirlenmiş optimum hiperparametrelerle optimize edilmiştir. Daha sonra literatürde çokça kullanılan optimize edilmiş YOLOv5 ile karşılaştırıldı. Bu karşılaştırma sonucunda optimize edilmiş Faster R-CNN yalnızca daha yüksek doğruluk oranına ulaşmakla kalmamış aynı zamanda daha düşük boyutlara sıkıştırılarak kullanımı daha avantajlı hale gelmiştir. Ek olarak hızlı tahminleme yönünden güçlü bir mimari olan YOLOv5'e hız anlamında yaklaşarak bu konuda da gelişme göstermiştir. Sonuçlar incelendiğinde, bu çalışmada kullanılan yöntemlerin ve izlenen metodolojinin, orman yangını tespiti problemi için derin öğrenmeye dayalı tekniklerin gücünü sınır ve düşük güçlü cihazlara getirme konusunda umut verici bir potansiyele sahip olduğunu göstermiştir. iyolojik çeşitliliğin korunması, ekosistemin sürdürülebilirliği, su ve besin döngüsünün devamı gibi hayati konularda tüm canlılar için ormanlar kritik öneme sahiptir. Orman yangınları, yaban arazilerde hızla yayılarak yanan büyük kontrolsüz olaylardır. Yapılan araştırmalara göre, ortalama sıcaklıkların artışıyla orman yangınları daha sık görülmeye başlanmış ve daha yıkıcı hale gelmiştir. Bu nedenle, orman yangınlarını mümkün olduğu kadar erken tespit etmek ve hızlı bir şekilde müdahale etmek, ölümcül sonuçların önlemesi için oldukça gereklidir. Orman yangınlarının tespiti ile ilgili literatürde çeşitli çalışmalar yapılmaktadır. Geleneksel görüntü işleme ve makine öğrenimi yöntemlerinin yanı sıra, son zamanlarda literatürde derin öğrenmeye dayalı yöntemler de sıklıkla kullanılmaktadır. Olağanüstü performanslarına rağmen, ortaya çıkan tahmin modellerini uç ve düşük güçlü hesaplama cihazlarında kullanmak, devasa boyutları ve hesaplama karmaşıklığı nedeniyle zorlayıcıdır. Literatürde orman yangınlarının tespiti için bu konuları ele alan herhangi bir çalışma bulunmamaktadır. Öte yandan, derin sinir ağlarını daha az güç ile çalışan ve hesaplama açısından daha verimli hale getirmek için kullanılan başarılı optimizasyon teknikleri vardır. Bu tez, derin öğrenme tabanlı orman yangını algılama modellerinde kullanımları için bu tür optimizasyon tekniklerini kullanarak literatürdeki bu boşluğu doldurmayı amaçlamaktadır. Bu tezde, orman yangınlarını tespit etmek için verimli ve doğru derin öğrenme modelleri geliştirmeyi amaçlanmıştır. İlk olarak, literatürdeki açık veriler kullanılarak yeni bir veri seti oluşturulmuştur. Daha sonra ResNet101, RegNet-32X-GF, DenseNet-169 ve Inceptionv3 ağları orman yangınlarını algılamak üzere eğitilmiştir. Tüm yöntemler, %95'in üzerinde test doğruluğuna ulaşmış karşılaştırılabilir ve tatmin edici performansa sahip olduğu görülmüştür. Ardından, ortaya çıkan modeller optimize edilmiş ve çeşitli nicemleme ve budama yöntemleri kullanılarak karşılaştırılmıştır. DenseNet-169, diğer yöntemlere kıyasla doğruluk düşüşüne daha dayanıklı kalmış ve boyutta daha fazla düşüş göstermiştir. Ayrıca sınıflandırma problemi, önerilen yaklaşımın potansiyelini daha fazla araştırmak için nesne tespiti yöntemlerinde de uygulanmıştır. Faster R-CNN, DenseNet-169 omurgası ile kullanıldı ve önceden belirlenmiş optimum hiperparametrelerle optimize edilmiştir. Daha sonra tekniğin bilinen durumu olan optimize edilmiş YOLOv5 ile karşılaştırıldı ve yalnızca daha yüksek doğruluk değil, aynı zamanda daha düşük boyut da gösterdi. Bu nedenle, bu çalışma, kullanılan yöntemlerin ve izlenen metodolojinin, orman yangını algılama sorunu için derin öğrenmeye dayalı tekniklerin gücünü sınır ve düşük güçlü cihazlara getirme konusunda umut verici bir potansiyele sahip olduğunu göstermektedir.
Özet (Çeviri)
Forests are critical for all living creatures in vital issues such as biodiversity conservation, the sustainability of the ecosystem, and the continuation of the water and nutrient cycle. Forest fires are large uncontrolled incidents that burn and quickly spread through wild landscapes. According to research, average temperatures are on the rise forest fires seem to appear more often and more destructive. Therefore, detecting forest fires as early as possible and responding quickly have become essential to toward potentially deadly disasters. Various studies are conducted in the literature on the detection of forest fires. Besides more traditional image processing and machine learning methods, deep learning-based methods have been frequently employed in the recent literature. Despite their exceptional performances, it has been a challenge to utilize resulting prediction models in edge and low-power computational devices due to their massive sizes and computational complexity. However, there are no studies in the literature addressing these issues for detecting forest fires. On the other hand, there are well-established optimization techniques to make deep neural networks less power-hungry and more computationally efficient. This thesis aims to bridge this gap by utilizing such optimization techniques for their use in deep learning-based forest fire detection models. In this thesis, we aim to develop efficient as well as accurate deep learning models for detecting forest fires. Firstly, a dataset is created by using the public data in the literature. Then, ResNet101, RegNet-32X-GF, DenseNet-169 and Inceptionv3 networks were trained to detect forest fires. All methods had comparable and satisfactory performance reaching over 95% test accuracy. Then, the resulting models are optimized and compared using various quantization and pruning methods. DenseNet showed better resiliency against accuracy drop and size reduction compared to the other methods. Furthermore, the classification problem extended to object detection to explore further the potential of the proposed approach. Faster R-CNN was employed with the DenseNet backbone and optimized with previously determined optimal hyperparameters. Then, it was compared to the state-of-the-art optimized YOLOv5 and showed not only higher accuracy but also lower size. Therefore, this study shows that the employed methods and followed methodology has a promising potential to bring the power of deep learning-based techniques to the edge and low-power devices for the forest fire detection problem.
Benzer Tezler
- Domates hastalıklarının sınıflandırılması için makine öğrenmesi ve derin öğrenme temelli yeni yaklaşımlar
New approaches to classification of tomato diseases based on machine learning and deep learning
HASAN ULUTAŞ
Doktora
Türkçe
2023
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolErciyes ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
PROF. DR. VEYSEL ASLANTAŞ
- Aircraft detection from large scale remote sensing images with deep learning techniques
Büyük ölçekli uzaktan algılama görüntülerinden derin öğrenme teknikleriyle uçak tespiti
MEHMET SOYDAŞ
Yüksek Lisans
İngilizce
2019
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik Üniversitesiİletişim Sistemleri Ana Bilim Dalı
PROF. DR. ELİF SERTEL
- Sahte internet sitelerinin URL özellikleri temelinde tespit edilmesi amacıyla özellik seçme metotlarının ve öğrenme algoritmalarının analizi
Analysis of feature selection methods and learning algorithms for phishing websites detection based on URL
MUSTAFA AYDIN
Doktora
Türkçe
2022
Bankacılıkİstanbul ÜniversitesiEnformatik Ana Bilim Dalı
PROF. DR. SEVİNÇ GÜLSEÇEN
PROF. DR. KUTLUK KAĞAN SÜMER
- Music emotion recognition using convolutional long short term memory deep neural networks
Evrişimli uzun kısa süreli bellek derin sinir ağlarını kullanarak müzikten duygu tanıma
SERHAT HIZLISOY
Doktora
İngilizce
2020
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve KontrolÇukurova ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
DOÇ. DR. ZEKERİYA TÜFEKCİ
- Evolutionary feature optimization for plant leaf disease detection by deep neural networks
Bitki yaprak hastalık teşhisi için derin sinir ağları ile evrimsel özellik optimizasyonu
JALAL SADOON HAMEED AL BAYATI
Doktora
İngilizce
2022
Bilgisayar Mühendisliği Bilimleri-Bilgisayar ve Kontrolİstanbul Teknik ÜniversitesiBilgisayar Mühendisliği Ana Bilim Dalı
Prof. Dr. BURAK BERK ÜSTÜNDAĞ